python爬虫什么意思 python是什么意思 _云知道

简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前

如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而Python爬虫就是一只小蜘蛛，
沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；
从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用
Python爬虫的基本原理

发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
Request模块缺陷：不能执行JS 和CSS 代码
获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等
解析内容
解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以wb的方式写入文件
保存数据
数据库（MySQL，Mongdb、Redis）
以上就是python爬虫什么意思的详细内容，更多请关注其它相关文章！
更多技巧请《转发关注》哦！
【python爬虫什么意思 python是什么意思】