一、搜索引擎蜘蛛的基本原理搜索引擎蜘蛛即Spider，是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛 。搜索引擎蜘蛛访问网站页面时类似于普通用户使用浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取的速度，都使用多个蜘蛛分布爬行 。
搜索引擎爬虫蜘蛛是如何工作的？
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也叫机器人（bot） 。搜索引擎蜘蛛访问网站页面时类似于普通用户使用浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取的速度，都使用多个蜘蛛分布爬行 。蜘蛛访问网站时，首先会访问网站根目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些网页或者内容，再或者网站，蜘蛛将遵循协议，不对其进行抓取 。
蜘蛛也是有自己的代理名称的，在站长日志中可以看出蜘蛛爬行的痕迹，这也就是为什么这么多站长解答问题的时候，都会说先查看网站日志（作为一个出色的SEO你必须具备不借助任何软件查看网站日志的能力，并且要非常熟悉其代码的意思） 。一、搜索引擎蜘蛛的基本原理搜索引擎蜘蛛即Spider，是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛 。
网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止 。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来 。
搜索引擎蜘蛛的基本原理及工作流程对于搜索引擎来说，要抓取互联网上所有的网页几乎是不可能的，从目前公布的数据来看，容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右 。这其中的原因一方面是抓取技术的瓶颈，100亿网页的容量是100×2000G字节，即使能够存储，下载也存在问题（按照一台机器每秒下载20K计算，需要340台机器不停的下载一年时间，才能把所有网页下载完毕），同时，由于数据量太大，在提供搜索时也会有效率方面的影响 。
因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接深度 。由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数，例如，下图中所示：搜索引擎蜘蛛的基本原理及工作流程A为起始网页，属于0层，B、C、D、E、F属于第1层，G、H属于第2层，I属于第3层，如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的，这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到 。
对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页 。网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问 。当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码 。
推荐阅读
- 西安各大企业最新招聘信息 专场招聘开始了
- 腾讯用哪个搜索引擎,现在大家都在用哪些搜索引擎
- 各大影视会员账号及迅雷会员账号,迅雷vip账号
- 三款手机跑分超百万大关 各大手机跑分排行榜
- 最佳百度云资源搜索引擎入口,百度云搜索引擎入口盘多多
- 其实你只需要精通谷歌搜索,谷歌搜索引擎网址
- 搜索引擎百度已死,百度云搜索引擎入口
- 俄罗斯搜索引擎排名,俄罗斯最大的搜索引擎是哪个?
- 各大不常见镜头品牌,相机镜头品牌
- 品牌手机销量排行榜,各大品牌手机销量排名