如果文件不在根目录下，搜索引擎默认会对整个网站的内容进行索引 。值得一提的是，这个文件不仅可以用来提供直接的爬虫索引，还可以用来填充一些关键词，实现“搜索引擎优化”(SEO) 。另外，并不是所有的抓取工具都会严格遵循robots.txt文件 。比如几年前，互联网档案馆只选择支持其“WaybackMachine”存档工具，其他恶意抓取工具也有意忽略了REP 。
推荐阅读
- 高铁买票在网上买不到是什么原因，为什么我订不了高铁票
- 乐高街景为什么贵,乐高为啥就那么贵
- 树为什么突然突然落叶,树为什么会落叶
- 网红为什么会火,为什么网红经济能火起来呢
- 苹果为什么不掉价,为什么xs还不降价
- 为什么高铁商务舱是头等舱两倍，我今天定了高铁的商务座为什么是第八车厢呢不应该是在其他的车
- 为什么磁悬浮列车大于高铁的速度，磁悬浮列车为什么开得这样快
- 为什么电信是4G信号差,为什么电信信号不好
- 国家为什么不制止微商,国家为什么不禁止呢
- 为什么老公说我下面太空,太空下面有什么