2.8 robots优化

robots.txt是一个纯文本文件，网站管理者可以在这个文件中声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。因此，robots的优化会直接影响到搜索引擎对网站的收录情况。