文章来源：http://www.fsyiteng.cn 文章作者：佛山SEO/网站建设 2021-01-30
robots.txt文件同时也有一定的风险，里面的隐私文档最好不要写在里面，否则的话容易给攻击者指明了网站的目录结构和私密数据所在的位置。设置访问权限，对您的隐私内容实施密码保护，这样，攻击者便无从进入。
1)robots.txt必须放置在站点的根目录下，而且文件名必须全部小写。
2)不要在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取。
3)为安全考虑，建议很重要的文件夹不要写在robots.txt文件中。
常见搜索引擎蜘蛛Robots名字：
百度Baiduspider ：http://www.baidu.com
360搜索360Spider：https://www.so.com/
SOSOSosospider：https://www.sogou.com/
有道YoudaoBot/YodaoBot：http://www.yodao.com/
搜狗Sogou News Spider：https://www.sogou.com/
MSNmsnbot/msnbot-media：http://www.msn.com/zh-cn
谷歌Googlebot ：http://www.google.com
雅虎Inktomi Slurp ：http://www.yahoo.com
必应MSNBOT ：http://search.msn.com
优化咨询
18923197528
