带你全面最详细了解掌握什么是robots.txt

什么是robots.txt？ 我相信从事web开发和爬虫技术开发的人对robots.txt文件或者这个协议一定不陌生，没错这个协议就叫做机器人协议该协议存在价值是规范爬虫让爬虫技术遵守一个道德规范至于遵不遵守那就看你自己了因为它不是强制性的就像道德和法律区别类似，道德只会谴责不会让你坐牢，有关robots.txt的详细定义大家可以去robots.txt协议说明去具体了解。 robots.txt协议

>>阅读原文<<