蜘蛛不爬取，您检查过网站的robots了么

时间 2020-12-28

原文原文链接

robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。 Meta robots标签必须放在<head>和</head>之间，格式： <meta name="robots" content="index,follow" /> content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引