让搜索引擎Spider告诉你:什么时间,从哪里,用什么身份抓取了你的网站

2005-01-17在个人网站上作了一个试验:在部分动态网页中嵌入了如下PHP代码: echo date("Y-m-d H:i") . " Crawled by " . $_SERVER["HTTP_USER_AGENT"] . " @". $_SERVER["REMOTE_ADDR" ]; php 这样,抓取网页的Spider Agent信息和来源地址信息就作为网页内容被搜索引擎索引了。经过搜索
相关文章
相关标签/搜索