防止搜索引擎蜘蛛程序的抓取

搜索引擎都有本身的“搜索机器人”（ROBOTS），并经过这些ROBOTS在网络上沿着网页上的连接（通常是http和src连接）不断抓取资料创建本身的数据库。 对于网站管理者和内容提供者来讲，有时候会有一些站点内容，不但愿被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另外一个是The Robots META标签。php 1、什么是robot

>>阅读原文<<