关于搜索引擎

  提到搜索引擎，不得不说到Google和百度，现如今，搜索引擎主要是通过两种方法来获取网页内容，一个是由爬虫去爬，也就意味着，如果你的网站没有被外部引用，就不会被搜索引擎发现，这也就是友情链接的作用，帮助你的朋友被搜索到；另一个是主动去注册，就是你主动向搜索引擎后台提供你的链接，由它选择将你收录到什么名下。   在使用爬虫的情况下，你可以设置网站的robots.txt，规定是否允许被爬取，发现一

>>阅读原文<<