HtmlAgilityPack+C#做IP代理爬虫（二）

一、查找资料并进可能多的抓取IP代理数据、并存储IP代理池 二、从代理池中筛选数据并把有效数据添加到另一张表中，并及时更新 三、定时更新IP代理池 由于网站的IP代理地址需要实时更新，并且程序需要对数据库中的爬虫IP数据需要及时筛选，并插入到新表中。数据验证一定要及时，所以程序一定要做到高并发。 1、检测IP代理是否可用 public static void SelectIP(object ip)

>>阅读原文<<