url采集工具

url无限采集工具 一丶运行环境：python3 + redis数据库 二丶采集原理：从初始关键词里面采集网址，然后在网址里面爬取关键字，一边采集关键字，一边采集网址，redis数据库自动去重，多线程模式采集网址加url redis数据库安装参考：https://www.cnblogs.com/xiaomage666/p/11528092.html 最好是放服务器采集，速度快，我本机只做一个基本的

>>阅读原文<<