论坛图片爬虫的一种实现

  1背景 经常上贴图的论坛（Discuz!），每次打开帖子的时候，由于帖子的图片太多，每次都要等不少时间才能看到所有的图片，比较麻烦；同时经常会打开看过的帖子。为了解决这个问题，写了个小爬虫，定期把最新的帖子中的图片下载到本地。   2目标 自动登录、智能发现为抓取的帖子、智能提取图片URL、多线程下载到本地。   3整体流程图      4，使用到的工具和软件 VisualSVN Server

>>阅读原文<<