java使用webmagic爬取中关村手机相关信息

爬取代码如下： 爬取逻辑如下： WebMagic的四个组件 1.Downloader Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。 2.PageProcessor PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPa

>>阅读原文<<