Java爬虫系列一：写在开始前

最近在研究Java爬虫，小有收获，打算一边学一边跟你们分享下，在干货开始前想先跟你们啰嗦几句。

1、首先说下为何要研究Java爬虫

Python已经火了好久了，它功能强大，其中很擅长的一个就是写爬虫程序。做为一名Javaer，想要写爬虫的话难道要学习python吗？

想到这个问题我去度娘了下，其实java也能够写爬虫，只是须要的代码行数要比python多。可是用java写就不须要专门为了爬虫再去学习一门新语言了，感受省时省力省麻烦。恰好最近有点时间，就去专门研究了下。

2、Java爬虫要考虑的问题以及用到哪些技术和工具

爬虫须要考虑的问题有不少，可是对于咱们入门级的来讲主要有以下几个：

1. 如何抓取页面数据，可使用HttpClient或HtmlUnit

2. 如何解析页面数据，可使用Jsoup

3. 如何反反爬虫，能够假装浏览器和使用代理IP

4. 如何url去重，能够创建一个队列用来记录已经爬取过的url，每次处理前先看下当前要处理的url是否在队列内

5. 如何持久化数据，能够保存到数据库，也能够保存到文件中

接下来的文章将逐步分享这些内容。

3、优秀的开源Java爬虫

能够看下知乎上的这个内容

《GitHub 上有哪些优秀的 Java 爬虫项目》

https://www.zhihu.com/question/31427895

4、学习资料推荐

1.《本身动手写网络爬虫》罗刚 王振东 编著，应该是市面上惟一一个用Java写案例的爬虫书籍，时间比较久了，可是理论知识仍是值得看的

2.百度