Jsoup获取全国地区数据（省市县镇村）

时间 2019-11-17

标签 jsoup 获取全国地区数据省市县镇栏目 Java 繁體版

原文原文链接

　　最近手头在作一些东西，须要一个全国各地的地域数据，从省市区到县镇乡街道的。各类度娘，各类谷歌，都没找到一个完整的数据。最后功夫不负有心人，总算找到一份相对来讲比较完整的数据，可是这里的数据也只是精确到镇级别，没有村一级的数据（后来经过分析数据源我知道了为何，呵呵），在加上博主提供的有些数据存在冗余，对于有强迫症和追求完美的我，心想着我必定要本身动手去把这部分数据给爬取出来。php

　　上述博文中的内容还算丰富，博主是用的是php来实现的，做为2015年度编程语言排行榜的第一位，咱们也不能示弱啊，下面我就带着你们一块儿来看看用java怎么从网页当中爬取咱们想要的数据...css

第一步、准备工做（数据源+工具）:

　　数据源（截止目前最全面权威的官方数据）：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/html

　　爬取数据的工具（爬虫工具）：http://jsoup.org/java

第二步、数据源分析：

　　首先jsoup工具的使用我在这里就不作讲解了，感兴趣的能够本身动手去查阅。node

　　作开发就应该多去了解一些软件工具的使用，在日常开发过程当中遇到了才知道从何下手，鼓励你们多平时留意一些身边的软件工具，以备不时之需。在作这个东西之前，我也不知道jsoup要怎么用，但我知道jsoup能够用来干吗，在我须要的用到的时候，再去查阅资料，本身学习。程序员

　　上述的数据源是2013年中华人民共和国国家统计局发布的，其准确性和权威性不言而喻。编程

　　接下来咱们分析一下数据源的结构，先从首页提及：　　编程语言

　　经过分析首页源码咱们能够获得以下3点：工具

页面的整个布局是用的table标签来控制的，也就是说咱们若是要经过jsoup来选择超连接，那么必定要注意，上图中不是只要标注了省市地区的地方采用的才是表格，整个页面中存在多个表格，所以是不能够直接经过表格
```
Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
Elements rowProvince = connect.select("table");
```
来解析数据的。布局
页面中有超连接的部分有多少地方。多是官方考虑到了大家这种程序员须要获取这样的数据的缘由吧，页面很干净，除开下方的备案号是多余的超连接，其余的连接能够直接爬取。
省份城市的数据规律。包含有效信息的表格的每一行都有一个class属性provincetr,这个属性很重要，至于为何重要，请接着往下看；每一行数据中存在多个td标签，每个td标签中包含一个a超连接，而这个超连接正是咱们想要的超连接，超连接的文本即便省份（直辖市等）的名称。

　　再次咱们再看一下通常的数据页面（通常的数据页面包括市级、县级、镇级这三级数据展现页面）：

　　之因此要把上述三个页面放在一块儿，是由于经过分析咱们能够发现，这三级数据的数据页面彻底一致，惟一不一样的就是在html源码数据表格中的数据行tr的class属性不一致，分别对应为：citytr,countrytrhe towntr。其余均一致。这样咱们就能够用一个通用的方法解决这三个页面的数据爬取。　　

　　最后看看村一级的数据页面：　　

　　在村一级的数据中，和上述市县镇的数据格式不一致，这一级所表示的数据是最低一级的，因此不存在a连接，所以不能采用上面市县镇数据的爬取方式去爬取；这里展现数据的表格行的class为villagetr，除开这两点之外，在每一行数据中包含三列数据，第一列是citycode,第二列是城乡分类（市县镇的数据格式不存在这一项），第三列是城市名称。

　　把握了以上各个要点以外，咱们就能够开始编码了。

第三步、编码实现：

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 全国省市县镇村数据爬取
 * @author liushaofeng
 * @date 2015-10-11 上午12:19:39
 * @version 1.0.0
 */
public class JsoupTest
{
    private static Map<Integer, String> cssMap = new HashMap<Integer, String>();
    private static BufferedWriter bufferedWriter = null;

    static
    {
        cssMap.put(1, "provincetr");// 省
        cssMap.put(2, "citytr");// 市
        cssMap.put(3, "countytr");// 县
        cssMap.put(4, "towntr");// 镇
        cssMap.put(5, "villagetr");// 村
    }

    public static void main(String[] args) throws IOException
    {
        int level = 1;

        initFile();

        // 获取全国各个省级信息
        Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
        Elements rowProvince = connect.select("tr." + cssMap.get(level));
        for (Element provinceElement : rowProvince)// 遍历每一行的省份城市
        {
            Elements select = provinceElement.select("a");
            for (Element province : select)// 每个省份(四川省)
            {
                parseNextLevel(province, level + 1);
            }
        }

        closeStream();
    }

    private static void initFile()
    {
        try
        {
            bufferedWriter = new BufferedWriter(new FileWriter(new File("d:\\CityInfo.txt"), true));
        } catch (IOException e)
        {
            e.printStackTrace();
        }
    }

    private static void closeStream()
    {
        if (bufferedWriter != null)
        {
            try
            {
                bufferedWriter.close();
            } catch (IOException e)
            {
                e.printStackTrace();
            }
            bufferedWriter = null;
        }
    }

    private static void parseNextLevel(Element parentElement, int level) throws IOException
    {
        try
        {
            Thread.sleep(500);//睡眠一下，不然可能出现各类错误状态码
        } catch (InterruptedException e)
        {
            e.printStackTrace();
        }

        Document doc = connect(parentElement.attr("abs:href"));
        if (doc != null)
        {
            Elements newsHeadlines = doc.select("tr." + cssMap.get(level));//
            // 获取表格的一行数据
            for (Element element : newsHeadlines)
            {
                printInfo(element, level + 1);
                Elements select = element.select("a");// 在递归调用的时候，这里是判断是不是村一级的数据，村一级的数据没有a标签
                if (select.size() != 0)
                {
                    parseNextLevel(select.last(), level + 1);
                }
            }
        }
    }

    /**
     * 写一行数据到数据文件中去
     * @param element 爬取到的数据元素
     * @param level 城市级别
     */
    private static void printInfo(Element element, int level)
    {
        try
        {
            bufferedWriter.write(element.select("td").last().text() + "{" + level + "}["
                + element.select("td").first().text() + "]");
            bufferedWriter.newLine();
            bufferedWriter.flush();
        } catch (IOException e)
        {
            e.printStackTrace();
        }
    }

    private static Document connect(String url)
    {
        if (url == null || url.isEmpty())
        {
            throw new IllegalArgumentException("The input url('" + url + "') is invalid!");
        }
        try
        {
            return Jsoup.connect(url).timeout(100 * 1000).get();
        } catch (IOException e)
        {
            e.printStackTrace();
            return null;
        }
    }
}

数据爬取过程即是一个漫长的过程，只须要慢慢等待吧，呵呵,因为程序运行时间较长，请不要在控制台打印输出，不然可能会影响程序运行....

最终获取到数据的格式以下（"{}"中表示城市级别，"[]"中内容表示城市编码）：

拿到以上数据之后，本身想干什么均可以自我去实现了，以上的代码能够直接运行，从数据源爬取后，能够直接转换成本身所要的格式。

后续处理的最终结果，请参见博文：http://www.cnblogs.com/liushaofeng89/p/4937714.html

若是你以为本博文对你有所帮助，请记得点击右下方的"推荐"哦，么么哒...

转载请注明出处：http://www.cnblogs.com/liushaofeng89/p/4873086.html