【wiki维基百科中文数据集】抽取wiki数据集——实操

参考

【http://www.javashuo.com/article/p-zblfoaoe-db.html】

【另一篇参考处理wiki数据】

　　【1】【https://blog.csdn.net/sinat_26917383/article/details/79462107】

　　　　【上述代码】【https://github.com/mattzheng/ChineseWiki/blob/master/README.md】

　　【2】【http://www.javashuo.com/article/p-eujlmmpp-ge.html】

　　1、下载数据集

　　到【https://dumps.wikimedia.org/zhwiki/latest/】下载最新的中文wiki百科数据集【zhwiki-latest-pages-articles.xml.bz2】。

　　也就是【https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2】

 

---

 

　　

　　2、提取原始语料库数据（新词汇：语料库（corpus —— corpora【复数】））

　　（一）节点信息

　　听说xml节点信息相似以下：（待验证）

<page>
  <title></title>
  <id></id>
  <timestamp></timestamp>
  <username></username>
  <comment></comment>
  <text xml:space="preserve"></text>
</page>

 

　　（二）抽取数据

　　【抽取数据工具】：使用Wikipedia的extractor抽取工具。

# 克隆下载wikipedia的Extractor工具 git clone https://github.com/attardi/wikiextractor.git wikiextractor
 # 进入提取工具目录。个人该目录和语料文件.xml.bz2在同一个目录下 cd wikiextractor # 提示了权限问题 记得要在前面sudo一下 python setup.py install # 注意这里.xml.bz2文件在.py文件的上一级 须要对.xml.bz2文件的位置改动 改成相对路径 即 ../xxxx.xml.bz2 python WikiExtractor.py -b 1024M -o ../extracted zhwiki-latest-pages-articles.xml.bz2 # 而后提取了很久 等着吧 等啊等

　　

=====================

　　记录了一下时间，刷屏太快只能靠截图手算估计。(372w-365w)/min=7w条目/min。

　　不知道为什么其余博主都是几十w条的数据量，我下载的这个数据包目前还在解压中已通过了426w条了额……

=====================

 

 

　　（三）原始语料文件内容——实例