DEDECMS文章采集

到不少网友都为织梦（DEDECMS）的采集教程头疼，的确，官方出的教程太笼统了，什么都没说，换个网站你什么都作不了，这个教程是最详尽的教程，让你一看即会！

1、列表采集

第一步、咱们打开织梦后台点击采集——采集节点管理——增长新节点

第二步、这里咱们以采集普通文章为例，咱们选择普通文章，而后肯定

第三步、进入了采集的设置页面，填写节点名称。

第四步、打开你想要采集的文章列表页。

这里以这个网站为例，http://www.nanmafan.com/xunyicao/打开这个页面，

右键——查看源文件找到目标页面编码，就在charset后面）

第五步、填写页面的基本信息，填完后如图

第六步、填写列表网址获取规则看看文章列表第一页的地址。

http://www.nanmafan.com/xunyicao/list_49_1.html

对比第二页的地址http://www.nanmafan.com/xunyicao/list_49_2.html

咱们发现了他们除了49_后面的数字不同，其余的都同样，因此咱们能够这样写

http://www.nanmafan.com/xunyicao/list_49_(*).html

就是把1换成了(*)由于这里只有2页，因此咱们就填从1到2每页递增固然是1了，2-1...是等于1吧

这里咱们就填写完了

可能你们采集的有些列表没有规则，那就只有手工指定列表网址了，如图

每行写一个页面地址

 第七步、填写文章网址匹配规则了,回到文章列表页

右键查看源文件找到区域开始的HTML，就是找文章列表开始的标志。

咱们很容易的找到了如图中的“新闻列表”。从这里开始，后面就是文章列表里，再找文章列表结束的HTML

就是这个了，一个很容易找到的标志
若是连接中含有图片：
不处理采集为缩略图这里根据本身的须要选择

2、内容页采集

第八步、对区域网址进行再次筛选：

(使用正则表达式)必须包含：(优先级高于后者)

不能包含：打开源文件，咱们能够很清楚的看到，文章连接都是以.html结束的因此，咱们在必须包含后面填.html若是遇到有些列表很麻烦，还能够填写后面的不能包含

点击保存设置进入下一步，能够看到咱们得到的文章网址
看到这些就是对的了，咱们保存信息进入下一步设置内容字段获取规则
咱们看看文章有没有分页，随便进入一篇文章看看。。咱们看到这里的文章没有分页
因此这里的咱们就默认了

咱们如今来找文章标题等等随便进入一篇文章，右键查看源文件
看看这些

依照源码填写

第九步、填写文章内容的开始，结束和上面的同样，找到开始和结束标志.

开始部分如图

结束部分如图

最后填写如图

第十步、你想过滤文章中的什么内容就到过滤规则里写吧，好比要过滤文章中的图片，

选择经常使用规则，如图

再勾选IMG，如图

而后肯定

这样咱们就把正文中的图片过滤了

第十一步、设置完毕后点保存设置并预览，如图

这样一个采集规则就写好了，很简单吧有些网站很难写，可要多下点功夫了哦
咱们点保存并开始采集——开始采集网页一会的功夫就采集完了

看看咱们采集到的文章

最后、导出数据

首先选择要导入到的栏目，按“请选择”那里便可在弹出的窗口中选择你须要导入的栏目发布选项这里通常默认便可，除非你不想立刻发布。每批导入默认是30条，这里修改与否都无所谓，附带选项通常选“排除重复标题”，至于自动生成HTML那个选项建议先别生成，由于咱们还要去批量提取摘要和关键字。

文章标题
匹配规则：<title>[内容]</title>
过滤规则：{dede:trimreplace=""}_XXX网站{/dede:trim}

3、采集规则补充

（一）文字过滤与替换的方法

1.去除超连接，这种最经常使用。

{dede:trim replace=''}<a([^>]*)>{/dede:trim}
{dede:trim replace=''}</a>{/dede:trim}
若是填成这样，那就把连接的文本也一块儿去掉了

{dede:trim replace=''}<a([^>]*)>(.*)</a>{/dede:trim}

2.过滤JS调用广告，好比GG的广告，就加个这样的：

{dede:trim replace=''}<script([^>]*)>(.*)</script>{/dede:trim}

3.过滤div标签。

这个很重要，若是没过滤干净则可能使发布出来的文章版面错位， 目前大多数遇到采集后错位的缘由在此。

{dede:trim replace=''}<div([^.]*)>{/dede:trim}
{dede:trim replace=''}</div>{/dede:trim}

有的时候也须要这样子过滤：

{dede:trim replace=''}<div 选择器>(.*)</div>{/dede:trim}

4.其它的过滤规则能够照以上规律进行推出。
5.过滤摘要和关键字使用，常常要用到。

{dede:trim replace=''}{/dede:trim}

6.简单替换。
{dede:trim replace=’替换后的词语’}要替换的词语{/dede:trim}
7.去掉src

{dede:trim replace=''}src="([^"]*)"{/dede:trim}

 

（二）内容页指定做者、来源

 指定value值便可实现：

{dede:item field='writer' value='小军' isunit=''' isdown=''}
{dede:match}{/dede:match}

{dede:function}{/dede:function}
{/dede:item}

{dede:item field='source' value='军事网' isunit='' isdown=''}
{dede:match}{/dede:match}

{dede:function}{/dede:function}
{/dede:item}

（三）内容页分页采集

在“内容分页导航所在的区域匹配规则：”，填写规则，如 <ul class="pages">[内容]</ul>，而后选择“所有列出的分页列表”。

遭遇情景：若是选择“上下页形式或不完整的分页列表”，列表页的全部文章内容所有一块儿写入