网络采集软件核心技术剖析系列（5）---将任意博主的所有博文下载到内存中并经过Webbrower显示（将以前的内容综合到一块儿）

（1）若为连接提取页面，则提取所有符合规则的文章连接，而后压入到前面的Url队列中（实际上是堆栈操做，这里能够理解为，一个分页页面地址换取了几十个文章连接地址，接下来调度器将取得的连接是这几十个文章连接地址，所有下载完，存储到数据存储后，接下来才会轮到取第二个分页页面，这点你们能够对照提供的代码自行理解，此处是网络爬虫的精髓）。

（2）若为文章正文页，则按照正文css路径，提取出正文，存储到数据存储中（本节为datatable中），具体可参考本系列第二节内容。

4.递归的执行第2步和第3步，直至Url队列为空或已经判断出所有文章下载完毕（参见第一节）时，程序结束。

核心代码以下：

private void ParseWebPage(string strVisitUrl, string strPageContent, DoWorkEventArgs e)
        {

            string strUrlFilterRule = GetUrlFilterRule();

            if (!IsFinalPage(strVisitUrl, strUrlFilterRule))
            {
        
                bool bNoArticle = SaveUrlToDB(strVisitUrl, strPageContent, e);
                if (!bNoArticle)
                {
                    BlogGatherNext(e);
                }
            }
            else
            {
                if (strPageContent != "")
                {
                    string strTitle = SaveFinalPageContent(""
                        , GetMainContentCss(), strVisitUrl, strPageContent);
            

                }

                BlogGatherNext(e);
            }
        }

IsFinalPage(strVisitUrl, strUrlFilterRule)，该行代码根据本次请求的url和文章连接的url规则来判断当前获取的页面是最终文章页仍是文章连接提取页，其实现代码以下：

       protected  bool IsFinalPage(string strVisitUrl, string strUrlFilterRule)
        {
            bool bRet = false;

            MatchCollection matchsTemp = Regex.Matches(strVisitUrl.ToString(), strUrlFilterRule, RegexOptions.Singleline);
            if (matchsTemp.Count > 0)
            {
                bRet = true;
            }
            return bRet;
        }

补充说明，何谓连接提取页？以下图所示便是：

更详细的代码请自行下载研究。

做者：宋波
出处： http://www.cnblogs.com/ice-river/
本文版权归做者和博客园共有,欢迎转载,但未经做者赞成必须保留此段声明,且在文章页面明显位置给出原文连接。
正在看本人博客的这位童鞋，我看你气度不凡，谈吐间隐隐有王者之气，往后必有一番做为！旁边有“推荐”二字，你就顺手把它点了吧，相得准，我分文不收；相不许，你也好回来找我！