你没有看错，爬网页数据，C# 也能够像 Jquery 那样

时间 2020-11-23

标签 css html html5 python jquery css3 git github dom spa 栏目 C# 繁體版

原文原文链接

一：背景

1. 讲故事

前段时间搞了一个地方性民生资讯号，资讯嘛，都是我抄你的，你抄官媒的，小市民都喜欢奇闻异事，因此就存在一个需求，如何去定向抓取奇闻异事的地方号上的新闻，其实作起来很简单，用逻辑回归便可，这篇主要讨论如何去抓取，在 C# 中你们都知道抓取通用的库是 HtmlAgilityPack，可是这个库主流的作法是采用 xpath 提取网页内容，这就让我很不爽了，毕竟不熟悉莫名的抵抗哈，像我这个年纪的码农，被 Jquery 教育了至少 5-6 年，因此必须用类Jquery 的方式，在 python 中有 pyquery 作这件事情，那在
C# 中有没有相似的方式呢？嘿嘿，万能的 github 上还真有。。。就是本篇介绍的 CSQuery。css

二：CSQuery

1. 安装

github的地址： https://github.com/zone117x/C... 而后在vs中 nuget 一下便可：html

2. 举几个例子

一切都准备就绪了，那怎么用呢？不着急，我以博客园举两个例子。html5

1) 将首页中的友情链接提取到

如上图，要想获取这里的 友情连接几个大字，直接用 text() 确定是不行的，默认状况它会将全部的子节点的文本也会抓到，以下图：python

那怎么处理呢？能够用 jquery 提供的 contents 方法，而后在获取的全部子节点中判断是否有文本节点，最后获取文本节点的内容便可，以下代码：jquery

用js是搞定了，那用 CSQuery 代码怎么搞定呢？模仿呗，以下代码：css3

static void Main(string[] args)
        {
            var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

            var content = jquery["#friend_link"].Contents().Filter((dom) =>
            {
                return dom.NodeType == NodeType.TEXT_NODE;
            }).Text();

            Console.WriteLine(content);
        }

我不知道用 xpath 提取这样的内容麻不麻烦，不过用 jquery 方式不简单，但轻车熟路。git

2) 如何将 html 中的某些元素标颜色

有时候为了业务须要将某些 html 标签改一下颜色，好比说将首页的 tabmenu 中 博问 和 专区 改为红色，以下图：github

那用 CSQuery 怎么处理呢？若是玩过 jquery，通常来讲步骤以下：dom

使用 each 遍历每个子 li 标签
使用 CSS 方法给 li 中 a 标签赋样式
使用 Render 渲染生成一个新的的html

有了步骤，C#代码以下：spa

static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

            var html = jquery["#nav_left li"].Each(dom =>
               {
                   var self = jquery[dom];

                   var text = self.Text();

                   if (text == "博问" || text == "专区")
                   {
                       self.Find("a").CssSet(new { color = "red" });
                   }
               }).Render();
        }

3) 其余的操做方法

除了上面两个操做方法外，你还能够使用 after，before，replaceAll,IS 等等一百来个实用的方法，这篇确定也没法一一介绍了，你们有兴趣能够下载下来看一看，捣鼓捣鼓。

三：其余用途

除了抓取html中的元素，我以为这玩意还能够用在发送邮件时操控邮件模板，毕竟在好久之前你们都是用jquery来绘制 html，因此用 CSQuery 也是能够的，相对使用 xslt 有利有弊吧，接下来作一个例子：

1. 生成一个html模板

<!DOCTYPE html>

<html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<head>
    <meta charset="utf-8" />
    <title></title>
</head>
<body>
    <ul id="main"></ul>
</body>
</html>

2. 使用 CSQuery 给 ul 追加 li

能够用 Append 将内容追加到 <ul> 节点内。

class Program
    {
        static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var strlist = new string[2] { "1", "2" };

            var path = Environment.CurrentDirectory + "\\2.html";
            var jquery = CQ.CreateFromFile(path);

            foreach (var str in strlist)
            {
                jquery.Find("#main").Append($"<li>{str}</li>");
            }

            var html = jquery.Render();
        }
    }

3. 部分渲染 RenderSelection

Render方法是将整个Dom渲染成html，但有时候你只须要获得你修改的那部份内容，而不是整个html，这就涉及到了部分渲染，能够用 RenderSelection 方法便可，代码以下：

static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var strlist = new string[2] { "1", "2" };

            var path = Environment.CurrentDirectory + "\\2.html";
            var jquery = CQ.CreateFromFile(path);

            var current = jquery.Find("#main");

            foreach (var str in strlist)
            {
                current.Append($"<li>{str}</li>");
            }

            var html = current.RenderSelection();

            Console.WriteLine(html);
        }

------------- output ----------------

<ul id="main"><li>1</li><li>2</li></ul>

四：总结

Jquery 这种操做模式对我我的来讲仍是比较舒服的，毕竟熟！不过在 html5 中也新增了 querySelector 和 querySelectorAll 支持 css3 选择器，很是强大，可 jquery 不光在选择器的灵活上，还在于对节点的灵活操做上，总的来讲不是特别富交互的状况下能够怀旧一把。