首先咱们来讲说css选择器；其实在上面的概述：和scrapy相关的函数就这么三个而已：response.css("css表达式")、extract()、extract_first()。有变化的就是：css表达式的写法，这里咱们就列举一些常见的表达式，虽然不能囊括100%的爬取任务，但能够很负责的说，至少能够囊括90%的爬取，这里小编会把常见的给诸位列举哈，诸位见相似的即可直接依葫芦画瓢使用了。按照HTML标签的结构能够分为：标签属性值提取、标签内容提取，咱们分别介绍对应的状况；css
一、标签属性值的提取
href的值URL的提取：这是最多见的，咱们要进入下一页、或是打开内容页……都少不了URL值，以下面这段HTML，咱们来提取一下里面的URLhtml
<ol class="page-navigator">
<li class="current"><a href="http://lab.scrapyd.cn/page/1/">1</a></li>
<li><a href="http://lab.scrapyd.cn/page/2/">2</a></li>
<li><a href="http://lab.scrapyd.cn/page/3/">3</a></li>
<li><a href="http://lab.scrapyd.cn/page/4/">4</a></li>
</ol>
这实际上是咱们爬虫实验室的分页，若是咱们要爬取下一页，咱们该如何提取URL呢？提取属性咱们是用：“标签名::attr(属性名)”，好比咱们要提取url表达式就是：a::attr(href)，要提取图片地址的表达式就是：img::attr(src)……以此类推，好了知道scrapy给咱们提供的提取变了的工具，那咱们就能够提取上面的URL了，有多种方式，首先咱们能够直接：shell
response.css("a::attr(href)")
而后，咱们调试一下，看是否是咱们想要的结果，cmd输入：bash
scrapy shell lab.scrapy.cn
而后咱们发现结果并不是是咱们想要的分页URL，而是页面中全部的URL：scrapy
Out[3]:
['http://lab.scrapyd.cn/',
'http://lab.scrapyd.cn/archives/57.html',
'http://lab.scrapyd.cn/tag/%E8%89%BA%E6%9C%AF/',
'http://lab.scrapyd.cn/tag/%E5%90%8D%E7%94%BB/',
……
'http://lab.scrapyd.cn/page/1/',
'http://lab.scrapyd.cn/page/2/',
……
'http://lab.scrapyd.cn/page/6/',
'http://lab.scrapyd.cn/page/2/',
'http://lab.scrapyd.cn/tag/%E4%BA%BA%E7%94%9F/',
……
'http://lab.scrapyd.cn/tag/%E5%90%8D%E7%94%BB/',
'http://lab.scrapyd.cn/tag/%E7%94%9F%E6%B4%BB/',
……
'http://lab.scrapyd.cn/']
这固然不是咱们想要的，咱们想要的只是分页的URL，那这要怎么办？那咱们就须要限定一下咱们URL的范围，最好的方法就是找到咱们要提取目标最近的class或是id，能够看到这段代码中有个class="page-navigator"，那咱们就能够这样来写：函数
response.css(".page-navigator a::attr(href)").extract()
当这样限定以后，咱们发现这就成功提取了咱们想要的URL，灰常的完美！随便解释哈上面的：.page-navigator，其中点表明class选择器，若是代码中是：id=“page-navigator”，那咱们这里就要写成：“#page-navigator”，你们若是不清楚能够去这里看看：https://www.runoob.com/css/css-id-class.html；
再来一个提取标签属性的栗子，最多见的就是咱们的图片地址，也就是要提取图片的src值，以下面网页：工具
<article class="post" itemscope="" itemtype="http://schema.org/BlogPosting">
<h1 class="post-title" itemprop="name headline"><a itemprop="url" href="http://lab.scrapyd.cn/archives/57.html">中国传世名画</a></h1>
<div class="post-content" itemprop="articleBody">
<p>看官，此页面只为爬虫练习使用，都是残卷，若喜欢能够去找点高清版！</p>
<p><img src="http://lab.scrapyd.cn/usr/uploads/2018/02/3875934880.jpg" alt="1.jpg" title="1.jpg"></p>
<p><img src="http://lab.scrapyd.cn/usr/uploads/2018/02/2269613152.jpg" alt="2.jpg" title="2.jpg"></p>
<p><img src="http://lab.scrapyd.cn/usr/uploads/2018/02/2360992798.jpg" alt="3.jpg" title="3.jpg"></p>
<p><img src="http://lab.scrapyd.cn/usr/uploads/2018/02/2239103416.jpg" alt="4.jpg" title="4.jpg"></p>
<p><img src="http://lab.scrapyd.cn/usr/uploads/2018/02/4145232684.jpg" alt="5.jpg" title="5.jpg"></p>
</div>
<p itemprop="keywords" class="tags">标签: <a href="http://lab.scrapyd.cn/tag/%E8%89%BA%E6%9C%AF/">艺术</a>, <a href="http://lab.scrapyd.cn/tag/%E5%90%8D%E7%94%BB/">名画</a></p>
</article>
这个页面是咱们爬虫实验室：http://lab.scrapyd.cn/archives/57.html的文章，咱们要提取里面图片的地址供scrapy下载，有上面的基础就很简单了：首先找到隔img最近的class或id，能够看到有个：class="post-content"，因而咱们能够这样写表达式：post
response.css(".post-content img::attr(src)").extract()
调试的话本身试哈，通过这个表达式：".post-content img::attr(src)，能够看到已经成功提取出来：ui
Out[2]:
['http://lab.scrapyd.cn/usr/uploads/2018/02/3875934880.jpg',
'http://lab.scrapyd.cn/usr/uploads/2018/02/2269613152.jpg',
'http://lab.scrapyd.cn/usr/uploads/2018/02/2360992798.jpg',
'http://lab.scrapyd.cn/usr/uploads/2018/02/2239103416.jpg',
'http://lab.scrapyd.cn/usr/uploads/2018/02/4145232684.jpg']
好了上面即是提取标签属性的方法，利用的就是：标签名::attr(属性名)，关键点就是如何缩小范围！url
二、标签内容的提取
设么是标签内容，好比：
<p>scrapy中文网</p>
<div>scrapy中文网：www.scrapyd.cn</div>
<h1>scrapy实验室：lab.scrapyd.cn</h1>
<title>scrapy中文网</title>
上面标签：p、div、h1里面的文字即是标签内容，那咱们要如何提取呢？用到了scrapy给我提供的这么一个方法：“::text”，好比要提取上面p标签里面的内容，咱们能够这样：
response.css("p::text").extract()
那接下来咱们就演示哈如何提取scrapy中文网：http://www.scrapd.cn的title：
<html lang="zh-CN">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1">
<title>Scrapy 中文网</title>
提取方式：
response.css("title::text").extract()
上面的这个栗子灰常简单，应为tittle标签是页面惟一的标签，因此在title前不用加什么限制，当你发现标签不惟一的时候，咱们就须要缩小范围，原理和上面标签属性提取同样，要么找最近的class、要么找最近的id，而后最终缩小提取访问，这样就能让提取很准确，以下面这个例子：
<div class="left">
scrapy中文网左边
</div>
<div class="center">
scrapy中文网中部
</div>
<div class="right">
scrapy中文网右侧
</div>
若是咱们要提取第二个div里面的内容，咱们确定不能这样：
response.css("div::text").extract()
若是这样提取的话，咱们确定得不到正确的结果，咱们还须要限制哈范围，找到最近的class=“center”，最终表达式以下：
response.css(".center::text").extract()
这样的话就能正确提取咱们想要的内容；下面咱们再介绍一个最经常使用的提取方式：含有嵌套标签文字的提取，HTML以下：
<div class="post-content" itemprop="articleBody">
<p>若是你因失去了太阳而流泪，那么你也将失去群星了。 <br>
If you shed tears when you miss the sun, you also miss the stars.
</p>
<p>
<a href="http://www.scrapyd.cn">scrapy中文网（</a><a href="http://www.scrapyd.cn">http://www.scrapyd.cn</a>）整理
</p>
</div>
若是咱们要提取class=“post-content”里面的全部文字，咱们须要怎么办呢？显然上面的知识没法作到。这段文字是scrapy实验室：http://lab.scrapyd.cn/archives/28.html 里的文章，诸位能够scrapy shell进行验证结果，能够记住用下面的方式：
response.css(".post-content *::text").extract()
能够看到，“::tex“t前面有个“*”号，这是一个小技巧，通常人我都告诉他，学着点！好了，上面的一些常见的内容已经说了些；接下来咱们来讲一些比较复杂的表达式，你们根据状况使用：
三、CSS 高级用法：
CSS选择器用于选择你想要的元素的样式的模式。"CSS"列表示在CSS版本的属性定义（CSS1，CSS2，或对CSS3）。