scrapy参数meta传递item的用法，结合deepcopy来理解

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])

 

参数meta说明：

        1）meta是一个字典，主要用于解析函数之间传递值；

        2）Request对象接受一个meta参数，即一个字典对象，同时Response对象有一个meta属性能够取到相应request传过来的meta；

        即：一方传递，另外一方接收

 

 

问题：

meta传递值，有时候当前爬虫解析出来的数据须要重复抓取，获取到的值有时须要传递给下一个函数

可是 items= response.meta['item'] 接收的时候一直是一样的值

 

解决：

在yield的时候，meta参数的值作深度拷贝就能够了

 

yield scrapy.Request(detail_url,

                    callback=self.next_page,

                    meta={'item': deepcopy(item)})

 

 

结合代码说明为何爬取图书数据重复时须要deepcopy？    -----这里省略代码，理解用法便可

 

- a = deepcopy(b)      # 至关于强制传值

      - scrapy中的内容是异步执行的，解析函数可能同时在执行，操做的是同一个item，

      - 大分类下的全部的图书用的是一个item字典

 

 

补充：

      copy与deepcopy区别：

        个人理解是：copy 至关于一个替身，只是表面的假象，真主换动做了替身也要随着变；

                             deepcopy 看成一对双胞胎，虽然类似，但其实是各自独立的特征

                                               

       放上一个其余人总结的比较详细的连接做参考： https://www.jianshu.com/p/dd839e1d4144