scrapy基础使用

编辑本随笔 简介: Scrapy:为了爬去网站数据而编写的一款应用框架,即集成了相应功能且具有很强通用性的项目模板。 功能: 高性能异步下载 解析操作 持久化存储等 代理和cookie 日志等级和请求传参 CrawlSpider 基于redis的分布式爬虫 安装:linux用pip install scrapy安装即可,win安装查找其他资料 基础使用: 1.创建一个工程 命令:scrapy st
相关文章
相关标签/搜索