使用scrapy框架项目实践

任务说明:使用scrapy框架爬取58同城上面的租房信息,同时解密被加密的文字,最后将结果上传到MongoDB,期间启动中间件来反爬虫。 这里使用Python3.7开发(考虑到Python对汉字不太友好,这里选择Python3版本就是为了避免因为汉字而导致程序报错) 首先我们打开pycharm创建项目,创建好的项目目录如下图: 定义item 确定我们要爬取的内容,进入58同城的租房板块,进入租房页
相关文章
相关标签/搜索