Python工程师（爬虫方向）岗位职责解析

岗位职责： 一、负责爬虫各个系统核心代码搭建，性能方面的优化，解决相关的疑难问题；算法 二、负责研究各类网站、网页、连接的形态，发现它们的特色和规律；编程 三、设计各类策略和算法，提升数据抓取的效率和质量，解决数据的重复,垃圾数据识别；设计模式 四、提升系统的可运维，可测性，易用性。网络   职位要求： 一、熟悉Python高并发应用开发，了解爬虫框架Scrapy，pyspider等；数据结构 二

>>阅读原文<<