爬虫方向

面试总结

• app端逆向反编译(知乎上有简单说明)
• js调试,分析加密参数
• 有些消息是websocket发送的,可使用js接收,有些使用的是tcp这就须要tcp端的抓包工具了
• 通用爬虫框架,涉及到算法如几率论,
• 结合大数据,hoodop,kafka
• splash渲染可使用并发,selenium相对来讲能够不太好
• 爬虫 + 大数据 + 数据分析 + 机器学习