爬虫经验小总结

前言 项目组要我爬取一些养分数据，过程曲折，仍是有许多体会的，总结一下，防止之后在入坑mysql   注意事项 存取爬取数据时，要保留数据来源的url，以便之后发现数据有误之后能够矫正 若是插入数据到有外键的数据库，必定要把全部的插入语句组成一个事务，不然一旦出现异常，数据就不一致了 存储文本信息到mysql时尽可能使用text类型，指不定就爆出长度不够 要作好重复处理的标记，我习惯使用广度优先，

>>阅读原文<<