爬虫任务设计要有父子概念,即抓取网站和抓取任务的概念

对于抓取任务有个自动统计,原本统计如下,现在需要改成 横着来的形式 由于一个网站分成了,市场价,出厂价的抓取,所有么有一个父子关系的话,不好统一起来。。 还是要像之前想的设计一样,有个父子关系,网站最大,然后网站下面可以有多个任务 一个网站可以对应多个任务
相关文章
相关标签/搜索