Atitit 烈火计划进展报告 r61

Atitit 烈火计划进展报告 r61

 

1. 烈火计划主要包括几个东西 1

1.1. 2014.12 邮箱编码读取 1

1.2. 2017.1  垂直领域图片下载器  草料图片下载器 1

1.3. qc30 基于WebmagicUtil的爬虫  url reader 1

1.4. 社会组织抓取js版 1

1.5. R61  使用js node 重写url reader 2

1.6. 后级规划：：Node js版，框架化。。参照python java的爬虫框架 2

 

1. 烈火计划主要包括几个东西

图片下载器

Url reader

 

 

1.1. 2014.12 邮箱编码读取

C:\d\AtiPlatf_se\src_atibrow\com\attilax\lbs

 

1.2. 2017.1  垂直领域图片下载器  草料图片下载器

TsaolyoPicSpider

 

1.3. qc30 基于WebmagicUtil的爬虫  url reader

 

C:\0workspace\atiplat_spider\atireaderUrls\tech.txt

Atitit atiplat_reader 基于url阅读器的新特性v2 qc30.docx

Atitit atiplat_reader 基于url阅读器的新特性

 

 

1.4. 社会组织抓取js版

 

1.5. R61  使用js node 重写url reader

Node 好像没有爬虫框架

 

1.6. 后级规划：：Node js版，框架化。。参照python java的爬虫框架

 

Spider.create(pageProcessor)

// 从"https://github.com/code4craft"开始抓

.addUrl(crawler.super_SpiderFrmwkPubPart.seedUrl)

// 开启5个线程抓取

.thread(10)

// 启动爬虫

.run();

 

 

做者:: 绰号:老哇的爪子claw of Eagle 偶像破坏者Iconoclast image-smasher

捕鸟王"Bird Catcher  kok  虔诚者Pious 宗教信仰捍卫者 Defender Of the Faith. 卡拉卡拉红斗篷 Caracalla red cloak 万兽之王

简称：： Emir Attilax Akbar 埃米尔 阿提拉克斯 阿克巴

全名：：Emir Attilax Akbar bin Mahmud bin  attila bin Solomon bin adam Al Rapanui 埃米尔 阿提拉克斯 阿克巴 本 马哈茂德 本 阿提拉 本 所罗门 本亚当  阿尔 拉帕努伊

经常使用名：艾提拉（艾龙），  EMAIL:1466519819@qq.com

 

 

头衔：uke总部o2o负责人，全球网格化项目创始人，

uke交友协会会长  uke捕猎协会会长 Emir Uke部落首席大酋长，

 

uke宗教与文化融合事务部部长， uke宗教改革委员会副主席

uke制度与重大会议委员会委员长，uke保安部首席大队长,uke制度检查委员会副会长，

 

uke 首席cto   软件部门总监 技术部副总监  研发部门总监主管  产品部副经理 项目部副经理   uke科技研究院院长 uke软件培训大师

 

uke波利尼西亚区大区连锁负责人 汤加王国区域负责人 uke克尔格伦群岛区连锁负责人，莱恩群岛区连锁负责人，uke布维岛和南乔治亚和南桑威奇群岛大区连锁负责人

 Uke软件标准化协会理事长理事长 Uke 数据库与存储标准化协会副会长

 

uke终身教育学校副校长   Uke医院 与医学院方面的创始人

 uec学院校长， uecip图像处理机器视觉专业系主任   uke文档检索专业系主任

Uke图像处理与机器视觉学院首席院长

Uke 户外运动协会理事长  度假村首席大村长   uke出版社编辑总编

 

转载请注明来源：attilax的专栏  http://blog.csdn.net/attilax

http://www.cnblogs.com/attilax/

Microblog

http://weibo.com/u/5941179815   (common)

http://weibo.com/u/5487832265

http://weibo.com/u/5487832265 (tech)

 

 

--Atiend  v10