如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件

今天乐视的股价能够说是从水深火热到激情澎湃,振幅高达 19.5%,不知你们都赚到了吗?网站

无论赚没赚到,买股票前收集资料进行调研仍是必须的。get

上市公司信息发布哪里权威呢,天然是巨潮资讯,毕竟是中国证监会指定信息披露网站。域名

如何抓取其中乐视相关 pdf 文件呢,从网站上一个个下载多累,还未必能找全,我教你个办法,自动化抓取,一劳永逸。下面开始演示。it

 

1、搜索自动化

这里以从巨潮资讯网 全站乐视 相关 pdf 为例,巨潮网址:class

http://www.cninfo.com.cnpdf

注意里面用了 site 和 filetype 两个操做符,这两个啥用途呢?百度

site 用于列出某域名下全部网页(包含文件)file

filetype 用于筛选文件类型搜索

两者结合就起到列出网站下全部搜索词相关 pdf 文件的目的。

 

2、抓取

如今连接有了,如何抓取呢,这里就该 Web Scraper 出场了。

一、创建 Sitemap

二、按以下结构创建选择器

三、抓取并导出 Excel 以下。

 

3、下载

连接有了,如何下载呢,迅雷上呗。

下载任务圆满完成:

 

4、思考

一、乐视抓完了,格力呢?巨潮会抓了,别的网站呢?

二、若是把搜索词乐视去掉又会如何?这里面有什么花头可挖?

三、filetype 后面换个别的文件类型呢,好比 ppt,doc,xls?

四、百度高级搜索 界面以下,你还能想出什么玩法?