写一个shell脚本利用wget抓取股票历史数据

　　今天，大数据部老大交给我一项任务——抓取股票历史数据。因而乎，我自行在网上找了一下，发现wget真真是一个很是强大的linux下载工具。我已经被深深震撼到了。下面叙述今天的一些过程，仍是比较坎坷的。

　　首先，我利用公司如今存在的股票数据，使用hive查询全部的股票代码并导入本地：

hive -e "use stock;select distinct secucode from t_stock_tick_shsz where type='sz';" >> sz_secucode.txt

hive -e "use stock;select distinct secucode from t_stock_tick_shsz where type='sh';" >> sh_secucode.txt

　　PS:上面这一步骤，由于一个小小的问题——开始没有加关键字distinct，结果致使后期抓取数据抓到一大堆重复的股票代码的数据。

　　刚开始想偷懒，想要一句一句地粘贴wget，可是，股票代码太多了，因此仍是写脚本吧，shell脚本以下：

#下载上海交易所股票历史记录
#!/bin/bash                                                           
　　for I in `cat sh_secucode.txt`
    do  
            wget --user-agent="Mozilla/5.0 （Windows; U; Windows NT 6.1; en-US） AppleWebKit/534.16 （KHTML， like Gecko） Chrome/10.0.648.204 Safari/534.16" \
                    -nv --tries=5 --timeout=5 -O /home/bigdata/script/zj/sh_history/history_data/$I.csv http://quotes.money.163.com/service/chddata.html?code=0$I&end=20130430                               
            sleep 1s
    done  
    
#下载深圳交易所股票历史记录
#!/bin/bash
        for I in `cat sz_secucode.txt`
        do
            wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 (.NET CLR 3.5.30729)" \
                    -nv --tries=5 --timeout=5 -O /home/bigdata/script/zj/sz_history/history_data/$I.csv http://quotes.money.163.com/service/chddata.html?code=1$I&end=20130430
            sleep 1s
        done

　　PS：说一下上面这段代码，为何在wget有user-agent这个参数？玩过爬虫的同窗确定都知道，当你频繁下载一个网站的东东，这个网站会识别出这是一个爬虫程序，因而就拒绝你下载他家的资源了，因此要设置一个代理，假装成一个浏览器下载文件，这样被发现的几率就笑了。还有，为何要加一个sleep？这是由于有可能有的文件比较大，可能在几毫秒以内没有下载完就被挂停了。固然了，我这边的每一个文件也就几百K，因此1s也足够了。

　　最后，运行脚本，写这篇文章的时候，脚本还在运行中，但愿顺利！O(∩_∩)O