前言
目前有愈来愈多的基金,不管是公募或私募,都在使用量化交易。将来10年,人工智能将出如今愈来愈多的投资交易中,不以人工智能为核心的投资平台将很难生存。量化交易的核心在于数据。今天咱们就利用python爬虫技术爬取上交所全部股票的历史每周价格，以备分析。html
找到数据来源
首先，打开东方财富网个股页面。东方财富网的每周价格数据是经过js传输的，若是直接在网页爬取，获得的是空的数据。所以重点就是找到传输数据的那个js。在Network里咱们很快找到了这个js。python
复制js的连接在新的窗口打开访问，发现就是咱们要的数据。json
另外，js的连接也是有规律的，这就好办了，接下来上代码。api
代码解析
导入须要的库。微信
import requests from bs4 import BeautifulSoup as bs import json import csv
定义两个宏变量。app
生成连接列表的函数。python爬虫
def Get_Url(num): urlFront = 'http://pdfm.eastmoney.com/EM_UBG_PDTI_Fast/api/js?rtntype=5&token=4f1862fc3b5e77c150a2b985b12db0fd&cb=jQuery183011315552915535987_1527650090681&id=' urlRear = '1&type=wk&authorityType=&_=1527650434356' for i in range(0,num): STOCKPAGEURL.append(urlFront+str(600000+i)+urlRear)
获取历史每周价格，关键函数。函数
def GetInfo(num): for i in range(num): try: headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', 'Referer': 'http://quote.eastmoney.com/sh603385.html', 'Accept': '*/*', 'Accept-Encoding':'gzip, deflate', 'Accept-Language': 'keep-alive', 'Connection': 'keep-alive' } pages = requests.get(STOCKPAGEURL[i],headers=headers) pages.encoding = 'utf-8' texts = pages.text.split('(')[1].split(')')[0] stockName = json.loads(texts) date = stockName['data'][0].split(',') #获取股票的名称、代码和当前价格等基本信息，存储在stockInfo变量中 stockInfo = [] stockInfo.append(stockName['name']) stockInfo.append(stockName['code']) stockInfo.append(stockName['info']['c']) #获取股票每周的历史价格，存储在stockInfo变量中 for i in range(len(dateList)): dataListCount = 0 for j in range(len(stockName['data'])): temp = stockName['data'][j].split(',') if temp[0] == dateList[i]: stockInfo.append(temp[4]) break else: dataListCount +=1 if dataListCount==len(stockName['data']): stockInfo.append('0') #将变量stockInfo的数据存入csv CsvDownload(stockInfo) except: pass
将数据存入csv文件中。人工智能
def CsvDownload(stockInfo): print(stockInfo[1]) out = open('dataset.csv','a', newline='') csv_write = csv.writer(out,dialect='excel') csv_write.writerow(stockInfo)
主函数，运行上面的函数。url
if __name__ == "__main__": firstLine = ['name','code','pricetody'] + dateList CsvDownload(firstLine) num = 5000 Get_Url(num) GetInfo(num)
效果展现
下载过程，每条数据的爬取过程大概须要1秒，整个过程可能须要几十分钟，耐心等待便可。
爬取完成以后，打开csv文件，全部的股票和历史价格都已经乖乖躺在里面。
获取源码
如何获取源代码：
关注微信公众号“无知红”，后台回复 “ 股票每周价格 ” ，便可获取下载地址