NoSQL,泛指非关系型的数据库:“随着互联网web2.0网站的兴起,传统的关系数据库在处理web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,出现了不少难以克服的问题,而非关系型的数据库则因为其自己的特色获得了很是迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤为是大数据应用难题。” python
以下展现用Python语言操做MongoDB 这种非关系型数据库,获取数据库中目标数据,实现本地写入。web
import pandas as pd from pymongo import ASCENDING, UpdateOne, MongoClient import traceback from pymongo import UpdateOne, ASCENDING from pymongo import MongoClient # 筛选数据 client = MongoClient("localhost", 27017) db = client['local'] col = db['stock'] data = pd.DataFrame(list(col.find())) data['date'] = pd.to_datetime(data['date']) data_2019 = data[(data['date'] >=pd.to_datetime('20190101')) & (data['date'] <= pd.to_datetime('20191231'))] data_2019.columns = ['ID', '_id', '日期', '代码', '开盘','最高', '最低','收盘', '成交量','成交额'] # 写入本地 data_2019.to_csv('D:/StockData/2019.csv',encoding='utf-8')
以上代码的运行结果,请自行到以下地址获取:mongodb
连接: https://pan.baidu.com/s/1Wq_FiiB8NdzPViFULNSRaw
提取码: 2hc4 数据库
但数据量较大,通常的excel没法正常打开。若想进一步分析,建议用数据库操做后续,本文只涉及技术层面相关信息。并发
参考:MongoDB官介高并发