python爬虫25 | 爬取下来的数据怎么保存？ CSV 了解一下

时间 2019-11-16

标签 python 爬虫取下来的数据怎么保存 csv 了解一下栏目 Python 繁體版

原文原文链接

你们好php

我是小帅bhtml

是一个练习时长两年半的练习生python

喜欢ios

唱！nginx

跳！web

rap！redis

篮球！sql

敲代码！shell

装逼！数据库

很差意思

我又走错片场了

接下来的几篇文章

小帅b将告诉你

如何将你爬取到的数据保存下来

有文本文件、redis、数据库（MySQL、MangoDB）等的存储方式

今天先说说

CSV

什么是 CSV？

怎么玩？

牛逼么？

那么接下来就是

学习 python 的正确姿式

CSV 是一个文本文件来的

有点像 excel

也就是它是以必定的表格的格式来展现数据的

咱们一般会使用逗号（,）来对每个单元数据进行分割

分隔符不止是逗号

也能够是制表符（tab）、冒号（:）、分号（；）

好比咱们要来表示一个表格中的数据

就能够这样

第1列的名称,第2列的名称,第3列的名称第1行第1格的数据,第1行第2格的数据,第1行第3格的数据第2行第1格的数据,第2行第2格的数据,第2行第3格的数据...

这就是 CSV 的格式

有啥好处呢

说 3 点足以

它支持存储比较大量的数据

咱们能够很是方便地利用它进行数据的导入或者导出到电子表格或者数据库

全部支持文本文件的输入输出的编程语言（好比咱们的 python），均可以直接操做使用 CSV 文件。

恩

了解什么是 CSV 以后

接下来小帅b会告诉你怎么使用 python 去存储数据到 CSV 文件中

代码走起

咱们导入 CSV 这个库

经过 csv.DictWriter 获取 writer 对象

而后就能够写入了

具体看下代码

   
   
   
   import csv
with open('xiaoshuaib.csv', mode='w') as csv_file: fieldnames = ['你是谁', '你几岁', '你多高'] writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
 writer.writeheader() writer.writerow({'你是谁': '小帅b', '你几岁': '18岁', '你多高': '18cm'}) writer.writerow({'你是谁': '小帅c', '你几岁': '19岁', '你多高': '17cm'}) writer.writerow({'你是谁': '小帅d', '你几岁': '20岁', '你多高': '16cm'})

咱们这里以字典的方式写入数据到 xiaoshuaib.csv 这个文件中

运行以后

能够看到多了一个文件

打开看看

能够看到

咱们的数据就被写进来了

说：是高仍是长？

再给你们介绍一个库

pandas

它能够更加方便的操做 CSV 文件

咱们先安装一下 pandas

pip install pandas

安装完以后

咱们用 pandas 来读取一下咱们刚存储的 xiaoshuaib.cvs 文件

import pandasxiaoshuaib = pandas.read_csv('xiaoshuaib.csv')print(xiaoshuaib)

打印结果是这样的

是否是又方便又好看呢

用 pandas 来存储 CSV 数据也是很简单的

一个方法就搞定

to_csv

import pandas as pd
b = ['小帅b', '小帅c', '小帅d']c = ['18岁', '19岁', '20岁']d = ['18cm', '17cm', '16cm']
df = pd.DataFrame({'你是谁' : b, '你几岁' : c, '你多高' : d})df.to_csv("xsb.csv", index=False, sep=',')

运行一下

以上就是对 CSV 的主要操做

当你把数据爬取下来的时候

可使用这招试试把数据存储下来

好了

那么咱们下篇再见

peace