python爬取的csv文件数据导入mysql数据库

将python爬取的csv文件数据导入mysql数据库
爬虫有些爬取的文件有时候喜欢保存成csv文件格式，而后直接能够在excel表查看等比较直观，如今须要把有些数据保存到数据库，就能够用到以下方法，写的比较简单。
csv文件使用pandas 处理比较快速方便 。用以前须要安装pip install pandas

import pandas as pd
import pymysql

#读取数据
test_data = pd.read_csv(r'pyill/pyillTextData.csv')
test_data.head()
#链接数据库
db = pymysql.connect(host="IP",user="数据库用户名", passwd="密码",db="要链接那个数据库",charset='utf8')
#定义操做函数
def insert_test_data():
    liData = []
    num = 0 
    cursor = db.cursor()
    # 利用shape的第一个元素来获取数据的数量
    for i in range(0,test_data.shape[0]):
        # 获取第每行数据
        line_data = test_data.iloc[i]
         #读取第每行中每列数据
        value = (str(line_data[0]),str(line_data[1]),str(line_data[2]),str(line_data[3]))
        liData.append(value)
        num +=1
        if num==10000:
            sql = "INSERT INTO crv(crv_id,cate_id,store_id,crv_price)VALUES(%s,%s,%s,%s)"
            cursor.executemany(sql, liData)  # 执行sql语句
            db.commit()
            num = 0  # 计数归零
            liData.clear()  # 清空list


    cursor.close()
    db.close()
#执行函数 
insert_test_data()