使用pandas读取表格数据并进行单行数据拼接

业务需求

一个几十万条数据的Excel表格，如今须要拼接其中某一列的所有数据为一个字符串，例以下面简短的几行表格数据：

id	code	price	num
11	22	33	44
22	33	44	55
33	44	55	66
44	55	66	77
55	66	77	88
66	77	88	99

如今须要将code的这一列用逗号,拼接为字符串，而且每一个单元格数据都用单引号包含，须要拼接成字符串'22','33','44','55','66','77'，这样的状况，咱们须要怎么处理呢？固然方式有不少……

多行文本批量处理

有的时候，咱们会遇到须要同时处理多行文本的状况，不少文本编辑器都支持批量操做多行文本，这里我主要说一下Sublime Text，下面是操做的快捷键，有须要的能够尝试用一下，确实挺方便的。

1. 选中须要操做的多行，按下Ctr+Shift+L便可同时编辑这些行
2. 鼠标选中文本，反复按CTRL+D便可继续向下同时选中下一个相同的文本进行同时编辑
3. 鼠标选中文本，按下Alt+F3便可一次性选择所有的相同文本进行同时编辑

如何节省效率

在工做中，可能会存在一些表格数据处理的状况，好比运营给你一个表格，表格里有相似：订单号呀、产品ID啊、商品SKU等，须要你协助导出这些数据里的明细数据以便他们作分析用，一两次，咱们能够快速用上面的方式处理，可是这种方式对于大文本的处理可能会存在卡顿的状况，操做效率较低，若是小文本的话，那么仍是很方便的。

若是屡次遇到这种状况，是否想要作成一个工具来快速处理呢，也就是，这种批量拼接一样格式的数据，咱们能够写一个小工具来实现，即快速又省事，能够大大减小重复的工做消耗。

pandas读取表格数据并处理

这咱们使用Python的pandas模块来读取表格指定某列的数据，再按照咱们的拼接格式进行循环处理，最终把拼接的字符串写入文本文件中，方便保留和使用拼接的数据。

sheet = pandas.read_excel(io=file_name, usecols=[line_num])
data = sheet.values.tolist()
str_data = ''
# 循环处理数据
print_msg('已获取列数据条数[' + str(len(data)) + ']，开始处理数据……')
for x in range(len(data)):
    if str(data[x][0]) != 'nan':
        str_data += "'" + str(data[x][0]) + "',"

完整源码

由于脚本须要屡次使用，而且针对不一样文件的不一样列，因此，咱们采用接受关键参数的形式，能够不改动任何代码，就能够直接使用此脚原本完整咱们的数据拼接，同时，咱们还可使用pyinstaller模块来将脚本进行打包成exe的window可执行文件，使其在无Python的运行环境中也可使用，打包命令为：pyinstaller -F -i favicon.ico join_excel_data.py，我已有打包的上传到交友网站Github上，你们有兴趣的话，能够点击查看哦，交个朋友地址：https://github.com/gxcuizy

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
拼接Excel表格单行数据，并写入文本
author: gxcuizy
time: 2021-03-01
"""

import pandas
import random
import os
import time


def print_msg(msg=''):
    """打印信息"""
    now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    print('[' + now_time + '] ' + msg)


# 程序主入口
if __name__ == "__main__":
    # 获取传入参数
    file_name = input('请输入当前目录下的表格文件名（例如“01.xlsx”）：')
    line_num = input('请输入要拼装的数据第几列（例如“1”）：')
    # 判断文件是否存在
    if os.path.exists(file_name) == False:
        print_msg('文件不存在')
        os.system("pause")
        exit(0)
    # 判断输入的行数是否为数字
    if line_num.isdigit() == False:
        print_msg('请输入列数的数字')
        os.system("pause")
        exit(0)
    try:
        # 获取表格数据
        print_msg('开始获取文件[' + file_name + ']的第[' + str(line_num) + ']列数据')
        line_num = int(line_num) - 1
        sheet = pandas.read_excel(io=file_name, usecols=[line_num])
        data = sheet.values.tolist()
        str_data = ''
        # 循环处理数据
        print_msg('已获取列数据条数[' + str(len(data)) + ']，开始处理数据……')
        for x in range(len(data)):
            if str(data[x][0]) != 'nan':
                str_data += "'" + str(data[x][0]) + "',"
        # 写入文本文件
        print_msg('数据处理完毕，开始写入……')
        random_num = random.randint(1000, 9999)
        with open('str_' + str(random_num) + '.txt', 'w') as f:
            f.write(str_data.strip(','))
        print_msg('数据写入完毕.')
    except Exception as err_info:
        # 异常信息
        print_msg(str(err_info))
    # 防止exe程序执行结束闪退
    os.system("pause")

最后

若是你们有其余好玩的、好用的欢迎分享出来，你们一块儿学习和交流。对了，若是有说的不对的或者错误的地方，请你们指出来，我会加倍学习，力争改进，指望和你们一块儿进步，谢谢。