用python + openpyxl处理excel(07+)文档 + 一些中文处理的技巧

寻觅工具

肯定任务以后第一步就是找个趁手的库来干活。 Python Excel上列出了xlrd、xlwt、xlutils这几个包，可是

1. 它们都比较老，xlwt甚至不支持07版之后的excel

2. 它们的文档不太友好，均可能须要去读源代码，而老姐的任务比较紧，加上我当时在期末，没有这个时间细读源代码

再一番搜索后我找到了openpyxl，支持07+的excel，一直有人在维护，文档清晰易读，参照Tutorial和API文档很快就能上手，就是它了~

安装

这个很容易，直接pip install openpyxl，呵呵呵~

由于我不须要处理图片，就没有装pillow。

一些考虑

1. 源文件大约一个在1~2MB左右，比较小，因此能够直接读入内存处理。

2. 既然是处理excel，况且他们整个组显然都是win下干活（数据都用excel存了= =，商科的人啊……），这个脚本仍是在win下作吧

3. 这个任务彻底不须要我对现有的文件作修改！囧……我只要读入、处理、再写出另外一个文件就好了

学习使用

嗯，就是打开cmd，而后用python的shell各类玩这个模块来上手……（win下没有装ipython，囧）

作这个小脚本基本上我只须要import两个东西

from openpyxl import Workbookfrom openpyxl import load_workbook

load_workbook顾名思义是把文件导入到内存，Workbook是最基本的一个类，用来在内存里建立文件最后写进磁盘的。

干活

首先我须要导入这个文件

inwb = load_workbook(filename)

获得的就是一个workbook对象

而后我须要建立一个新的文件

outwb = Workbook()

接着在这个新文件里，用create_sheet新建几个工做表，好比

careerSheet = outwb.create_sheet(0, 'career')

就会从头部插入一个叫career的工做表（也就是说用法相似python list的insert）

接下来我须要遍历输入文件的每一个工做表，而且按照表名作一些工做（e.g.若是表名不是数字，我不须要处理），openpyxl支持用字典同样的方式经过表名获取工做表，获取一个工做簿的表名的方法是get_sheet_names

for sheetName in inwb.get_sheet_names():    if not sheetName.isdigit():        continue
    sheet = inwb[sheetName]

获得工做表以后，就是按列和行处理了。openpyxl会根据工做表里实际有数据的区域来肯定行数和列数，获取行和列的方法是sheet.rows和sheet.columns，它们均可以像list同样用。好比，若是我想跳过数据少于2列的表，能够写

if len(sheet.columns) < 2:    continue

若是我想获取这个工做表的前两列，能够写

colA, colB = sheet.columns[:2]

除了用columns和rows来获得这个工做表的行列以外，还能够用excel的单元格编码来获取一个区域，好比

cells = sheet['A1':'B20']

有点像excel本身的函数，能够拉出一块二维的区域~

为了方便处理，遇到一个没有C列的工做表，我要建立一个和A列等长的空的C列出来，那么我能够用sheet.cell这个方法，经过传入单元格编号和添加空值来建立新列。

alen = len(colA)for i in range(1, alen + 1):
    sheet.cell('C%s' % (i)).value = None

注意：excel的单元格命名是从1开始的~

上面的代码也显示出来了，获取单元格的值是用cell.value（能够是左值也能够是右值），它的类型能够是字符串、浮点数、整数、或者时间（datetime.datetime），excel文件里也会生成对应类型的数据。

获得每一个单元格的值以后，就能够进行操做了~openpyxl会自 动将字符串用unicode编码，因此字符串都是unicode类型的。

除了逐个逐个单元格用cell.value修改值之外，还能够一行行append到工做表里

sheet.append(strA, dateB, numC)

 最后，等新的文件写好，直接用workbook.save保存就行

outwb.save("test.xlsx")

这个会覆盖当前已有的文件，甚至你以前读取到内存的那个文件。

一些要注意的地方

• 若是要在遍历一列的每一个单元格的时候获取当前单元格的在这个column对象里的下标

  for idx, cell in enumerate(colA):    # do something...

• 为了防止获取的数据两端有看不见的空格（excel文件里很常见的坑），记得strip()

• 若是工做表里的单元格没有数据，openpyxl会让它的值为None，因此若是要基于单元格的值作处理，不能预先假定它的类型，最好用

  if not cell.value    continue

  之类的语句来先行判断

• 若是要处理的excel文件里有不少noise，好比当你预期一个单元格是时间的时候，有些表的数据多是字符串，这时候能够用

  if isinstance(cell.value, unicode):    break

  之类的语句处理。

• win下的cmd彷佛不太好设定用utf-8的code page，若是是简体中文的话能够用936（GBK），print的时候会自动从unicode转换到GBK输出到终端。

 

一些帮忙处理中文问题的小函数

我处理的表有一些超出GBK范围的字符，当我须要把一些信息print出来监控处理进度的时候很是麻烦，好在它们都是能够无视的，我直接用空格替换再print也行，因此加上一些我原本就要替换掉的分隔符，我能够：

# annoying seperatorsdot = u'\u00b7'dash = u'\u2014'emph = u'\u2022'dot2 = u'\u2027'seps = (u'.', dot, dash, emph, dot2)def get_clean_ch_string(chstring):    """Remove annoying seperators from the Chinese string.

    Usage:
        cleanstring = get_clean_ch_string(chstring)    """
    cleanstring = chstring    for sep in seps:
        cleanstring = cleanstring.replace(sep, u' ')    return cleanstring

 

此外我还有一个需求，是把英文名[空格]中文名分红英文姓、英文名、中文姓、中文名。

首先我须要能把英文和中文分割开，个人办法是用正则匹配，按照常见中英文字符在unicode的范围来套。匹配英文和中文的正则pattern以下：

# regex pattern matching all ascii charactersasciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127))# regex pattern matching all common Chinese characters and seporatorschinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))

英文就用ASCII可打印字符的范围替代，常见中文字符的范围是\u4e00-\u9fff，那个seps是前面提到过的超出GBK范围的一些字符。 除了简单的分割，我还须要处理只有中文名没有英文名、只有英文名没有中文名等状况，判断逻辑以下：

def split_name(name):    """Split [English name, Chinese name].

        If one of them is missing, None will be returned instead.
    Usage:
        engName, chName = split_name(name)    """
    matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name)    if matches:  # English name + Chinese name
        return matches.group(1).strip(), matches.group(2).strip()    else:
        matches = re.findall('(%s)' % (chinesePattern), name)
        matches = ''.join(matches).strip()        if matches:  # Chinese name only
            return None, matches        else:  # English name only
            matches = re.findall('(%s)' % (asciiPattern), name)            return ''.join(matches).strip(), None

 

获得了中文名以后，我须要分割成姓和名，由于任务要求不须要把姓名分割得很明确，我就按照常见的中文名姓名分割方式来分——两个字or三个字的第一个字是姓，四个字的前两个字是姓，名字带分隔符的（少数民族名字）分隔符前是姓（这里用到了前面的get_clean_ch_string函数来移除分隔符），名字再长一些又不带分割符的，假设整个字符串都是名字。（注意英语的first name 指的是名，last name指的是姓，2333）

def split_ch_name(chName):    """Split the Chinese name into first name and last name.

        * If the name is XY or XYZ, X will be returned as the last name.
        * If the name is WXYZ, WX will be returned as the last name.
        * If the name is ...WXYZ, the whole name will be returned
          as the last name.
        * If the name is ..ABC * XYZ..., the part before the seperator
          will be returned as the last name.
    Usage:
        chFirstName, chLastName = split_ch_name(chName)    """
    if len(chName) < 4:  # XY or XYZ
        chLastName = chName[0]
        chFirstName = chName[1:]    elif len(chName) == 4:  # WXYZ
        chLastName = chName[:2]
        chFirstName = chName[2:]    else:  # longer
        cleanName = get_clean_ch_string(chName)
        nameParts = cleanName.split()        print u' '.join(nameParts)        if len(nameParts) < 2:  # ...WXYZ
            return None, nameParts[0]
        chLastName, chFirstName = nameParts[:2]  # ..ABC * XYZ...
    return chFirstName, chLastName