Python解析HDF文件 分类： Python 2015-06-25 00:16 743人阅读 评论(0) 收藏

前段时间由于一个业务的需求须要解析一个HDF格式的文件。在这以前也不知道到底什么是HDF文件。百度百科的解释以下：

HDF是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF是由美国国家超级计算应用中心NCSA(全称：National Center for Supercomputing Application）建立的，为了知足各类领域研究需求而研制的一种能高效存储和分发科学数据的新型数据格式。HDF能够表示出科学数据存储和分布的许多必要条件。

使用Python解析固然会用到第三方的包，以下：

import math
import pandas as pd
import xlwt

第一个是用来作数学计算的math包主要处理数学相关的运算。至于关于pandas的介绍请点击这里。xlwt这个包是写HDF文件的。

使用Python读取HDF文件的代码以下：

with closing(pd.HDFStore(HDF_FILR_URL)) as store:
        df = store[date]

    # index shoule be end -> region -> group
    df.reset_index(inplace=True)
    df.set_index(["end", "region", "group"], inplace=True)
    df.sort_index(inplace=True)

其实这样获取到数据以后就是pandas提供的函数，获取本身须要的数据。

slice_df = df.loc[dt]
    rtt = slice_df.rtt.unstack(level=0) / 1000
    cwnd = slice_df.cwnd.unstack(level=0)
    total = slice_df.total.unstack(level=0)
    rows = rtt.index.tolist()
    columns = rtt.columns.tolist()

最后写入Excel，代码以下：

def writexcel(listname, name, time):
    #将数据写入Excel
    saveurl = EXCEL_FILR_URL + '%s_%s_%s.xls' % (AVG_RTT, time, name)
    excel_file = xlwt.Workbook()
    table = excel_file.add_sheet('tcpinfo')

    index_row = 0
    for item in listname:
        for item_key, item_value in item.items():
            table.write(index_row, 0, str(item_key))
            table.write(index_row, 1, str(item_value[1][0]))
            table.write(index_row, 2, str(item_value[1][1]))
            table.write(index_row, 3, str(item_value[0]).decode('utf-8'))
            index_row += 1

    excel_file.save(saveurl)

版权声明：本文为博主原创文章，未经博主容许不得转载。