【Python项目实战】Pandas：让你像写SQL同样作数据分析（一）

1. 引言

Pandas是一个开源的Python数据分析库。Pandas把结构化数据分为了三类：

• Series，1维序列，可视做为没有column名的、只有一个column的DataFrame；

• DataFrame，同Spark SQL中的DataFrame同样，其概念来自于R语言，为多column并schema化的2维结构化数据，可视做为Series的容器（container）；

• Panel，为3维的结构化数据，可视做为DataFrame的容器；

DataFrame较为常见，所以本文主要讨论内容将为DataFrame。DataFrame的生成可经过读取纯文本、Json等数据来生成，亦能够经过Python对象来生成：

import pandas as pd import numpy as np df = pd.DataFrame({'total_bill': [16.99, 10.34, 23.68, 23.68, 24.59], 'tip': [1.01, 1.66, 3.50, 3.31, 3.61], 'sex': ['Female', 'Male', 'Male', 'Male', 'Female']})

对于DataFrame，咱们能够看到其固有属性：

# data type of columns print df.dtypes # indexes print df.index # return pandas.Index print df.columns # each row, return array[array] print df.values

• .index，为行索引

• .columns，为列名称（label）

• .dtype，为列数据类型

2. SQL操做

官方Doc给出了部分SQL的Pandas实现。在此基础上，本文给出了一些扩充说明。如下内容基于Python 2.7 + Pandas 0.18.1的版本。

select

SQL中的select是根据列的名称来选取；Pandas则更为灵活，不但可根据列名称选取，还能够根据列所在的position选取。相关函数以下：

• loc，基于列label，可选取特定行（根据行index）；

• iloc，基于行/列的position；

print df.loc[1:3, ['total_bill', 'tip']] print df.loc[1:3, 'tip': 'total_bill'] print df.iloc[1:3, [1, 2]] print df.iloc[1:3, 1: 3]

• at，根据指定行index及列label，快速定位DataFrame的元素；

• iat，与at相似，不一样的是根据position来定位的；

print df.at[3, 'tip'] print df.iat[3, 1]

• ix，为loc与iloc的混合体，既支持label也支持position；

print df.ix[1:3, [1, 2]] print df.ix[1:3, ['total_bill', 'tip']]

此外，有更为简洁的行/列选取方式：

print df[1: 3] print df[['total_bill', 'tip']] # print df[1:2, ['total_bill', 'tip']] # TypeError: unhashable type

where

Pandas实现where filter，较为经常使用的办法为df[df[colunm] boolean expr]，好比：

print df[df['sex'] == 'Female'] print df[df['total_bill'] > 20] # or print df.query('total_bill > 20')

在where子句中经常会搭配and, or, in, not关键词，Pandas中也有对应的实现：

# and print df[(df['sex'] == 'Female') & (df['total_bill'] > 20)] # or print df[(df['sex'] == 'Female') | (df['total_bill'] > 20)] # in print df[df['total_bill'].isin([21.01, 23.68, 24.59])] # not print df[-(df['sex'] == 'Male')] print df[-df['total_bill'].isin([21.01, 23.68, 24.59])] # string function print df = df[(-df['app'].isin(sys_app)) & (-df.app.str.contains('^微信\d+$'))]

对where条件筛选后只有一行的dataframe取其中某一列的值，其两种实现方式以下：

total = df.loc[df['tip'] == 1.66, 'total_bill'].values[0] total = df.get_value(df.loc[df['tip'] == 1.66].index.values[0], 'total_bill')

distinct

drop_duplicates根据某列对dataframe进行去重：

df.drop_duplicates(subset=['sex'], keep='first', inplace=True)

包含参数：

• subset，为选定的列作distinct，默认为全部列；

• keep，值选项{'first', 'last', False}，保留重复元素中的第一个、最后一个，或所有删除；

• inplace ，默认为False，返回一个新的dataframe；若为True，则返回去重后的原dataframe

group

group通常会配合合计函数（Aggregate functions）使用，好比：count、avg等。Pandas对合计函数的支持有限，有count和size函数实现SQL的count：

print df.groupby('sex').size() print df.groupby('sex').count() print df.groupby('sex')['tip'].count()

对于多合计函数，

select sex, max(tip), sum(total_bill) as total from tips_tb group by sex;

实如今agg()中指定dict：

print df.groupby('sex').agg({'tip': np.max, 'total_bill': np.sum}) # count(distinct **) print df.groupby('tip').agg({'sex': pd.Series.nunique})

as

SQL中使用as修改列的别名，Pandas也支持这种修改：

# first implementation df.columns = ['total', 'pit', 'xes'] # second implementation df.rename(columns={'total_bill': 'total', 'tip': 'pit', 'sex': 'xes'}, inplace=True)

其中，第一种方法的修改是有问题的，由于其是按照列position逐一替换的。所以，我推荐第二种方法。

join

Pandas中join的实现也有两种：

# 1. df.join(df2, how='left'...) # 2. pd.merge(df1, df2, how='left', left_on='app', right_on='app')

第一种方法是按DataFrame的index进行join的，而第二种方法才是按on指定的列作join。Pandas知足left、right、inner、full outer四种join方式。

order

Pandas中支持多列order，并能够调整不一样列的升序/降序，有更高的排序自由度：

print df.sort_values(['total_bill', 'tip'], ascending=[False, True])

top

对于全局的top：

print df.nlargest(3, columns=['total_bill'])

对于分组top，MySQL的实现（采用自join的方式）：

select a.sex, a.tip from tips_tb a where ( select count(*) from tips_tb b where b.sex = a.sex and b.tip > a.tip ) < 2 order by a.sex, a.tip desc;

Pandas的等价实现，思路与上相似：

# 1. df.assign(rn=df.sort_values(['total_bill'], ascending=False) .groupby('sex') .cumcount()+1)\ .query('rn < 3')\ .sort_values(['sex', 'rn']) # 2. df.assign(rn=df.groupby('sex')['total_bill'] .rank(method='first', ascending=False)) \ .query('rn < 3') \ .sort_values(['sex', 'rn'])

replace

replace函数提供对dataframe全局修改，亦可经过where条件进行过滤修改（搭配loc）：

# overall replace df.replace(to_replace='Female', value='Sansa', inplace=True) # dict replace df.replace({'sex': {'Female': 'Sansa', 'Male': 'Leone'}}, inplace=True) # replace on where condition df.loc[df.sex == 'Male', 'sex'] = 'Leone'

自定义

除了上述SQL操做外，Pandas提供对每列/每一元素作自定义操做，为此而设计如下三个函数：

• map(func)，为Series的函数，DataFrame不能直接调用，需取列后再调用；

• apply(func)，对DataFrame中的某一行/列进行func操做；

• applymap(func)，为element-wise函数，对每个元素作func操做

print df['tip'].map(lambda x: x - 1) print df[['total_bill', 'tip']].apply(sum) print df.applymap(lambda x: x.upper() if type(x) is str else x)

3. 实战

环比增加

现有两个月APP的UV数据，要获得月UV环比增加；该操做等价于两个Dataframe left join后按指定列作减操做：

def chain(current, last): df1 = pd.read_csv(current, names=['app', 'tag', 'uv'], sep='\t') df2 = pd.read_csv(last, names=['app', 'tag', 'uv'], sep='\t') df3 = pd.merge(df1, df2, how='left', on='app') df3['uv_y'] = df3['uv_y'].map(lambda x: 0.0 if pd.isnull(x) else x) df3['growth'] = df3['uv_x'] - df3['uv_y'] return df3[['app', 'growth', 'uv_x', 'uv_y']].sort_values(by='growth', ascending=False)

差集

对于给定的列，一个Dataframe过滤另外一个Dataframe该列的值；至关于集合的差集操做：

def difference(left, right, on): """  difference of two dataframes  :param left: left dataframe  :param right: right dataframe  :param on: join key  :return: difference dataframe  """ df = pd.merge(left, right, how='left', on=on) left_columns = left.columns col_y = df.columns[left_columns.size] df = df[df[col_y].isnull()] df = df.ix[:, 0:left_columns.size] df.columns = left_columns return df