pandas快速入门 《pandas10 Minutes to pandas》

 

结构化数据分析

 

pandas核心数据结构和基础运算
　　Series   DataFrame

pandas高级内容
　　索引和数据选择
　　分组统计
　　时间系列
　　数据IO

 

pandas快速入门

《10 Minutes to pandas》

 

建立数据

#导入模块包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#建立数据

s = pd.Series([1,3,5,np.nan,6,8])  #经过列表，建立Series
dates = pd.date_range('20130101', periods=6) #经过时间系列，建立DataFrame
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df2 = pd.DataFrame({ 'A' : 1.,
                    'B' : pd.Timestamp('20130102'),
                    'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
                    'D' : np.array([3] * 4,dtype='int32'),
                    'E' : pd.Categorical(["test","train","test","train"]),
                    'F' : 'foo' })  #经过字典，建立DataFrame
print(df2.dtypes)  #查看数据类型，dtype报错
print(s.dtype)  #dtype和dtypes均可以

 

 

查看数据

 

#查看数据

df.head() #查看起始前5个数据，默认5
df.tail(3) #查看最末尾3个数据
df.index  #查看索引,不是df.index()
df.columns  #查看列名
df.values   #查看值
df.describe()  #简单的统计描述
df.T  #转置
df.sort_index(axis=1,ascending=False) #经过轴排序
df.sort_values(by='B') #经过值排序

 

 

数据选取

• 经过标签选取
• 经过位置选取
• 经过布林值索引选取

 

虽然标准的Python/Numpy的选择和设置表达式都可以直接派上用场，可是做为工程使用的代码，推荐使用通过优化的pandas数据访问方式： .at, .iat, .loc, .iloc 和 .ix详情请参阅Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。

 

#数据选取

df['A']  #选取A列,'A'是列名称，等同于df.A
df[0:3]  #选取前3行，切片数据[:]
df['20130102':'20130104']  #经过行标签选择

经过标签选取

df.loc[dates[0]]  #获取第一行的交叉数据
df.loc[:,['A','B']]  #只选择'A'和'B'两列的数据
df.loc['20130102':'20130104',['A','B']]  #选取特定行区间和列区间的值
df.loc['20130102',['A','B']]
df.loc[dates[0],'A']  #选取特定的值  df.loc['20130101','A']
df.at[dates[0],'A']  #at的效率高于loc，%timeit df.at[dates[0],'A'] 与 %timeit df.loc[dates[0],'A']  对比


经过位置选取

df.iloc[3]  #经过数字的标签选取某行
df.iloc[3:5,0:2]   #
df.iloc[[1,2,4],[0,2]]
df.iloc[1:3,:]
df.iloc[:,1:3]  #选取全部的行，某几列
df.iloc[1,1]
df.iat[1,1]

经过布林值索引选取

df[df.A > 0]
df[df > 0]  #选取表中全部大于0的元素
df2 = df.copy()
df2['E'] = ['one', 'one','two','three','four','three']
df2[df2['E'].isin(['two','four'])]  # 数据过滤

 

 

设置

 

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6)) #建立一个新列
df.at[dates[0],'A'] = 0  #经过标签修改元素
df.iat[0,1] = 0  #经过位置修改元素
df.loc[:,'D'] = np.array([5] * len(df))  # numpy array，修改元素
df2 = df.copy()
df2[df2 > 0] = -df2  # 经过where操做来设置新的值

 

 

缺失值处理

 

在pandas中，使用np.nan来代替缺失值，这些值将默认不会包含在计算中，详情请参阅：Missing Data Section。

 

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E']) 
df1.loc[dates[0]:dates[1],'E'] = 1 # reindex()对指定轴上的索引进行改变/增长/删除操做
df1.dropna(how='any')  #去掉包含缺失值的行
df1.fillna(value=5)  #缺失值填充
pd.isnull(df1)  #布尔值查看是否有缺失值，缺失值True

 

基本操做

参照 Basic Section On Binary Ops

 

统计

空数据不参与计算

df.mean()  #平均值
df.mean(1)  #按行求平均值
s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
df.sub(s, axis='index')  #按行相减，对于拥有不一样维度，须要对齐的对象进行操做。Pandas会自动的沿着指定的维度进行广播
df.cumsum() #求累加值，空值不参与计算

 

Apply方法

df.apply(np.cumsum) #按列累加
df.apply(lambda x: x.max() - x.min())  #lambda函数，最大值减去最小值

 

直方图

详情请查看Histogramming and Discretization

s = pd.Series(np.random.randint(0, 7, size=10)) #在0-7之间建立10个随机数
s.value_counts()  #每一个数值有多少个

 

字符串方法

Series对象在其str属性中配备了一组字符串处理方法，能够很容易的应用到数组中的每一个元素，以下段代码所示。更多详情请参考：Vectorized String Methods.

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()  #变小写

 

 

数据合并

• Concat
• Join
• Append

 

Pandas提供了大量的方法可以轻松的对Series，DataFrame和Panel对象进行各类符合各类逻辑关系的合并操做。具体请参阅：Merging section

 

Concat

df = pd.DataFrame(np.random.randn(10, 4))
pieces = [df[:3], df[3:7], df[7:]] #前3行，4-7行，7到最后
df1 = pd.concat(pieces) #将全部数据合并起来，还原成原来的数据集  df1 == df,（df == df1）.all().all(),验证是否相同

 

Join 

相似于SQL类型的合并，具体请参阅：Database style joining

left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
pd.merge(left, right, on='key')  #等价SQL语句 select * from left inner jion right on left.key=right.key;

left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
pd.merge(left, right, on='key')

 

Append

一行链接到一个DataFrame上，具体请参阅Appending

df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])
s = df.iloc[3]
df.append(s, ignore_index=True)  #直接插入一行

 

 

分组统计

对于”group by”操做，咱们一般是指如下一个或多个操做步骤：

• Splitting：按照一些规则将数据分为不一样的组；
• Applying：对于每组数据分别执行一个函数；
• Combining：将结果组合到一个数据结构中；

详情请参阅：Grouping section

df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar','foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three','two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})
df.groupby('A').sum()  #经过'A'列分组，而后求和
df.groupby(['A','B']).sum()  #双重索引分组，而后求和

 

 

数据整型

详情请参阅 Hierarchical Indexing 和 Reshaping。

 

stack方法

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz','foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two','one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second']) #双重索引，并命名为first和second
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
stacked = df2.stack() #行和列转换
stacked.unstack()  #行和列再次转换回来，恢复
stacked.unstack(1)
stacked.unstack(0)

 

数据透视表

详情请参阅：Pivot Tables.

df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
                   'B' : ['A', 'B', 'C'] * 4,
                   'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D' : np.random.randn(12),
                   'E' : np.random.randn(12)})
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C']) #'A''B'为行，'C'为列，‘D’的值
df.pivot_talbe(values=['E'],index=['A'],columns=['C'])#A为行，C为列，E的值 ,df(df.A=='one').groupby('C').mean()

 

 

 

时间序列

Pandas在对频率转换进行从新采样时拥有简单、强大且高效的功能（如将按秒采样的数据转换为按5分钟为单位进行采样的数据）。这种操做在金融领域很是常见。

具体参照：Time Series section

rng = pd.date_range('1/1/2012', periods=100, freq='S')  #100个以秒为单位的数据
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min').sum()  #从新采样


rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts_utc = ts.tz_localize('UTC')

ts_utc.tz_convert('US/Eastern')

rng = pd.date_range('1/1/2012', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ps = ts.to_period()
ps.to_timestamp()


prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9


pd.Timestamp('20170422') - pd.Timestamp('20170206')
pd.Timestamp('20170422') + pd.Timestamp('days = 5')