Python的pandas包的学习

一：pandas的数据类型

　　pandas中最重要的数据类型是Series序列 和 DataFrame数据框,Series至关于Numpy中的一维数组，不一样之处series会自带索引值。dataframe至关于numpy的二维数组。

　　1.1）Series的建立---有两种方式：经过一维数组 和 字典

　　　　1）经过一维数组建立序列

　　　　　　

　　　　　　OUT:

　　　　　　

　　　　2）经过字典建立序列

　　　　　　

　　　　　OUT:

　　　　　　

　　　　3）经过DataFrame的某一行或某一列建立序列

　　2.2）建立DataFrame

　　　　1) 经过二维数组建立

　　　　　　

　　　　　　OUT:

　　　　　　

　　　　2)经过字典列表建立

　　　　　　

　　　　　　OUT:

　　　　　　

　　　　3)经过嵌套字典

　　　　　　

　　　　　OUT:

　　　　　　

　　　　4）经过dataframe建立dataframe

　　　　　　

　　　　　　OUT:

　　　　　　

二：数据索引Index

　　　　2.1)  获取Series序列的数据----若是没有给序列指定索引，那么就建立一个从0开始自增的序列，df.index来获取索引值，或经过df.index来指定索引值

　　　　　　series序列是一维数组，能够经过索引切片来获取数据

　　　　2.2）获取DataFrame的数据

　　　　　　　　1）获取列数据-- df[列名] 或 使用点运算符 df.列名

　　　　　　　　2）获取行数据

　　　　　　　　　　　　a) df.iloc[索引值]  （只适用于数字标签的索引）

　　　　　　　　　　　　b) df.loc[ ' '] , 适用于索引是字符串标签

　　　　　　　　　　　　c) df.ix[' ' ] , 主要用于字符串标签的索引，也可做为数字索引的备选

　　　　2.3) 自动化对齐

　　　　　　对pandas的series序列进行运算时，有相同的索引值上进行运算，索引值不一样就进行自动补齐

三：查询数据

　　引入数据集

　　　　df = pf.read_csv( '文件路径名' ， header = None)  (header 表示返回的数据是否有别名)

　　　　　　　　　　student = pd.read_csv(' ')　　　　　　　　　　

　　查询前几行 或 后几行 

　　　　student.head(5 ) 

　　　　student.tail(5)

　　查询指定的行

　　　　student.ix[ ] # 索引是字符串或数字，多行索引必须使用两个中括号student.ix[[  ]]

　　　　student.loc[ ] # 索引字符串

　　　　student.iloc[ ] # 索引数字

　　查询指定的列

　　　　student[列名] 或 student.列名 

　　　　查询多个列 student [['Name' , 'Height' , 'Weight']]

　　经过ix查询指定的列

　　　　student [：，['Name' , 'Height' , 'Weight']]

　　查询指定的行和列

　　　　student [[0,2,4]，['Name' , 'Height' , 'Weight']]

　　下面经过布尔索引来实现特定信息的查询

　　student[student['sex'] == F] ---  查询全部性别为女生的信息

　　student[(student['sex'] == F) & (stuent['age'] > 18)] -- 多条件查询，查询全部性别为女且年龄大于18岁的信息

　　student[(student['sex'] == F) & (stuent['age'] > 18)] [['name' , 'height']] --查询性别为女，年龄大于18的学生的姓名 和 体重

　四：统计分析　　　　　

　　　　pandas模块为咱们提供了很是多的描述性统计分析的指标函数，如总和、均值、最小值、最大值等，咱们来具体看看这些函数：
首先随机生成三组数据

1. np.random.seed(1234)
2. d1 = pd.Series(2*np.random.normal(size = 100)+3)
3. d2 = np.random.f(2,4,size = 100)
4. d3 = np.random.randint(1,100,size = 100)
5. d1.count()  #非空元素计算
6. d1.min()  #最小值
7. d1.max()  #最大值
8. d1.idxmin() #最小值的位置，相似于R中的which.min函数
9. d1.idxmax() #最大值的位置，相似于R中的which.max函数
10. d1.quantile(0.1)  #10%分位数
11. d1.sum()  #求和
12. d1.mean()  #均值
13. d1.median() #中位数
14. d1.mode()  #众数
15. d1.var()  #方差
16. d1.std()  #标准差
17. d1.mad()  #平均绝对误差
18. d1.skew()  #偏度
19. d1.kurt()  #峰度
20. d1.describe()  #一次性输出多个描述性统计指标

在实际的工做中，咱们可能须要处理的是一系列的数值型数据框，如何将这个函数应用到数据框中的每一列呢？可使用apply函数，这个很是相似于R中的apply的应用方法。
将以前建立的d1,d2,d3数据构建数据框:

1. df = pd.DataFrame(np.array([d1,d2,d3]).T,columns=['x1','x2','x3'])
2. df.head()
3. df.apply(stats)

很是完美，就这样很简单的建立了数值型数据的统计性描述。若是是离散型数据呢？就不能用这个统计口径了，咱们须要统计离散变量的观测数、惟一值个数、众数水平及个数。你只须要使用describe方法就能够实现这样的统计了。

1. student['Sex'].describe()

除以上的简单描述性统计以外，还提供了连续变量的相关系数（corr）和协方差矩阵（cov）的求解，这个跟R语言是一致的用法。

1. df.corr()

关于相关系数的计算能够调用pearson方法或kendell方法或spearman方法，默认使用pearson方法。

1. df.corr('spearman')

若是只想关注某一个变量与其他变量的相关系数的话，可使用corrwith,以下方只关心x1与其他变量的相关系数:

1. df.corrwith(df['x1'])

数值型变量间的协方差矩阵

1. df.cov()

五：相似于SQL的操做

　　5.1）增长新行或新列

　　　　

　　　　OUT：

　　　　

　　　　虽然d2数据框只有3行1列，d3通过concat方法后，变成6行4列，d3的行数=d1的行数+d2的行数，d3的列数=d1的列数+d2的列数

　　　　新增一列--- 为不存在的列赋值会建立新列，如 d1['four'] = 11 

　　5.2) 删除

　　　　1）删除数据框 --- del d1

　　　　2) 删除指定的行 ---d1.drop(['a' , 'b'] ) ,删除 d1数据框索引值为a和b的数据　

　　　　3) 删除指定的列  ---  d1.drop('one' , 'two' ,axis =1) ,经过指定axis的值来代表是删除列仍是行，axis默认值是0，0为行，1为列

　　　　4）布尔索引对数据框的查询，实际上也是删除数据操做，返回知足条件的数据

　　5.3）改，修改数据中的值

　　　　　

　　5.4）查，重点讲解聚合、排序、多表连接操做

　　　　1）group by 聚合函数

　　　　　　若是不对聚合函数作限制的话，group by会对数值型数据进行聚合计算，如students数据框，有name,height,weight,sex,age列，name列是字符串，因此不会进行计算.

　　　　　　

　　　　　　经过drop删除该变量

　　　　　　　

　　　　　　groupby还能够设置多个分组变量，例如对年龄和性别分组，来计算年龄和身高的平均值

　　　　　　　　

　　　　　　还能够对每一个分组进行多个统计量的计算，经过agg([ , ,])

　　　　　　　　　

　　　　2) 排序

　　　　　　　　在平常的统计工做中，排序是很重要的，能够经过order , sort_index,sort_values实现序列和数据框的排序操做

　　　　　　　　1：order

　　　　　　　　　　s1 = dp.Series(np.array(np.random.randint(1,20,10)))　　　　　　　　

　　　　　　　　　　　　　　　　

　　　　3) 多表链接

　　　　　多表之间的链接也是很是常见的数据库操做，链接份内链接和外链接，在数据库语言中经过join关键字实现，pandas我比较建议使用merger函数实现数据的各类链接操做。
　　　　　以下是构造一张学生的成绩表

　　　　　

　　　　　　如今想把学生表student与学生成绩表score作一个关联，该如何操做呢？

　　　　　　

　　　　　　注意，默认状况下，merge函数实现的是两个表之间的内链接，即返回两张表中共同部分的数据。能够经过how参数设置链接的方式，left为左链接；right为右链接；outer为外链接。

　　　　　　

　　　　　　　左链接实现的是保留student表中的全部信息，同时将score表的信息与之配对，能配多少配多少，对于没有配对上的Name，将会显示成绩为NaN。

六：缺失值处理

　　现实生活中的数据是很是杂乱的，其中缺失值也是很是常见的，对于缺失值的存在可能会影响到后期的数据分析或挖掘工做，那么咱们该如何处理这些缺失值呢？经常使用的有三大类方法，即删除法、填补法和插值法。

删除法：当数据中的某个变量大部分值都是缺失值，能够考虑删除改变量；当缺失值是随机分布的，且缺失的数量并非不少是，也能够删除这些缺失的观测。
替补法：对于连续型变量，若是变量的分布近似或就是正态分布的话，能够用均值替代那些缺失值；若是变量是有偏的，可使用中位数来代替那些缺失值；对于离散型变量，咱们通常用众数去替换那些存在缺失的观测。
插补法：插补法是基于蒙特卡洛模拟法，结合线性模型、广义线性模型、决策树等方法计算出来的预测值替换缺失值。

咱们这里就介绍简单的删除法和替补法

　　　　　　

　　　　　　

这是一组含有缺失值的序列，咱们能够结合sum函数和isnull函数来检测数据中含有多少缺失值：

1. In [130]: sum(pd.isnull(s))
2. Out[130]: 9

直接删除缺失值

　　　　

　　默认状况下，dropna会删除任何含有缺失值的行，咱们再构造一个数据框试试：

　　　　

　　　　返回结果代表，数据中只要含有缺失值NaN,该数据行就会被删除，若是使用参数how=’all’，则代表只删除全部行为缺失值的观测。

　　　　　　

　　　　使用一个常量来填补缺失值，可使用fillna函数实现简单的填补工做：
　　　　　　1）用0填补全部缺失值

　　　　　　

　　　　　　2)采用前项填充或后向填充

　　　　　　

　　　　　　3)使用常量填充不一样的列

　　　　　　

　　　　　　4)用均值或中位数填充各自的列

　　　　　　　

　　　　　　很显然，在使用填充法时，相对于常数填充或前项、后项填充，使用各列的众数、均值或中位数填充要更加合理一点，这也是工做中经常使用的一个快捷手段。

七：数据透视表

　　　

在Excel中有一个很是强大的功能就是数据透视表，经过托拉拽的方式能够迅速的查看数据的聚合状况，这里的聚合能够是计数、求和、均值、标准差等。
pandas为咱们提供了很是强大的函数pivot_table()，该函数就是实现数据透视表功能的。对于上面所说的一些聚合函数，能够经过参数aggfunc设定。咱们先看看这个函数的语法和参数吧：

1. pivot_table(data,values=None,
2. index=None,
3. columns=None,
4. aggfunc='mean',
5. fill_value=None,
6. margins=False,
7. dropna=True,
8. margins_name='All')
9. data：须要进行数据透视表操做的数据框
10. values：指定须要聚合的字段
11. index：指定某些原始变量做为行索引
12. columns：指定哪些离散的分组变量
13. aggfunc：指定相应的聚合函数
14. fill_value：使用一个常数替代缺失值，默认不替换
15. margins：是否进行行或列的汇总，默认不汇总
16. dropna：默认全部观测为缺失的列
17. margins_name：默认行汇总或列汇总的名称为'All'

咱们仍然以student表为例，来认识一下数据透视表pivot_table函数的用法：
对一个分组变量（Sex），一个数值变量（Height）做统计汇总

对一个分组变量（Sex），两个数值变量（Height,Weight）做统计汇总

对两个分组变量（Sex，Age)，两个数值变量（Height,Weight）做统计汇总

很显然这样的结果并不像Excel中预期的那样，该如何变成列联表的形式的？很简单，只需将结果进行非堆叠操做（unstack）便可：

看，这样的结果是否是比上面那种看起来更舒服一点？

使用多个聚合函数

有关更多数据透视表的操做，可参考《Pandas透视表（pivot_table）详解》一文，连接地址：http://python.jobbole.com/81212/

8、多层索引的使用

最后咱们再来说讲pandas中的一个重要功能，那就是多层索引。在序列中它能够实如今一个轴上拥有多个索引，就相似于Excel中常见的这种形式：

对于这样的数据格式有什么好处呢？pandas能够帮咱们实现用低维度形式处理高维数数据，这里举个例子也许你就能明白了：

对于这种多层次索引的序列，取数据就显得很是简单了：

对于这种多层次索引的序列，咱们还能够很是方便的将其转换为数据框的形式：

以上针对的是序列的多层次索引，数据框也一样有多层次的索引，并且每条轴上均可以有这样的索引，就相似于Excel中常见的这种形式：

咱们不妨构造一个相似的高维数据框：

一样，数据框中的多层索引也能够很是便捷的取出大块数据：

在数据框中使用多层索引，能够将整个数据集控制在二维表结构中，这对于数据重塑和基于分组的操做（如数据透视表的生成）比较有帮助。
就拿student二维数据框为例，咱们构造一个多层索引数据集：

讲到这里，咱们关于pandas模块的学习基本完成，其实在掌握了pandas这8个主要的应用方法就能够灵活的解决不少工做中的数据处理、统计分析等任务。有关更多的pandas介绍，可参考pandas官方文档：http://pandas.pydata.org/pandas-docs/version/0.17.0/whatsnew.html。