摘要：本篇文章经过python与excel的功能对比介绍如何使用python经过函数式编程完成excel中的数据处理及分析工做。编程

Excel是数据分析中最经常使用的工具，本篇文章经过python与excel的功能对比介绍如何使用python经过函数式编程完成excel中的数据处理及分析工做。在Python中pandas库用于数据处理，咱们从1787页的pandas官网文档中总结出最经常使用的36个函数，经过这些函数介绍如何经过python完成数据生成和导入，数据清洗，预处理，以及最多见的数据分类，数据筛选，分类汇总，透视等最多见的操做。函数式编程

4，数据预处理

第四部分是数据的预处理，对清洗完的数据进行整理以便后期的统计和分析工做。主要包括数据表的合并，排序，数值分列，数据分组及标记等工做。函数

数据表合并

首先是对不一样的数据表进行合并，咱们这里建立一个新的数据表df1，并将df和df1两个数据表进行合并。在Excel中没有直接完成数据表合并的功能，能够经过VLOOKUP函数分步实现。在python中能够经过merge函数一次性实现。下面创建df1数据表，用于和df数据表进行合并。工具

#建立df1数据表 df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], "gender":['male','female','male','female','male','female','male','female'], "pay":['Y','N','Y','Y','N','Y','N','Y',], "m-point":[10,12,20,40,40,40,30,20]})

使用merge函数对两个数据表进行合并（关于三个合并函数：merge,，concat，join的用法与区别见连接：https://www.cnblogs.com/bawu/p/7701810.html），合并的方式为inner，将两个数据表中共有的数据匹配到一块儿生成新的数据表。并命名为df_inner。post

#数据表匹配合并，inner模式
df_inner=pd.merge(df,df1,how='inner')

除了inner方式之外，合并的方式还有left，right和outer方式。这几种方式的差异在我其余的文章中有详细的说明和对比。spa

#其余数据表匹配模式
df_left=pd.merge(df,df1,how='left') df_right=pd.merge(df,df1,how='right') df_outer=pd.merge(df,df1,how='outer')

设置索引列

完成数据表的合并后，咱们对df_inner数据表设置索引列，索引列的功能不少，能够进行数据提取，汇总，也能够进行数据筛选等。设置索引的函数为set_index。excel

#设置索引列
df_inner.set_index('id')

排序(按索引，按数值)

Excel中能够经过数据目录下的排序按钮直接对数据表进行排序，比较简单。Python中须要使用ort_values函数和sort_index函数完成排序。code

在python中，既能够按索引对数据表进行排序，也能够看制定列的数值进行排序。首先咱们按age列中用户的年龄对数据表进行排序。
使用的函数为sort_values。

#按特定列的值排序
df_inner.sort_values(by=['age'])

Sort_index函数用来将数据表按索引列的值进行排序。

#按索引列排序
df_inner.sort_index()

数据分组

Excel中能够经过VLOOKUP函数进行近似匹配来完成对数值的分组，或者使用“数据透视表”来完成分组。相应的 python中使用where函数完成数据分组。

Where函数用来对数据进行判断和分组，下面的代码中咱们对price列的值进行判断，将符合条件的分为一组，不符合条件的分为另外一组，并使用group字段进行标记。

#若是price列的值>3000，group列显示high，不然显示low
df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')

除了where函数之外，还能够对多个字段的值进行判断后对数据进行分组，下面的代码中对city列等于beijing而且price列大于等于4000的数据标记为1。

#对复合多个条件的数据进行分组标记
df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1

数据分列

与数据分组相反的是对数值进行分列，Excel中的数据目录下提供“分列”功能。在python中使用split函数实现分列。
在数据表中category列中的数据包含有两个信息，前面的数字为类别id，后面的字母为size值。中间以连字符进行链接。咱们使用split函数对这个字段进行拆分，并将拆分后的数据表匹配回原数据表中。

#对category字段的值依次进行分列，并建立数据表，索引值为df_inner的索引列，列名称为category和size
pd.DataFrame((x.split('-') for x in df_inner['category']),index=df_inner.index,columns=['category','size'])

#将完成分列后的数据表与原df_inner数据表进行匹配
df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)

5，数据提取

第五部分是数据提取，也是数据分析中最多见的一个工做。这部分主要使用三个函数，loc，iloc和ix，loc函数按标签值进行提取，iloc按位置进行提取，ix能够同时按标签和位置进行提取。下面介绍每一种函数的使用方法。

按标签提取(loc)

Loc函数按数据表的索引标签进行提取，下面的代码中提取了索引列为3的单条数据。

#按索引提取单行的数值
df_inner.loc[3] id 1004 date 2013-01-05 00:00:00 city shenzhen category 110-C age 32 price 5433 gender female m-point 40 pay Y group high sign NaN category_1 110 size C Name: 3, dtype: object

使用冒号能够限定提取数据的范围，冒号前面为开始的标签值，后面为结束的标签值。下面提取了0到5的数据行。

#按索引提取区域行数值
df_inner.loc[0:5]

Reset_index函数用于恢复索引，这里咱们从新将date字段的日期设置为数据表的索引，并按日期进行数据提取。

#重设索引
df_inner.reset_index()

　　#设置日期为索引

　df_inner = df_inner.set_index( 'date' )

使用冒号限定提取数据的范围，冒号前面为空表示从0开始。提取全部2013年1月4日之前的数据。

#提取4日以前的全部数据
df_inner[:'2013-01-04']

按位置提取(iloc)

使用iloc函数按位置对数据表中的数据进行提取，这里冒号先后的数字再也不是索引的标签名称，而是数据所在的位置，从0开始。

#使用iloc按位置区域提取数据
df_inner.iloc[:3,:2]

iloc函数除了能够按区域提取数据，还能够按位置逐条提取，前面方括号中的0,2,5表示数据所在行的位置，后面方括号中的数表示所在列的位置。

#使用iloc按位置单独提取数据
df_inner.iloc[[0,2,5],[4,5]]

按标签和位置提取（ix）

ix是loc和iloc的混合，既能按索引标签提取，也能按位置进行数据提取。下面代码中行的位置按索引日期设置，列按位置设置。

#使用ix按索引标签和位置混合提取数据
df_inner.ix[:'2013-01-03',:4]

按条件提取（区域和条件值）

除了按标签和位置提起数据之外，还能够按具体的条件进行数据。下面使用loc和isin两个函数配合使用，按指定条件对数据进行提取。

使用isin函数对city中的值是否为beijing进行判断。

#判断city列的值是否为beijing
df_inner['city'].isin(['beijing']) date 2013-01-02 True 2013-01-05 False 2013-01-07 True 2013-01-06 False 2013-01-03 False 2013-01-04 False Name: city, dtype: bool

将isin函数嵌套到loc的数据提取函数中，将判断结果为Ture数据提取出来。这里咱们把判断条件改成city值是否为beijing和 shanghai。若是是就把这条数据提取出来。

#先判断city列里是否包含beijing和shanghai，而后将复合条件的数据提取出来。
df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]

数值提取还能够完成相似数据分列的工做，从合并的数值中提取出制定的数值。

category=df_inner['category'] 0 100-A 3 110-C 5 130-F 4 210-A 1 100-B 2 110-A Name: category, dtype: object #提取前三个字符，并生成数据表
pd.DataFrame(category.str[:3])

6，数据筛选

第六部分为数据筛选，使用与，或，非三个条件配合大于，小于和等于对数据进行筛选，并进行计数和求和。与excel中的筛选功能和countifs和sumifs功能类似。

按条件筛选（与，或，非）

Excel数据目录下提供了“筛选”功能，用于对数据表按不一样的条件进行筛选。Python中使用loc函数配合筛选条件来完成筛选功能。配合sum和count函数还能实现excel中sumif和countif函数的功能。
使用“与”条件进行筛选，条件是年龄大于25岁，而且城市为beijing。筛选后只有一条数据符合要求。

#使用“与”条件进行筛选
df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']]

使用“或”条件进行筛选，年龄大于25岁或城市为beijing。筛选后有6条数据符合要求。

#使用“或”条件筛选
df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort (['age'])

在前面的代码后增长price字段以及sum函数，按筛选后的结果将price字段值进行求和，至关于excel中sumifs的功能。

#对筛选后的数据按price字段进行求和
df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender','price']].sort(['age']).price.sum() 19796

使用“非”条件进行筛选，城市不等于beijing。符合条件的数据有4条。将筛选结果按id列进行排序。

#使用“非”条件进行筛选
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id'])

在前面的代码后面增长city列，并使用count函数进行计数。至关于excel中的countifs函数的功能。

#对筛选后的数据按city列进行计数
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count() 4

还有一种筛选的方式是用query函数。下面是具体的代码和筛选结果。

#使用query函数进行筛选
df_inner.query('city == ["beijing", "shanghai"]')

在前面的代码后增长price字段和sum函数。对筛选后的price字段进行求和，至关于excel中的sumifs函数的功能。

#对筛选后的结果按price进行求和
df_inner.query('city == ["beijing", "shanghai"]').price.sum() 12230

下一篇文章，也就是本系列的最后一篇咱们将介绍7-9最后三部分的内容，分别为数据汇总，数据统计和数据输出。请朋友们继续关注。

像Excel同样使用python进行数据分析（2）