[新手-数据分析师]pandas的学习笔记

pandas经常使用的函数有这些：

pd.DataFrame

pd.Series

pd.read_csv

pd.concat

pd.Timestamp

pd.to_datetime

pd.date_range

pd.index

pd.merge

先从实际上可以用获得的函数开始学起走，而后遇到问题再查询帮助文档吧！

##pd.DataFrame 建立一个DataFrame对象，相似excle里面建立一张表。

df = pd.DataFrame(data={'y':[1,2,3],
						'score':[93,89,90],
						'name':['dire','pauli','bohr'],
						'birthday':['1992-08-08','1990-04-23','1998-10-07']})

print(type(df))
print(df.dtypes)

class pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

data为numpy，ndarray (structured or homogeneous), dict, or DataFrame

Dict能够是Series, arrays, constants, objects类型

copy是从输入内容中copy数据。感受解释不清楚，仍是引入官方解释吧：Copy data from inputs. Only affects DataFrame / 2d ndarray input。

更多细节参考：参考资料

##pd.Series

s = pd.Series([1,2,3,np.nan,5,6])
s1 = pd.Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
print(s)
print(s1)

class pd.Series(data, index=index)

data为 dict， ndarray，a scalar value (like 5)

##pd.read_csv

df = pd.read_csv('test.csv',sep=',',encoding='utf8')
print(type(df))

不作过多介绍，记住sep和encoding参数。

更多细节参考：参考资料

pandas读取其余格式 read_excel,read_hdf,read_sql,read_json,read_html,read_msgpack,read_gbq,read_stata,read_sas,read_clipboard,read_pickle

pandas保存文件 to_csv,to_excel,to_hdf,to_sql,to_json,to_html,to_msgpack,to_gbq,to_stata,to_sas,to_clipboard,to_pickle

##pd.merge/pd.concat/

• pd.merge 键拼接列
• pd.concat 可沿着一条轴将多个对象堆叠到一块儿

left = pd.DataFrame({'key':['k0','k1','k2','k3'],
					'A':['A0','A1','A2','A3'],
					'B':['B0','B1','b2','B3']})
right = pd.DataFrame({'key':['k0','k1','k2','k3'],
					'C':['C0','C1','C2','C3'],
					'D':['D0','D1','D2','D3']})
print(left)
print(right)
res = pd.merge(left,right,on='key')
print(res)

pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False)

left与right：两个不一样的DataFrame

how：指的是合并(链接)的方式有inner(内链接),left(左外链接),right(右外链接),outer(全外链接);默认为inner

on : 指的是用于链接的列索引名称。必须存在右右两个DataFrame对象中，若是没有指定且其余参数也未指定则以两个DataFrame的列名交集作为链接键

left_on：左则DataFrame中用做链接键的列名;这个参数中左右列名不相同，但表明的含义相同时很是有用

right_on：右则DataFrame中用做 链接键的列名

left_index：使用左则DataFrame中的行索引作为链接键

right_index：使用右则DataFrame中的行索引作为链接键

sort：默认为True，将合并的数据进行排序。在大多数状况下设置为False能够提升性能

suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为('_x','_y')

copy：默认为True,老是将数据复制到数据结构中；大多数状况下设置为False能够提升性能

indicator：显示合并数据中来源；如只来本身于左边(left_only)、二者(both)

left = pd.DataFrame({'key1':['k0','k1','k2','k3'],
					'key2':['k0','k1','k0','k1'],
					'A':['A0','A1','A2','A3'],
					'B':['B0','B1','b2','B3']})
right = pd.DataFrame({'key1':['k0','k1','k2','k3'],
					'key2':['k0','k0','k0','k0'],
					'C':['C0','C1','C2','C3'],
					'D':['D0','D1','D2','D3']})
print(left)
print(right)
res = pd.merge(left,right,on=['key1','key2'],how='outer')
print(res)

体验how的合并(链接)的方式有inner(内链接),left(左外链接),right(右外链接),outer(全外链接)，默认为inner。

df1 = pd.DataFrame({'col1':[0,1],
					'col_left':['a','b']})
df2 = pd.DataFrame({'col1':[1,2,2],
					'col_right':[2,2,2]})
print(df1)
print(df2)
res1 = pd.merge(df1,df2,on='col1',how='outer',indicator=True)
res2 = pd.merge(df1,df2,on='col1',how='outer',indicator='column_merge')
print(res1)
print(res2)

 这个主意解释indicator的做用

更多细节参考：merge参考资料

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d'])
df3 = pd.DataFrame(np.ones((3,4))*2,columns=['a','b','c','d'])

print(df1)
print(df2)
print(df3)

res = pd.concat([df1,df2,df3],axis=0,ignore_index=True)
print(res)

andas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)

concat方法至关于数据库中的全链接(UNION ALL),能够指定按某个轴进行链接,也能够指定链接的方式join(outer,inner 只有这两种)。默认outer，outer保留两个不一样列数据，没有的添加nan代替。inner相对于裁剪掉两个合并元素中没有的。解释太麻烦，运营代码看案例吧！

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'])
res_outer = pd.concat([df1,df2])
res_inner = pd.concat([df1,df2],join='inner',ignore_index=True)
print(res_outer)
print(res_inner)

igore_index=False表示不更改index，而为Ture表示，从新排序。能够去掉上面中ignore_index=True试试效果。

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'],index=[1,2,3])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'],index=[2,3,4])
res1 = pd.concat([df1,df2],axis=1)
res2 = pd.concat([df1,df2],axis=1,join_axes=[df1.index])
print(res1)
print(res2)

jion_axes，主要是在左右合并中考虑哪一个做为主要index。

更多细节参考：merge参考资料

未完，还将继续更新中...

这两天开通了本身的博客，nigaea.com，欢迎来扰！