hadoop家族之pig入门

　　昨天成功运行第一个在hadoop集群上面的python版本的wordcount，今天白天继续看网上提供的文档。下午上头给定的回复是把hadoop家族都熟悉一下，那就恭敬不如从命，开始学习pig吧～

　　这一年多的编程之路让我知道学习任何一门新的技术的最入门的方式就看文档，let's geting started!

　　首先声明一下个人环境是在公司布置好的集群上面运行的程序，所以各位不肯意配置环境又木有条件的能够在cloudera提供的虚拟机配置的环境下跑程序。在进入公司的第一天就据说他们在用pig处理数据，说实在话当初我连hadoop有哪些成员都不知道，也是这两周各类google才知其皮毛，由前两天的烦躁慢慢安静下来，这也是程序员的乐趣吧，满足者常乐><

　　pig其实并非什么高大上的东西，只是为了大大的简化mapreduce的一些繁琐的key,value处理而直接处理数据的一个类sql语言，若是你学过sql语句，那么学习pig将会顺手拈来。只不过，我在学习的过程当中遇到一两个错误致使耽搁了那么一两个小时的学习效率所以记录下来，但愿能给后来者一个warning～

　　相似于通常的sql语句，pig也有本身的一些operations，请看下图（图片来源于ibm）

　　你能够经过不少模式执行pig的latin语句以及命令，以下列表所示：

　　咱们主要分为交互式模式和命令行批量模式（我的理解），执行环境目前只接触了本地模式和mapreduce的集群模式。下面的知识都是介绍在集群下交互式和脚本跑pig这两种状况。

1、shell下进行交互式运行pig

　　在命令行直接输入pig就能够进入shell模式，关于这个shell下可执行的脚本参数能够help查询一下，接下来在运行pig的latin语句前你须要确保你的环境是正确的。参考：ibm中文社区文档

一、确保你此时的hadoop是链接的，已经启动了的：

在命令行下输入以下命令会返回hdfs系统下根目录的文件夹状况：

$ hadoop dfs -ls /

二、进入在命令行输入‘pig’进入mapreduce模式pig的grunt shell界面，而后在该界面下进入hdfs系统目录：

$ pig

grunt>cd hdfs:///  --进入根目录

　　好比上图中，第一行命令显示的当前路径，第二行经过cd命令进入hdfs的根目录，固然接下来的运行环境都是在’/user/wuying/‘这个目录下运行一次我会把数据‘passwd’文件从本地的目录‘/etc/passwd’上传到hdfs系统下的‘/user/wuying/’路径下：

grunt> copyFromLocal /etc/passwd passwd --从本地上传文件到hdfs上
grunt> ls --查看当前目录下是否存在passwd文件
grunt> cat passwd --查看passwd文件格式

 

 

　　根据上图的passwd文件内容显示，该文件每一行格式相似，都是用‘：‘分割的数据，相似于sql中的数据属性，能够经过as关键字将该数据赋予不一样的字段和类型，固然这里为了方便测试，进食将数据按照':'分割，下面是latin语句：

grunt> A = load 'passwd' using PigStorage(':');  --加载passwd文件,并用冒号’:‘将数据分离为多个字段
grunt> B = foreach A generate $0 as id; --将每一次迭代的第一个元祖数据做为id
grunt> dump B; 在命令行输出结果

　　若执行成功，id如上图所示输出。

2、批量模式下运行脚本*.pig文件

　　首先，在本地编辑myscript.pig脚本文件：

/* script.pig */

A = load 'passwd' using PigStorage(':');  
B = foreach A generate $0 as id;  
store B into ‘id.out’;  -- 将结果写入到id.out文件

　　而后，将该脚本上传到hdfs文件系统下的’/user/wuying‘路径下，并运行该文件：

　　由于个人脚步是存放在test文件夹下的，所以你记获得时候把文件上传到用户目录就行了～如果报错，请查看log信息，找到你的error，all is well~

　　最后上一张成功执行的结果截图：

　　好冷，下班咯，回家～

最后贴上如下连接供参考：

Apache pig 官方文档

IBM中文社区文档

错误参考