Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig一般与 Hadoop 一块儿使用；咱们可使用Apache Pig在Hadoop中执行全部的数据处理操做。程序员
要使用 Apache Pig 分析数据，程序员须要使用Pig Latin语言编写脚本。全部这些脚本都在内部转换为Map和Reduce任务。Apache Pig有一个名为 Pig Engine 的组件，它接受Pig Latin脚本做为输入，并将这些脚本转换为MapReduce做业。apache
为何要使用Apache Pig编程
-
使用 Pig Latin ，程序员能够轻松地执行MapReduce做业，而无需在Java中键入复杂的代码。设计模式
-
Apache Pig使用多查询方法，从而减小代码长度。例如，须要在Java中输入200行代码（LoC）的操做在Apache Pig中输入少到10个LoC就能轻松完成。最终，Apache Pig将开发时间减小了近16倍。架构
-
Pig Latin是相似SQL的语言，当你熟悉SQL后，很容易学习Apache Pig。框架
-
Apache Pig提供了许多内置操做符来支持数据操做，如join，filter，ordering等。此外，它还提供嵌套数据类型，例如tuple（元组），bag（包）和MapReduce缺乏的map（映射）。编程语言
Apache Pig具备如下特色:函数
-
丰富的运算符集 - 它提供了许多运算符来执行诸如join，sort，filer等操做。工具
-
易于编程 - Pig Latin与SQL相似，若是你善于使用SQL，则很容易编写Pig脚本。oop
-
优化机会 - Apache Pig中的任务自动优化其执行，所以程序员只须要关注语言的语义。
-
可扩展性 - 使用现有的操做符，用户能够开发本身的功能来读取、处理和写入数据。
-
用户定义函数 - Pig提供了在其余编程语言（如Java）中建立用户定义函数的功能，而且能够调用或嵌入到Pig脚本中。
-
处理各类数据 - Apache Pig分析各类数据，不管是结构化仍是非结构化，它将结果存储在HDFS中。
Apache Pig与MapReduce
下面列出的是Apache Pig和MapReduce之间的主要区别。
| Apache Pig | MapReduce |
|---|---|
| Apache Pig是一种数据流语言。 | MapReduce是一种数据处理模式。 |
| 它是一种高级语言。 |
MapReduce是低级和刚性的。 |
| 在Apache Pig中执行Join操做很是简单。 | 在MapReduce中执行数据集之间的Join操做是很是困难的。 |
| 任何具有SQL基础知识的新手程序员均可以方便地使用Apache Pig工做。 | 向Java公开是必须使用MapReduce。 |
| Apache Pig使用多查询方法，从而在很大程度上减小代码的长度。 | MapReduce将须要几乎20倍的行数来执行相同的任务。 |
| 没有必要编译。执行时，每一个Apache Pig操做符都在内部转换为MapReduce做业。 | MapReduce做业具备很长的编译过程。 |
Apache Pig Vs SQL
下面列出了Apache Pig和SQL之间的主要区别。
| Pig | SQL |
| Pig Latin是一种程序语言。 | SQL是一种声明式语言。 |
| 在Apache Pig中，模式是可选的。咱们能够存储数据而无需设计模式（值存储为$ 01，$ 02等） | 模式在SQL中是必需的。 |
| Apache Pig中的数据模型是嵌套关系。 | SQL 中使用的数据模型是平面关系。 |
| Apache Pig为查询优化提供有限的机会。 | 在SQL中有更多的机会进行查询优化。 |
除了上面的区别，Apache Pig Latin:
- 容许在pipeline（流水线）中拆分。
- 容许开发人员在pipeline中的任何位置存储数据。
- 声明执行计划。
- 提供运算符来执行ETL（Extract提取，Transform转换和Load加载）功能。
Apache Pig VS Hive
Apache Pig和Hive都用于建立MapReduce做业。在某些状况下，Hive以与Apache Pig相似的方式在HDFS上运行。在下表中，咱们列出了几个重要的点区分Apache Pig与Hive。
| Apache Pig | Hive |
|---|---|
| Apache Pig使用一种名为 Pig Latin 的语言（最初建立于 Yahoo ）。 | Hive使用一种名为 HiveQL 的语言（最初建立于Facebook ）。 |
| Pig Latin是一种数据流语言。 | HiveQL是一种查询处理语言。 |
| Pig Latin是一个过程语言，它适合流水线范式。 | HiveQL是一种声明性语言。 |
| Apache Pig能够处理结构化，非结构化和半结构化数据。 | Hive主要用于结构化数据。 |
Apache Pig的应用程序
Apache Pig一般被数据科学家用于执行涉及特定处理和快速原型设计的任务。使用Apache Pig:
- 处理巨大的数据源，如Web日志。
- 为搜索平台执行数据处理。
- 处理时间敏感数据的加载
用于使用Pig分析Hadoop中的数据的语言称为 Pig Latin ，是一种高级数据处理语言，它提供了一组丰富的数据类型和操做符来对数据执行各类操做。
要执行特定任务时，程序员使用Pig，须要用Pig Latin语言编写Pig脚本，并使用任何执行机制（Grunt Shell，UDFs，Embedded）执行它们。执行后，这些脚本将经过应用Pig框架的一系列转换来生成所需的输出。
Apache Pig的架构
Apache Pig组件
如图所示，Apache Pig框架中有各类组件。让咱们来看看主要的组件。
Parser（解析器）
最初，Pig脚本由解析器处理，它检查脚本的语法，类型检查和其余杂项检查。解析器的输出将是DAG（有向无环图），它表示Pig Latin语句和逻辑运算符。在DAG中，脚本的逻辑运算符表示为节点，数据流表示为边。
Optimizer（优化器）
逻辑计划（DAG）传递到逻辑优化器，逻辑优化器执行逻辑优化，例如投影和下推。
Compiler（编译器）
编译器将优化的逻辑计划编译为一系列MapReduce做业。
Execution engine（执行引擎）
最后，MapReduce做业以排序顺序提交到Hadoop。这些MapReduce做业在Hadoop上执行，产生所需的结果。
Pig Latin数据模型
Pig Latin的数据模型是彻底嵌套的，它容许复杂的非原子数据类型，例如 map 和 tuple 。
Atom（原子）
Pig Latin中的任何单个值，不管其数据类型，都称为 Atom 。它存储为字符串，能够用做字符串和数字。int，long，float，double，chararray和bytearray是Pig的原子值。一条数据或一个简单的原子值被称为字段。例:“raja“或“30"
Tuple（元组）
由有序字段集合造成的记录称为元组，字段能够是任何类型。元组与RDBMS表中的行相似。例:（Raja，30）
Bag（包）
一个包是一组无序的元组。换句话说，元组（非惟一）的集合被称为包。每一个元组能够有任意数量的字段（灵活模式）。包由“{}"表示。它相似于RDBMS中的表，可是与RDBMS中的表不一样，不须要每一个元组包含相同数量的字段，或者相同位置（列）中的字段具备相同类型。
例:{（Raja，30），（Mohammad，45）}
包能够是关系中的字段；在这种状况下，它被称为内包（inner bag）。
例:{Raja，30， {9848022338，raja@gmail.com，} }
Map（映射）
映射（或数据映射）是一组key-value对。key须要是chararray类型，且应该是惟一的。value能够是任何类型，它由“[]"表示，
例:[name＃Raja，age＃30]
Relation（关系）
一个关系是一个元组的包。Pig Latin中的关系是无序的（不能保证按任何特定顺序处理元组）。
源自：https://www.w3cschool.cn/apache_pig