ADF 第二篇：使用UI建立数据工厂

用户能够经过UI来建立ADF，在UI中建立ADF时，用户不须要下载单独的IDE，而仅仅经过 Microsoft Edge 或者 Google Chrome浏览器。用户登陆Azure Portal，选择 “Data factories” 服务，经过 Data factories 服务中建立ADF。

一，建立Data Factory实例

打开 Data factories以后，点击“+ Add”，建立本身的数据工厂实例：

step1，填写Basics信息

在 “Create Data Factory” 面板中开始建立数据工厂实例，首先填写“Basics”信息：Subscription（订阅）、资源组（Resource group）、区域（Region）、名称（Name）和版本（Version），版本选择V2。

step2：配置git

在V2版本中，用户在建立数据工厂时，还能够配置“Git configuration”，用于版本控制，能够勾选“Configure Git later”，在建立数据工厂实例以后，择机配置git。

step3：检查和建立

检查（Review+Create）无误后，点击“Create” 按钮建立Data factory 实例。等实例建立完成，点击Next Step “Go to resource” 导航到数据工厂页面。

二，做者和监视器

在Data factory的overview页面上，点击"Authoer & Monitor"按钮，这会导航到 Azure Data Factory的用户界面（UI）页面中。

ADF的UI界面以下图所示，界面中显示了经常使用的几个功能：Create Pipeline、Create Data Flow等。

 

因为咱们是第一次建立Data Factory，在建立Pipeline以前，咱们还须要建立链接（connection）和数据集（dataset）。

三，建立链接服务

点击UI界面左侧的“Manage”选项卡，首先建立链接，链接有两种类型：Linked services 和 Integration runtimes，本文建立Liked Services，因为Linked Services 依赖于Integration runtimes，所以，咱们首先建立Integration runtimes。

1，建立Integration runtimes（IR）

如何建立Integration runtimes，请阅读：《ADF 第三篇：Integration runtime和 Linked Service》

2，建立Linked Services

在Connections中选中“Linked Services”，点击“+New”，建立一个新的Linked Services：

 

不一样的数据源，有不一样的Linked Service，要根据实际的数据源，选择合适的数据源的类型，下图建立的Linked Service的类型是SQL Server，输入 Name、Connect via integration runtime、Server name、Database name、Authentication type 、 User name和 Password。

注意，Connect via integration runtime 就是上一节建立的Integration runtimes。

Azure Key Vault是一个存储空间，用户把密码存储到Azure Key Vault中，输入Key Vault的名称和密码就能提取它存储的信息。

四，建立Dataset

dataset 表明数据存储的结构（schema），它既能够表明数据源，从数据源中读取数据；也能够表明数据目标，把数据存储到该数据目标中。

建立一个dataset实例，只是存储了数据存储的结构等元数据信息，而不会真正存储实际的数据。数据真正存储在dataset指向的底层存储对象中，举个例子，dataset执行SQL Server实例中的一个表，那么数据实际存储在这个表中，而dataset存储的数据是表的结构和导航到表的Linked Service。同一个dataset，既能够做为获取数据的数据源，也能够做为存储数据的数据目标。

点击“铅笔”对应的“Author”选项卡，进入到Fact Resources界面，点击“+”，选择 Dataset，进入到建立Dataset的界面

设置Dataset的属性，设置Dataset的Name，经过Linked service来获取源数据的链接，经过Table name来指定表，建议把Import schema设置为From conneciton/store。

五，建立Pipeline

建立管道，管道至关于一个容器，能够把一个或多个Activity拖放到管道中。

若是向管道中放置Activity？用户不须要编写任何代码，只须要从“Activities”列表中选择须要的Activity，拖放到Pipeline中，经常使用的Activity 一般位于“General”子目录中。

本文演示Copy data Activity的用法，从“Move & transform”子目录，选择Copy data：

Copy Activity的做用是把数据从一个dataset转移到另外一个dataset中。

1，设置Copy Activity的Source属性

Source 属性表示数据源，Copy Activity 从Source dataset中获取数据：

2，Copy Activity的Sink属性

Sink属性用于设置数据目标，Sink dataset用于存储数据：

3，Copy Activity的其余属性

Mapping属性选项卡用于设置Source dataset和Sink dataset之间的列映射，并能够设置列类型的转换。

4，调试Pipeline

点击“Debug”对当前Pipeline进行调试

到此，一个简单的ADF就建立完成。

 

参考文档：

Quickstart: Create a data factory by using the Azure Data Factory UI