ADF 第七篇：控制流概述

Azure Data Factory 系列博客：

• ADF 第一篇：Azure Data Factory介绍
• ADF 第二篇：使用UI建立数据工厂
• ADF 第三篇：Integration runtime和 Linked Service
• ADF 第四篇：管道的执行和触发器
• ADF 第五篇：转换数据
• ADF 第六篇：Copy Data Activity详解
• ADF 第七篇：控制流概述

 

控制流的做用就是在管道的Activity之间设置约束条件，只有知足必定的约束条件时，才会执行相应的Activity。控制流主要分为优先约束和Activity。

一，控制流的优先约束

从直观上来看，控制流的优先约束使得Activity在Pipeline中按照必定的条件进行分支和链接。利用控制流能够实现以下场景：

 

若是Copy data活动执行成功，那么管道将沿着OnSuccess的控制流，执行“Send Success Email”这一分支，发送成功Copy操做的详细信息； 若是Copy data活动执行失败，那么管道将沿着OnFailure的控制流，执行“Send Fail Email”这一分支，发送Copy操做失败的详细信息。

1，OnSuccess分支

每个Activity都会默认建立一个OnSuccess控制流，该控制流线的颜色是绿色的，拖动Activity右侧的绿色方块，UI会自动出现一个绿色的箭头，把箭头拖到下一个Web Activity上，就完成了OnSuccess控制流的设置。

2，添加OnFail分支

点击任意一个Activity右下方的+号，弹出"Add activity on"列表，选择 Failure，就会在Activity的右方弹出一个红色的矩形，跟OnSuccess控制流同样，拖放到下一个Activity上，就完成了OnFail控制流的设置。

3，利用控制流约束控制邮件的发送

以下图所示，利用控制流来控制邮件的发送 ，当Copy data Activity执行成功时，发送copy成功执行的消息；当Copy data Activity失败时，发送Copy 执行失败的消息。

二，控制流Activity

控制流的Activity主要用于变量、循环和条件：

• Append variable：向 Array类型的变量中追加变量值
• Set variable：设置变量的值
• Filter：在管道中使用 Filter 活动，把筛选器表达式应用到输入数组。
• Lookup：用于从数据源中检索数据集，返回执行查询或存储过程的结果，若是查找Activity的输出是单行的，那么该Activity的输出能够用于ForEach活动。
• ForEach：循环执行内部的活动，循环的次数由items指定的集合决定，依次访问集合中每个元素。
• If condition：If-Else 分支，条件为True时，执行Activity1，条件为False时，执行另外一个Activity。
• Switch：分支切换，根据条件，执行不一样分支的Activity
• Validation：验证活动，它会阻止Pipeline的执行，直到应用的数据集存在或超时为止。
• Until：Until 活动提供的功能与 do-until 循环结构以编程语言提供的功能相同。 它在循环中将执行一组活动，直到与活动相关联的条件的计算结果为 true，你能够在数据工厂中为 Until 活动指定超时值。

1，ForEach活动

ForEach 活动在管道中定义重复的控制流。 此活动用于循环访问集合，并在循环中执行指定的活动。 此活动的循环实现相似于采用编程语言的 Foreach 循环结构。点击ForEach图标内部的“笔”，向内部添加活动。

ForEach活动的核心配置是Items属性，该属性须要经过“Add dynamic content”来配置，用户能够经过系统变量（System variables）、Functions、Variables、和Activity outputs来做为Iteration。

要把Activity outpus做为ForEach活动的Iteration，首先要创建Activity和ForEach活动的优先约束，把上游Activity的输出做为Iteration，执行ForEach活动内的Activity，直到穷尽数据集的全部item。

2，Lookup活动

Lookup活动的做用就是从Table、Query或Stored procedure中查找出数据行，为了保证Lookup活动的查询性能，Lookup 活动的限制：最多能够返回 5000 行；若是结果集包含的记录超过此范围，将返回前 5000 行。Lookup活动的输出最多支持 4 MB 左右。若是大小超过此限制，则活动会失败。目前，Lookup活动在超时前的最长持续时间为 24 小时。

若是勾选"First row only"，那么表示Lookup活动只返回第一行，若是不勾选，那么返回全部行，可是要知足Lookup活动的限制。

Looup活动输出的结果能够做为ForEach的迭代器。

 

参考文档：

Branching and chaining activities in an Azure Data Factory pipeline using the Azure portal