StreamSets SDC RPC Pipelines说明

主要目的是进行跨pipeline 数据的通讯，而不单单是内部pipeline 的通讯，之间不一样网络进行通讯

一个参考图

pipeline 类型

• origin
• destination

部署架构

• 使用多个destination 保证可靠性，参考下图
  
• 若是数据是类似的，能够实现负载均衡以及冗余，参考下图
  

数据传输的保证

• 至少一次（保证数据能够被处理）
• 之多一次 （避免数据重复）

定义rpc id

id 是用户定义的方便彼此之间能够进行识别的

加密

支持基于tls 的数据加密

配置指南

要建立一组有效的SDC RPC管道，必须遵照某些配置选项。使用如下准则配置SDC RPC管道：

• origin
  在origin管道中，配置如下元素：
  在管道属性中，将数据传递模型设置为您要使用的选项。
  在管道中，使用SDC RPC目标。
  配置SDC RPC目标时，请输入RPC ID和RPC链接信息。
  若要使用多个目标管道，请输入要使用的每一个SDC RPC源的RPC链接信息。
  要使用加密在管道之间传输数据，请启用TLS并配置相关属性。

• destination
  对于每一个destination管道，请配置如下元素：
  在管道属性中，将数据传递模型设置为与原始管道相同的选项。使用其余选项会致使Data Collector 默认为At Most Once行为。
  在管道中，使用SDC RPC origin。
  配置SDC RPC orign时，请按以下方式定义属性：
  使用SDC RPC destination 中使用的相同RPC ID。
  对于RPC侦听端口，请输入相应的端口号。
  它应该是SDC RPC destination中的一个RPC链接中指定的端口号。
  要使用加密在管道之间传输数据，请启用TLS并配置相关属性。

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/RPC_Pipelines/SDC_RPCpipelines_title.html#concept_wr1_ktz_bt