streamsets microservice pipeline 试用

实际上仍是一个pipeline，只是添加了一些规则以及内嵌的http server 方便咱们对于基于http 或者相似轻量
协议数据的处理

基本环境

使用docker&& docker-compose 进行环境搭建，具体参考项目：https://github.com/rongfengliang/streamsets-demos/tree/master/micro-service

• 运行micro-service pipeline 环境

docker-compose up  -d
docker-compose.yaml 内容：
version: "3"
services:
   sets:
     image: streamsets/datacollector 
     volumes:
     - "./ms/data:/data"
     - "./ms/logs:/logs"
     ports:
     - "8000:8000"
     - "18630:18630"

建立基本micro-service pipeline

• 建立demo pipeline（参考下图）

  选择以后会有一个demo micro-service pipeline

• 运行说明

  建立完成以后已经包好了说明，参考下面的内容

• 说明

处理的事情很简单http server 请求输入，对于数据进行路由（get，post 区分），进行不通http verb 的处理并返回结果

运行效果

效果

get 请求

post 请求

err 请求

请求统计

单个pipeline 处理的统计

建立一个快照：

比较全的数据处理组件：

总结

pipeline 结合 http server router 处理数据仍是比较方便的，相似的有好多，当前的云原生框架ballerian 就包含一个相似的stream 服务，也是很不错的

参考资料

https://streamsets.com/
https://github.com/rongfengliang/streamsets-demos