streamsets 集成 minio s3测试

具体streamsets crate 集成能够参考 streamsets crate
如下文档只关注minio 集成的配置

minio 服务

• 搭建

  具体搭建参考： http://www.javashuo.com/article/p-tpyxwcgx-hb.html

• 建立bucket （crate 集成使用）

  测试的csv 文件从https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_taxi_data.csv 下载

集成

• pipeline flow
  
• minio s3 配置
  
  
• 字段转换配置
  
• cratedb 配置
  
  

测试&&运行

• 运行
  
• cratedb 数据
  
  

参考资料

https://crate.io/docs/crate/guide/en/latest/tools/streamsets.html
http://www.javashuo.com/article/p-tpyxwcgx-hb.html
https://github.com/rongfengliang/streamsets-demos/tree/master/cratedb