streamsets3.21 Elasticsearch数据处理，输入到kudu、mysql

部分用法的官方链接：
https://streamsets.com/documentation/datacollector/3.21.x/help/index.html
中文站：
http://streamsets.vip/

上一篇文章写了mysql实时同步kudu，链接放这里
https://blog.csdn.net/kkHMou/article/details/115330489

一、es到kudu

1、es输入端配置

{"sort": [{"logTime": {"order": asc}}],"query": {"range": {"logTime": {"gt": ${OFFSET}}}}
}

作为offset的字段上下文保持一致就行

1.1、es数据展示

2、中间流设置

我这里使用Field Type Converter的原因是我es这个索引的时间字段格式不能直接存入kudu、mysql，所以需要转化一下。

3、输入端kudu配置

注意一点：kudu中的字段名所有大写都是自动转化成小写，建表的时候写的大写，也会转成小写。

4、输入端mysql配置

前面都是一样的

…?useUnicode=true&characterEncoding=utf-8


注：如果这里运行提示 Max Column，看看你数据库的表和你的配置是否保持字段一致，再看看你的es字段(SDC Field)是否写的有问题，有时候这个字段会读取不到

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！