flink实时计算uv，并每天使用离线数据更正计算结果
文章目录
- flink实时计算uv，并每天使用离线数据更正计算结果
- 需求
- 思考
- 1.怎么在flink中判断是新用户？
- 2.flink怎么获取离线数据的结果？
- 3.kafka join hive的字段？
- 4.使用常量字段join，后续处理？
- 5.开窗口
- 6.ds1 interval join ds2
- 7.后续处理
- 8.夸一下自己
- 代码
flink实时计算uv，并每天使用离线数据更正计算结果
需求
数据一部分发到kafka实时计算，一部分存到hive离线计算。每天用hive计算的结果更正实时计算的结果。
比如hive在2022-05-08号凌晨跑批计10分钟算出08号之前的历史的uv，flink实时计算uv是用今天新增+跑批uv。
思考
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！