ZDH大数据采集平台-采集mysql数据到hdfs
目录
项目源码
创建mysql数据源
创建本地hdfs数据源
配置采集任务
配置调度
点击执行记录查看具体日志
高级使用
项目源码
数据采集平台管理端
https://github.com/zhaoyachao/zdh_web
数据采集平台服务
https://github.com/zhaoyachao/zdh_server
web端在线查看
http://zycblog.cn:8081/login
用户名:zyc
密码:123456
界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情
如果觉得项目不错记得分享给同伴和点star!!!
创建mysql数据源



创建本地hdfs数据源


配置采集任务
1.

.


配置调度




点击执行记录查看具体日志
不介绍,使用者自己点击查看
高级使用
1 采集的数据需要做特定转换怎么办(如去除字段空格,日期格式转换,加减乘除)
解:配置etl任务时,配置字段映射 使用sql 函数
2 目前的任务中都是固定参数或者无参,需要使用调度时间怎么办
解:目前zdh 支持 调度的时间如下
{{ zdh_date_time}} :yyyy-MM-dd HH:mm:ss 格式
{{zdh_date}}: yyyy-MM-dd 格式
{{zdh_date_nodash}}: yyyyMMdd 格式
{{zdh_year}}:年
{{zdh_month}}:月
{{zdh_day}}:日
{{zdh_hour}}:小时
{{zdh_minute}}:分钟
{{zdh_second}}:秒
3:是否支持告警
解:目前只支持邮件告警,短信告警等其他告警需要自己实现,后期单独出如何对接其他告警
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!
