Spark Stream 流式处理

在这里插入图片描述
总结:

  • Spark的核心数据结构是RDD(弹性分布式数据集)
  • Spark Streaming 采用微批处理模式,保证消息传输精准性,采用checkpoint方式保证可靠性,具有良好的吞吐性能,延时表现非真正实时
  • Spark Streaming 可以接收Kafka和HDFS等在内的多种数据源,批量处理后,输出到HDFS、数据库或文件系统


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部