spark读mongo
spark读取mongo数据(python)
使用mongo官方提供的spark connector可以很方便的让spark读写mongo中的数据。
示例:
from pyspark.sql import SparkSession
from pyspark import SparkConfif __name__=='__main__':myconf = SparkConf()myconf.setAppName("test").setMaster("yarn")myconf.set('spark.executor.instances','4')myconf.set('spark.executor.memory','4G')myconf.set('spark.executor.cores','4')myconf.set('spark.task.cpus','4&
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!
