spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException
./bin/spark-shell启动shell环境后，提交命令sc.textFile(“hdfs://test-szzt01:9000/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:9000/test/output”)
spark报异常
这里时HDFS端口问题，将9000端口改为8020再提交
sc.textFile(“hdfs://test-szzt01:8020/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:8020/test/output”)
单独安装的Hadoop的fs.defaultFS默认端口号为9000，而CDH中默认为8020。比如可以使用"hdfs://namenode:8020/user/asin/test.txt"在程序中访问你的文件。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！