Exception: Randomness of hash of string should be disabled via PYTHONHASHSEED

Exception: Randomness of hash of string should be disabled via PYTHONHASHSEED

pyCharm执行程序执行到
movies_for_user = ratings.groupBy(lambda x:x.user).mapValues(list).lookup(789)
报错
Exception: Randomness of hash of string should be disabled via PYTHONHASHSEED

解决方法:

在运行py文件前加入环境变量如下:
os.environ[‘PYTHONHASHSEED’] = “123”

value值随便写即可
如果还不行,在spark配置文件spark-defaults.conf中加入:
spark.executorEnv.PYTHONHASHSEED=0
问题解决


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部