HIVE 在执行大量数据JOIN的时候，容易产生内存不足的情况
情况
很多时间遇到 "Caused by: java.lang.OutOfMemoryError: Java heap space"Caused by: java.lang.OutOfMemoryError: Java heap space
可能会有下面错误 "Reducer tasks of hive job fails with Out Of Memory error during shuffle fetcher stage"
解决办法:
- 增加hive.tez.container.size .
- tez.runtime.shuffle.memory.limit.percent 改小一点
可选
- 减少tez.runtime.shuffle.fetch.buffer.percent 默认是0.25 ， 尽管为0.15 if needed. (这个值要在区别 0.25 ， 0.10)
转载于:https://www.cnblogs.com/frankzye/p/5522587.html
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！