hive cbo优化引起的bug
-
hive.stats.fetch.column.stats导致reduce个数划分太小
有一个任务，在混部集群默认开启，导致任务reduce个数太小，只启了2个reducetask，而maptask中读取的数据又很大，使得大量数据都写到这2个reduce task中，任务最终失败，在关闭这个参数后，可以启动1100个reducetask。
怎么发现这个问题的：
对比执行计划，在开启这个参数后，hive 认为只会读取50000多行数据，而实际上是几十亿
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！