问题分析报告--压力环境下运行缓慢
问题分析报告--压力环境下运行缓慢
1、问题描述
1.1 基本信息[Basic Information]
- 集群规模：37+3台物理机，每台128G内存；CPU：2*16C；SATA磁盘，2T*12
- hadoop社区版本：**
- 商业版本：FusionInsight_HD_V100R002C60U10
- MetaStore：高斯数据库（Postgresql）
1.2 问题描述[Problem Description]
- 10月26号出现大规模任务积压。跑批任务执行缓慢;
2、问题分析[Problem Analysis]
2.1 问题背景
出现运行慢包含如下两个问题：
1. 打开Yarn的任务日志页面，发现有大量的任务启动，但无法执行。每个任务使用的container均是1个。
2. 运行中的部分任务，比平时多消耗大约一到两分钟。
2.2 日志分析
问题1：
出现该现象，是因为AM配置的资源百分比为0.6，导致每个队列的百分之六十的资源都消耗在AM启动上。
关于AM配置资源百分比参数（maximum-am-resource-percent）的说明：
该参数是指，AM可以使用队列的资源配比。在mapreduce架构中。如果需要启动一个任务，就需要启动一个AM（Application Master）负责该任务的管理。 然后AM向ResourceManager申请队列资源，将任务拆分成多个执行子任务map和reduce。AM并不负责任务的计算，只负责子任务的分配、监控，调度。
从问题的情况来看，由于该参数配置值为0.6。在大规模任务执行时，将出现多个任务均处于AM启动状态（百分之60资源），但是由于剩余执行子任务计算的资源只剩余40%。整体任务计算缓慢。
该参数在出厂设置值是0.1，修改成出厂默认值之后，大规模任务下整体时间有显著减少。
问题二：从日志分析，发现部分map、reduce任务启动时间较长。但执行时间短。通过jstack线程栈分析，发现执行操作系统命令执行缓慢。通过检查发现，在redhat6.5下触发了操作系统的bug。
详情请参看
3、根本原因[Root Cause]
本问题主要包括两个方面：
- AM可以使用队列的资源配比参数配置不合理；
- 操作系统问题导致性能下降。
4、解决措施[Corrective Action]
4.1 最终解决措施[Solution]
- 修改参数maximum-am-resource-percent 为0.1。
- 修改操作系统参数
- 步骤1. echo "vm.zone_reclaim_mode = 0" >> /etc/sysctl.conf
- 步骤2. sysctl -p
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！