数仓问题小结

问题1：
不能够从hadoop104消费Flume下沉数据到HDFS

出现的情况：
1.checkpoint 和 data中的堆积数据过多导致阻塞，
   删除里面的数据即可
2.lzo配置没有完成，conf配置文件中注释掉即可
3.gua包没有删除，导致jar包冲突 
4. 拦截器 包的名称 要统一，zpark 或者自己的包的名称

问题2：
总是报GC错，解决方法：

修改/opt/module/hadoop-3.1.3/etc/hadoop路径下 
vi hadoop-env.sh
104行： 
export HADOOP_CLIENT_OPTS="-Xmx2g $HADOOP_CLIENT_OPTS" 

修改/opt/module/hive/conf 路径下  （先复制hive-env.sh.template 为hive-env.sh）
vi hive-env.sh
41行：  
export HADOOP_HEAPSIZE=2048

问题3：
hadoop102: namenode is running as process 1381.  Stop it first.
原因：通常非正常关闭虚拟机，重新启动集群

问题4： 
症状： hive能够建表，不能够添加数据     
原因： 1、 配置文件中mysql 配置不正确， 产生拒绝访问异常
           2、lzo格式压缩数据， lzo没有正确配置   
           3、免密登陆突然失败了  
           4、权限问题   zpark用户没有问题，hadoop102也没问题，换成 zs1001  zhangsan 
           5、网络问题
                 
         

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！