大数据原理与应用错误

问题1：在安装hadoop时
hadoop未找到命令

设置环境变量
echo $PATH 命令
解答方式：登入csdn在搜索栏搜索，查看知名程序员发布文章

问题2：root权限不够
命令sudo cd / root
sudo passwd root

解答方式：百度搜索查看执行
问题3：双向拖拽

sudo apt install wget
cd ~
wget yfyoss.oss.aliyuncs.com/vb.tar.bz2

代码说明:安装wget，并下载vb.tar.bz2到主目录
tar -xzvf vb.tar.bz2
cd VBox_GAs_6.1.121
sudo ./autorun.sh
代码说明:解压vb.tar.bz2并为其获取超级权限
reboot
代码说明:重启系统

双向拖拽文件功能在重启系统后生效
若是没有效果，建议查看下虚拟机的设置里是否开启双向拖拽和双向剪贴板

问题4：root 密码设置

问题5：Linux系统（Ubantu）系统更改软件源
首先打开系统设置，选择软件和更新。
在下载自的下拉框中选择中国的服务器。

在列表中选择mirrors.aliyun.com，然后点击选择服务器。
接着在提示框中输入你的用户名和密码。

提示可用软件的列表信息已过时，点击重新载入。

最后耐心等待更新缓存即可。更新完成会自动关闭软件和更新这个窗口。如果还是提示错误，请选择其他服务器节点如 mirrors.163.com 再次进行尝试。

到此为止，软件源就更改好了。
问题6：集群中的一个datanode节点（扩展的）没有启动，报错java.net.UnknownHostException
问题解决：查看/etc/hosts文件，看ip和主机名是否配置正确
问题7：HBase常遇见问题
HRegionServer启动不正常
HRegionServer启动不正常
在namenode上执行jps,则可看到hbase启动是否正常，进程如下：
[root@bigdata120 ~]# jps
26341 HMaster
26642 Jps
7524 NameNode
7974 NodeManager
7521 DataNode
7974 NodeManager
7703 SecondaryNameNode
7870 ResourceManager
由上可见，hadoop启动正常。HBase少了一个进程，猜测应该是有个节点regionserver没有启动成功。
进入节点slave1 ,执行jps查看启动进程：
[root@master bin]# ssh slave1
Last login: Thu Jul 17 17:29:11 2021from master
[root@slave1 ~]# jps
4296 DataNode
11261 HRegionServer
11512 Jps
11184 QuorumPeerMain
由此可见Slave1节点正常。
进入节点slave2节点，执行jps查看启动进程：
[root@slave2 ~]# jps
3795 DataNode
11339 Jps
11080 QuorumPeerMain
OK，问题找到了 HRegionServer没有启动成功。进入HBase日志：
根据错误日志，可得到slave2和maste机器时间差太多，查看各个系统的时间，果真如此，同步即可。
另外一种方法就是配置hbase的配置文件：
配置：hbase.master.maxclockske

hbase.master.maxclockskew
200000
Time difference of regionserver from master

问题7：Zookeeper启动不正常。
在启动hbase时，总是报错，提示zookeeper连接不上，查看zookeeper日志，发现：
(无法定位登录配置)。
经过百度可得
由于hosts文件的问题，于是vi /etc/hosts 发现 ip slave1配置中ip错误。hbase和zookeeper都有日志。于是重启zookeeper和hbase，上述问题解决。
问题8：HBase shell执行list命令报错。
在Hbase shell执行list命令报错：
View Code
关键错误信息：client.HConnectionManager$HConnectionImplementation:Can’tgetconnectiontoZooKeeper:KeeperErrorCode=ConnectionLossfor/hbase。根据信息可以判断zk无法连接。执行jps查看zk都正常。查看hbase-site.xml中zk节点配置正常。根据经验，应该是防火墙没有关闭，2181端口无法访问。ok执行serviceiptablesstop关闭防火墙，重启hbase。问题9：HBaseShell增删改异常。在hbaseshell上做增删改就会报异常，zookeeper.ClientCnxn:Session0x0forservernull,unexpectederror,closingsocketconnectionandattemptingreconnect。经判断是hbase版本的jar包和hadoop中的jar包不兼容的问题。解决方法：将hadoop中hadoop-2.2.0相关的jar包copy过来（${HABASE_HOME}/lib）替换即可。
问题10：启动hbase报错，master running as process 10816. Stop it first.
./bin目录下的文件

先使用脚本stop-hbse.sh，停止hbase；[root@localhost bin]# ./stop-hbase.shstopping hbase…使用命令脚本start-hbase.sh启动；
[root@localhost bin]# ./start-hbase.shstarting master, logging to /data/hbase/alihbase-1.1.4/bin/…/logs/hbase-root-master-localhost.localdomain.out成功启动后，进入hbase，测试是否正常使用。
问题11：在使用python的HTMLTestRunner进行测试报告输出时，运行错误信息如下：

ModuleNotFoundError: No module named ‘HTMLTestRunner’

找了半天不知道什么原因，文件中该改的地方都改了，网上查也没找到原因。没办法还是查一下文件的位置，后来又翻到一篇文章，发现文字描述都说是放在了python安装目录下的lib下，但实际截图都是lib的下一层，然后果断又把文件复制到了下一层，实际就是：/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7（mac系统）
问题12：

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！