【HDFS】Hadoop分布式文件系统

【HDFS】Hadoop分布式文件系统

• • 一、HDFS客户端安装与常用操作
  • • 1. 客户端安装并设置在普通用户访问
    • 2. 常用操作
  • 二、HDFS总体介绍
  • 三、架构
  • • 1. 名称节点(NameNode)
    • 2. 镜像和日志（Image and Journal）
    • 3. 数据节点（DataNodes）
    • 4. HDFS客户端
    • 5. Checkpoint节点
    • 6. 备份节点（BackupNode）
    • 7. 升级和文件系统快照
  • 四、文件IO操作和副本管理
  • • 1. 文件读写
    • 2. Block块放置
    • 3. 复制管理
    • 4. 均衡器
    • 5. Block块扫描
    • 6. 节点退役
    • 7. 集群间数据拷贝

HDFS被设计用来可靠存储并向用户高速传输超大数据集。在大的集群中，成千上万台服务器都直接挂载存储设备并执行用户任务。通过将存储和计算分布到多台服务器，这些资源可以按需增长，同时在任何规模都保持经济性

一、HDFS客户端安装与常用操作

1. 客户端安装并设置在普通用户访问

• 安装公司通用HDFS集群访问客户端，如下，在root下安装后可更改目录权限拥有者为普通用户，bin下有haddop访问命令脚本
• 将命令添加到Linux系统环境变量，使得不用每次都从客户端根目录bin去执行hadopp命令

[root@IP /data/hadoop_client/dfsclient]# ll
total 52
-rw-r--r-- 1 uername uername 15429 May 23  2019 LICENSE.txt
-rw-r--r-- 1 uername uername   101 May 23  2019 NOTICE.txt
-rw-r--r-- 1 uername uername  1366 May 23  2019 README.txt
drwxr-xr-x 2 uername uername  4096 Feb 18 09:51 bin
drwxr-xr-x 3 uername uername  4096 May 23  2019 etc
drwxr-xr-x 2 uername uername  4096 May 23  2019 include
drwxr-xr-x 3 uername uername  4096 May 23  2019 lib
drwxr-xr-x 2 uername uername  4096 May 23  2019 libexec
drwxr-xr-x 2 uername uername  4096 May 23  2019 sbin
drwxr-xr-x 4 uername uername  4096 May 23  2019 share

vi ~/.bashrc
#设置hadoop系统变量，root下保存则对所有普通用户都有效
export HADOOP_HDFS_CLIENT=/data/hadoop_client/dfsclient/bin
export PATH="$PATH:$HOME/.ft:$HADOOP_HDFS_CLIENT"

2. 常用操作

# 1. 查看指定目录下文件列表
hadoop fs -Dhadoop.job.ugi=user:passwd -ls hdfs://path # 2. 在指定目录下创建test目录
hadoop fs -Dhadoop.job.ugi=user:passwd -mkdir hdfs://path/test # 3. 将本地文件拷贝到HDFS指定目录下
hadoop fs -Dhadoop.job.ugi=

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！