【FastDFS】- 分布式文件系统FastDFS原理介绍

分布式文件系统FastDFS原理介绍

  • FastDFS是什么?
    • 功能
    • 角色
    • 存储策略
  • 文件上传
    • 过程描述
    • 文件上传流程图
  • 文件下载
    • 过程描述
    • 文件下载流程图

FastDFS是什么?

FastDFS是一个开源的轻量级分布式文件系统,对文件进行管理,适用于中小文件,如:相册网站、视频网站等(建议范围:4KB

功能

  • 文件存储
  • 文件同步
  • 文件访问(文件上传与下载)

角色

  • Storage server

存储服务器,主要提供容量和备份服务,以组为单位(group/volume)为单位,一个group中包含多个storage主机,数据互为备份,存储空间按照group中最小storage为准,使用时可以设置多个storage配置相同;

  • Tracker server

跟踪服务器,主要做任务调度,起到负载均衡的作用,负责管理所有的storage server和group,每个storage启动后会连接Tracker,告知自己所属的group信息,并保持周期性心跳;

  • Client客户端

文件上传下载的服务器,项目部署服务器
在这里插入图片描述

存储策略

为支持大容量,storage server采用了分卷(或分组)[(group/volume)为单位]的组织方式

  • 存储系统由一个或多个卷组成,卷与卷之间的文件相互独立,所有卷的文件容量累加就是整个系统存储系统中的文件容量;
  • 一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷重的多台存储服务器起到冗余备份、负载均衡的效果;
  • 卷中增加服务器时,已有的文件同步由系统自动完成,同步完成后,系统自动将新增服务器切换到线上服务;
  • 存储空间不足或将耗尽时,可以动态添加卷;需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量;
  • FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可

文件上传

Client向Tracker询问存储地址,Tracker查询到存储地址返回给Client,Client拿着地址直接与对应的Storage通讯,将文件上传至Storage;

过程描述

  • Storage Server向 Tracker Server定时发送上传状态信息
  • Client向Tracker Server发送上传连接请求
  • Tracker Server查阅可用的Storage
  • Tracker Server向Client返回信息(Storage的IP和端口)
  • Clent向Storage Server上传文件(fle content和metadata)
  • Storage Server生成file_id
  • Storage Server将上传内容写入磁盘
  • Storage Server向Client返回file_id(路径信息和文件名)
  • Client存储文件信息

文件上传流程图

在这里插入图片描述

文件下载

Client带上要查询的文件名和组名,向Tracker询问地址,Tracker查询后台后将地址返回给Client,Client拿着地址和指定Storage通讯并下载文件;

过程描述

  • Storage Server向 Tracker Server定时发送上传状态信息
  • Client向Tracker Server发送下载连接请求
  • Tracker Server查阅可用的Storage(检验同步状态)
  • Tracker Server向Client返回信息(Storage的IP和端口)
  • Client根据组名、路径、文件名向Storage Server下载文件
  • Storage Server查找文件
  • Storage Server向Client返回file_content

文件下载流程图

在这里插入图片描述


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部