分布式文件存储系统FastDFS[1]-介绍以及安装

深碍√TFBOYSˉ_ 2023-09-24 15:16 29阅读 0赞

## 一、分布式文件存储 ##

### 1.分布式文件存储的由来 ###

在我们的项目中有很多需要存储的内容出现，比如图片，视频，文件等等，在早期的时候用户量不大，产生的文件也不是很多，这时我们可以把文件和服务程序放在一个服务器中。

![d935d39a331825f4d313722c0958ceab.png][]

后面随着文件越来越多，服务器的资源会被文件资源大量占据，从而影响到服务器的稳定，这时我们可以单独的把文件服务器拆出来。

![50d88bf99d43701f73c7d088783deadb.png][]

拆解出来后，文件服务的使用不会影响到我们的系统服务的稳定，但是当用户量越来越大，存储的文件就会越来越多，这时如果还是单台的文件服务，比如100T的文件，这时是存储不下去的，这时就产生了我们将的分布式文件存储，

![2d420de267b6b596be00754940d25976.png][]

也就是我们解决如何将这100T的文件分散的存储到各个节点上，然后当我们需要读取文件的时候又能非常快的帮我们把文件找到。这个就是分布式文件系统帮我们解决的问题了。

### 2.常见的分布式存储框架 ###

接下来我们看看在国内常用的分布式存储的框架选择有哪些

好了就介绍这么几个，其他的我们也用不到了。

## 二、FastDFS介绍 ##

FastDFS是余庆国人开发的一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS的特点：

*  FastDFS是一个轻量级的开源分布式文件系统
 *  FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡
 *  FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储
 *  支持存储服务器在线扩容
 *  支持相同内容的文件只保存一份，节约磁盘空间
 *  FastDFS只能通过Client API访问，不支持POSIX访问方式
 *  FastDFS特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）

架构图：

![3ebda1074cf8d175ae12374e24e38832.png][]

相关术语讲解：

<table> 
 <thead> 
  <tr> 
   <th>名词</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Tracker Server</td> 
   <td>跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。 记录storage server的状态，是连接Client和Storage server的枢纽</td> 
  </tr> 
  <tr> 
   <td>Storage Server</td> 
   <td>存储服务器，文件和meta data都保存到存储服务器上</td> 
  </tr> 
  <tr> 
   <td>group</td> 
   <td>组，也可称为卷。同组内服务器上的文件是完全相同的</td> 
  </tr> 
  <tr> 
   <td>文件标识</td> 
   <td>包括两部分：组名和文件名（包含路径）</td> 
  </tr> 
  <tr> 
   <td>meta-data</td> 
   <td>文件相关属性，键值对（Key Value Pair）方式，如：width=1024,heigth=768</td> 
  </tr> 
 </tbody> 
</table>

架构解读：

*  只有两个角色，tracker server和storage server，不需要存储文件索引信息。
 *  所有服务器都是对等的，不存在Master-Slave关系。
 *  存储服务器采用分组方式，同组内存储服务器上的文件完全相同（RAID 1）。
 *  不同组的storage server之间不会相互通信。
 *  由storage server主动向tracker server报告状态信息，tracker server之间不会相互通信。

## 三、FastDFS安装 ##

![1d8e3f082cadc0ef64a6815c6ea6ab77.png][]

FastDFS的安装我们还是通过Docker来安装实现吧，直接在Linux上还装还是比较繁琐的，但就学习而言Docker安装还是非常高效的。Docker环境请自行安装哦，不清楚的可以看看我的Docker专题的内容。https://blog.csdn.net/qq\_38526573/category\_9619681.html

### 1.拉取镜像文件 ###

首先我们可以通过 `docker search fastdfs` 来查询下有哪些镜像文件。

![b11399b671cfab40ceb6572fe12be28b.png][]

我们看到搜索到的镜像还是蛮多的，这里我们使用 `delron/fastdfs` 你也可以尝试使用其他的镜像来安装，你也可以制作自己的镜像来给别人使用哦，只是不同的镜像在使用的时候配置会有一些不一样，有些镜像没有提供Nginx的相关配置，使用的时候会繁琐一点。接下来通过 `docker pull delron/fastdfs`命令把镜像拉取下来。

![3d39e0a7b57292e17c9671ea71509bc6.png][]

### 2.构建Tracker服务 ###

首先我们需要通过Docker命令来创建Tracker服务。命令为

docker run -d --name tracker --network=host -v /mydata/fastdfs/tracker:/var/fdfs delron/fastdfs tracker

tracker服务默认的端口为22122，-v 实现了容器和本地目录的挂载操作。

![646f158d0ebe4b6ab39bc578c6d25950.png][]

### 3.构建Storage服务 ###

接下来创建Storage服务，具体的执行命令如下

docker run -d --name storage --network=host  -e TRACKER_SERVER=192.168.56.100:22122 -v /mydata/fastdfs/storage:/var/fdfs -e GROUP_NAME=group1 delron/fastdfs storage

在执行上面命令的时候要注意对应的修改下，其中TRACKER\_SERVER中的ip要修改为你的Tracker服务所在的服务IP地址。

![e7980a273df10b9b86796545c8da5e1e.png][]

默认情况下在Storage服务中是帮我们安装了Nginx服务的，相关的端口为

<table> 
 <thead> 
  <tr> 
   <th>服务</th> 
   <th>默认端口</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>tracker</td> 
   <td>22122</td> 
  </tr> 
  <tr> 
   <td>storage</td> 
   <td>23000</td> 
  </tr> 
  <tr> 
   <td>Nginx</td> 
   <td>8888</td> 
  </tr> 
 </tbody> 
</table>

当然如果你发现这些相关的端口被占用了，或者想要对应的修改端口信息也可以的。要修改你可以先进入容器中查看下相关的配置文件信息。

![422f6ea6124d808be088bd9387f23942.png][]

然后查看storage.conf文件

![1b54e5d8e21904c4fb0e1b200433c11c.png][]

这个是storage监听的Nginx的端口8888，如果要修改那么我们还需要修改Nginx中的服务配置，这块的配置在 `/usr/local/nginx/conf`目录下

![0b7b0756e15659c6ab7bb76a3b7de9ef.png][]

查看下文件

![ce2091a3439572eaf1b802a48dd02c00.png][]

所以要修改端口号的话，这两个位置都得修改了。当然本文我们就使用默认的端口号来使用了。

### 4.测试图片上传 ###

好了，安装我们已经完成了，那么到底是否可以使用呢？我们来测试下。首先在虚拟机的/mydata/fastdfs/storage下保存一张图片。

![2fa984bb8c8d479dccc13e518896f295.png][]

然后我们再进入到storage容器中。并且进入到 `/var/fdfs`目录下,可以看到我们挂载的文件了

![6a1970d99ec204c4dc72813f526698a8.png][]

然后执行如下命令即可完成图片的上传操作

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf 1.jpg

![46ad54d8770503fcf544205ccca982f9.png][]

通过上面的提示我们看到文件上传成功了，而且返回了文件在storage中存储的信息。这时我们就可以通过这个信息来拼接访问的地址在浏览器中访问了：[http://192.168.56.100:8888/group1/M00/00/00/wKg4ZGHcKLSAXibaAAezMuUrlS8235.jpg][http_192.168.56.100_8888_group1_M00_00_00_wKg4ZGHcKLSAXibaAAezMuUrlS8235.jpg]

好了到这儿FastDFS的服务安装成功了。

[d935d39a331825f4d313722c0958ceab.png]: https://img-blog.csdnimg.cn/img_convert/d935d39a331825f4d313722c0958ceab.png
[50d88bf99d43701f73c7d088783deadb.png]: https://img-blog.csdnimg.cn/img_convert/50d88bf99d43701f73c7d088783deadb.png
[2d420de267b6b596be00754940d25976.png]: https://img-blog.csdnimg.cn/img_convert/2d420de267b6b596be00754940d25976.png
[3ebda1074cf8d175ae12374e24e38832.png]: https://img-blog.csdnimg.cn/img_convert/3ebda1074cf8d175ae12374e24e38832.png
[1d8e3f082cadc0ef64a6815c6ea6ab77.png]: https://img-blog.csdnimg.cn/img_convert/1d8e3f082cadc0ef64a6815c6ea6ab77.png
[b11399b671cfab40ceb6572fe12be28b.png]: https://img-blog.csdnimg.cn/img_convert/b11399b671cfab40ceb6572fe12be28b.png
[3d39e0a7b57292e17c9671ea71509bc6.png]: https://img-blog.csdnimg.cn/img_convert/3d39e0a7b57292e17c9671ea71509bc6.png
[646f158d0ebe4b6ab39bc578c6d25950.png]: https://img-blog.csdnimg.cn/img_convert/646f158d0ebe4b6ab39bc578c6d25950.png
[e7980a273df10b9b86796545c8da5e1e.png]: https://img-blog.csdnimg.cn/img_convert/e7980a273df10b9b86796545c8da5e1e.png
[422f6ea6124d808be088bd9387f23942.png]: https://img-blog.csdnimg.cn/img_convert/422f6ea6124d808be088bd9387f23942.png
[1b54e5d8e21904c4fb0e1b200433c11c.png]: https://img-blog.csdnimg.cn/img_convert/1b54e5d8e21904c4fb0e1b200433c11c.png
[0b7b0756e15659c6ab7bb76a3b7de9ef.png]: https://img-blog.csdnimg.cn/img_convert/0b7b0756e15659c6ab7bb76a3b7de9ef.png
[ce2091a3439572eaf1b802a48dd02c00.png]: https://img-blog.csdnimg.cn/img_convert/ce2091a3439572eaf1b802a48dd02c00.png
[2fa984bb8c8d479dccc13e518896f295.png]: https://img-blog.csdnimg.cn/img_convert/2fa984bb8c8d479dccc13e518896f295.png
[6a1970d99ec204c4dc72813f526698a8.png]: https://img-blog.csdnimg.cn/img_convert/6a1970d99ec204c4dc72813f526698a8.png
[46ad54d8770503fcf544205ccca982f9.png]: https://img-blog.csdnimg.cn/img_convert/46ad54d8770503fcf544205ccca982f9.png
[http_192.168.56.100_8888_group1_M00_00_00_wKg4ZGHcKLSAXibaAAezMuUrlS8235.jpg]: http://192.168.56.100:8888/group1/M00/00/00/wKg4ZGHcKLSAXibaAAezMuUrlS8235.jpg