IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> MFS分布式存储系统 -> 正文阅读

[系统运维]MFS分布式存储系统

1.介绍

MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。
MFS的组成:
元数据服务器(Master),元数据日志服务器(MetaLogger),数据存储服务器(Chunk Server),客户端(Client)。

元数据服务器在整个体系中负责管理文件系统,维护元数据。所谓元数据记录的是整个分布式文件系统的变化,比如说记录文件存储在哪个主机,有多少个副本、每个文件大小多少、文件名字、文件被分成多少个块儿进行存储等信息,这些数据消耗的是服务器的内存资源,因此元数据不在于存储的数据有多大,而在于其数量。
元数据日志服务器(MetaLogger)备份Master服务器的变化日志文件,当master服务器损坏,可以从日志服务器中取得文件恢复。
数据存储服务器(Chunk Server)真正存储数据的服务器,服务器越多,容量就越大,可靠性越高,性能越好。
客户端(Client)可以像挂载NFS一样 挂载MFS文件系统

二.MFS的部署

1.下载

首先需要配置自己的yum 源:

[root@server1 yum.repos.d]# vim MooseFS.repo    
[MooseFS]
name=MooseFS
baseurl=http://ppa.moosefs.com/moosefs-3/yum/el7
gpgcheck=0
然后把yum 源传到三台虚拟机都有!
scp /etc/yum.repos.d/MooseFS.repo server2:/etc/yum.repos.d/


然后就可以直接下载所需要的包了:
[root@server1 yum.repos.d]# yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y 

在这里插入图片描述
下载不了的话,做解析。
vim /etc/resolv.conf
nameserver 114.114.114.114

在server2,3上只需要下载
yum install -y moosefs-chunkserver
在这里插入图片描述

2.master部署和启动

[root@server1 mfs]# vim /etc/hosts         
添加server1的解析  172.25.1.1 server1 mfsmaster
[root@server1 mfs]# scp /etc/hosts server2:/etc/     
[root@server1 mfs]# scp /etc/hosts server3:/etc/
[root@server1 mfs]# systemctl start moosefs-master.service       %启动服务
root@server1 mfs]# netstat -antulp        %查看开启的端口

[root@server1 mfs]# systemctl start moosefs-cgiserv.service      %开启相关cgi服务(提供可视化界面)
[root@server1 mfs]# netstat -antulp  

在这里插入图片描述

systemctl start moosefs-master.service
在这里插入图片描述

systemctl start moosefs-cgiserv.service
在这里插入图片描述

在这里插入图片描述
接着在网页访问:
172.25.1.1:9425
在这里插入图片描述

3.chunk server

前面说了,chunk server是真正存储数据的地方!
我们首先要划出来一个区域来提供存储
server2上操作:

添加一块儿10G的硬盘并设置分区、格式化文件系统,设置开机自动挂载
 fdisk /dev/vdb
 Command (m for help): n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): p
Partition number (1-4, default 1): 
First sector (2048-20971519, default 2048): 
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-20971519, default 20971519): 
Using default value 20971519
Partition 1 of type Linux and of size 10 GiB is set
Command (m for help): w
The partition table has been altered!

在这里插入图片描述

在这里插入图片描述

[root@server2 yum.repos.d]# mkfs.xfs /dev/vdb1          %格式化文件系统
[root@server2 yum.repos.d]# mkdir /mnt/chunk1           %创建挂载目录
[root@server2 yum.repos.d]# cd
[root@server2 ~]# chown mfs.mfs /mnt/chunk1/            %更改存储的用户及用户组
[root@server2 ~]# blkid                                 %查看设备uid,通过uid来设置开机自动挂载
[root@server2 ~]# vim /etc/fstab                %设置开机自动挂载
查到的id是多少就写多少
UUID=a18fbb2f-cb4b-4c51-a659-cb58503860f6    /mnt/chunk1  xfs     defaults    0 0

[root@server2 ~]# mount -a
[root@server2 ~]# df
[root@server2 ~]# systemctl start moosefs-chunkserver       %启动服务
[root@server2 mfs]# ls
mfschunkserver.cfg  mfschunkserver.cfg.sample  mfshdd.cfg  mfshdd.cfg.sample
[root@server2 mfs]# vim mfshdd.cfg         %编辑配置文件,指定mfs存储文件
/mnt/chunk1         %添加这行内容
[root@server2 mfs]# systemctl reload moosefs-chunkserver.service     %reload服务

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

刷新网页,查看:
在这里插入图片描述

在server3上
和server2上一致

 mkdir /mnt/chunk2
 chown mfs.mfs /mnt/chunk2/ 
 systemctl start moosefs-chunkserver 
 cd /etc/mfs/
 vim mfshdd.cfg
 /mnt/chunk2       %添加这行内容
 systemctl reload moosefs-chunkserver.service

然后刷新页面:
在这里插入图片描述

4.client

就是在自己的真机上操作:

[root@foundation1 mnt]# yum install -y moosefs-client-3.0.115-1.rhsystemd.x86_64.rpm   %先配置好源,然后下载相应rpm包
[root@foundation1 mnt]# vim /etc/hosts              %添加server1的mfsmaster解析
[root@foundation1 mnt]# cd /etc/mfs/
[root@foundation1 mfs]# ls
mfsmount.cfg  mfsmount.cfg.sample
[root@foundation1 mfs]# vim mfsmount.cfg       
  /mntt/mfs
[root@foundation1 mfs]# cd
[root@foundation1 ~]# mkdir /mntt/mfs -p
[root@foundation1 ~]# mfsmount                      %挂载mfs存储
mfsmaster accepted connection with parameters: read-write,restricted_ip,admin ; root mapped to root:root
[root@foundation1 ~]# df

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5.client端存储

[root@foundation1 ~]# cd /mntt/mfs/
[root@foundation1 mfs]# ls
[root@foundation1 mfs]# mkdir dir1
[root@foundation1 mfs]# mkdir dir2
[root@foundation1 mfs]# mfsgetgoal dir1          %因为有两个chunk server,因此默认存储的数据备份两份,server2和server3上各一份
dir1: 2
[root@foundation1 mfs]# mfsgetgoal dir2
dir2: 2
[root@foundation1 mfs]# mfsgetgoal dir1
dir1: 2
[root@foundation1 mfs]# mfssetgoal -r 1 dir1     %备份的份数可以自己设置
dir1:
 inodes with goal changed:                       1
 inodes with goal not changed:                   0
 inodes with permission denied:                  0
[root@foundation1 mfs]# mfsgetgoal dir1
dir1: 1
[root@foundation1 mfs]# cp /etc/passwd dir1/
[root@foundation1 mfs]# cp /etc/fstab dir2/
[root@foundation1 mfs]# cd dir1
[root@foundation1 dir1]# mfsfileinfo passwd      %查看文件的存储分配信息
passwd:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2021-07-09 17:42:56  更:2021-07-09 17:43:02 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 17:28:34-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码