Moose部署日记

# 准备
```
192.168.1.211 moose1(101) 主机服务器
	moosefs-master moosefs-cgi moosefs-cgiserv 
192.168.1.212 moose2(121) 日志服务器
	moosefs-metalogger
192.168.1.220 moose2x(127) 日志服务器
	moosefs-metalogger
192.168.1.214 moose3(122) 数据服务器
	硬盘直通:
		disk7 -- 677RT7KJT --sata2--sdb --已损坏 移除
		disk9 -- Z5PYK0SAS --sata3--sdc移除
		disk10-- X5F7AG1GS --sata4--sdd移除
直通参数:
ls -la /dev/disk/by-id/
lrwxrwxrwx 1 root root   9 May  7 07:46 ata-TOSHIBA_DT01ACA050_X5F7AG1GS -> ../../sdd 已卸载
lrwxrwxrwx 1 root root   9 May  7 07:45 ata-TOSHIBA_DT01ACA050_Z5PYK0SAS -> ../../sdc 已卸载
lrwxrwxrwx 1 root root   9 May  7 07:45 ata-TOSHIBA_MQ01ACF050_677RT7KJT -> ../../sdb 已卸载
新: 4T1:
wwn-0x5000c500ee0fabdc -> ../../sdb

qm set 122 --sata2 /dev/disk/by-id/ata-TOSHIBA_MQ01ACF050_677RT7KJT 已损坏
qm set 122 --sata3 /dev/disk/by-id/ata-TOSHIBA_DT01ACA050_Z5PYK0SAS 已卸载
qm set 122 --sata4 /dev/disk/by-id/ata-TOSHIBA_DT01ACA050_X5F7AG1GS  已卸载
新：4T1
qm set 122 --sata2 /dev/disk/by-id/wwn-0x5000c500ee0fabdc

mount:
UUID=6cf873c7-408a-4697-b0ea-244be00b8ad9 /disk7 ext4 defaults 0 0 已卸载
UUID=54fff836-3932-47a7-b646-35827df8ee31 /disk9 ext4 defaults 0 0已卸载
UUID=9a94447b-486c-431f-a45c-a51a2c8aec5c /disk10 ext4 defaults 0 0已卸载
UUID=61e7522c-0165-474f-ac03-dca398ba64be /disk4T1 ext4 defaults 0 0

Chunk Server
192.168.1.216 moose4(123) 数据服务器 （剔除）
	Chunk Server
192.168.1.217 moose5(124) 数据服务器 （剔除）
	Chunk Server
192.168.1.218 moose6(125) 数据服务器 （剔除） 客户端
	Chunk Server,client
	
192.168.1.219 MooseWeb
	moosefs-cgiserv WEB界面
	
192.168.1.3 PVE2 数据服务器
	硬盘：
		disk1 -- 67A7CZCHT -- sdb
		disk2 -- WD-WXA1A15NK6J3 -- sdc
		disk3 -- 676ICPIAT -- sdd
		
UUID=e21901dc-d150-40b3-b449-60c17b357d8f /disk1 ext4 defaults 0 0
UUID=5b7d8c2b-2e67-4481-bb70-fe5569f9c725 /disk2 ext4 defaults 0 0
UUID=132797cb-8f38-42c5-a9c4-0ffb4f208f60 /disk3 ext4 defaults 0 0

192.168.1.5 PVE5 数据服务器
	硬盘：
		disk11--6394 -- sdc
		disk4 --677JCTBOT --sde
		disk5 -- 677RT7k6T --sdd
		
UUID=6db5d36b-07cc-46c9-a244-3af54098d870   /disk11 ext4 defaults 0 0
UUID=261539c6-8ceb-47bf-ac0b-eb1cb41ff019   /disk5 ext4 defaults 0 0
UUID=1fd838a9-116d-4cb8-81ff-61c577183317   /disk4 ext4 defaults 0 0

192.168.1.7 PVEbackup 数据服务器

disk6 sdb X UUID="9088a8f9-a917-4891-adb8-e2be6a3ef4c8" 临时   ----保留
disk8 sdc X UUID="80388e42-6d1c-4fbd-b735-194364a37296"  ---做  pvebackup磁盘  
disk14 sdd UUID="9764de87-3c2b-48d1-9570-e87b7891cdb2" 
disk13 sde UUID="60c4f68f-7c1d-4271-912c-a4c207f3fb0e"

UUID=60c4f68f-7c1d-4271-912c-a4c207f3fb0e /disk13 ext4 defaults 0 0
UUID=9764de87-3c2b-48d1-9570-e87b7891cdb2 /disk14 ext4 defaults 0 0

```
```
master主机（元数据服务器）
moose1 192.168.1.211

```
```
chunkserver（数据存储服务器）
192.168.1.212 moose2
192.168.1.214 moose3
192.168.1.216 moose4
```
## 配置hosts解析：
```
vim /etc/hosts
192.168.1.211 moose1
192.168.1.212 moose2
192.168.1.214 moose3
192.168.1.216 moose4
192.168.1.217 moose5
192.168.1.218 moose6
192.168.1.5 PVE5
192.168.1.3 PVE2
192.168.1.4 PVE3

```
## 打开时间同步
```
systemctl enable --now chronyd.service
查看:
timedatectl status
```
官网下载页面：
```
https://moosefs.com/download/#current
```

## 安装 master：
```
在192.168.1.211,moose1 安装
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y
启动 master
systemctl start moosefs-master && systemctl enable moosefs-master
移到了192.168.1.219上：
启动moosefs-cgiserv(web管理)
systemctl start moosefs-cgiserv && systemctl enable moosefs-cgiserv
```
此时已经可以打开web界面：
```
http://192.168.1.211:9425/
```

## 安装 MetalLogger：
```
在192.168.1.212,moose2安装

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目

yum install moosefs-metalogger

修改配置文件：
vim /etc/mfs/mfsmetalogger.cfg
MASTER_HOST = 172.16.10.21    //地址指向主服务器

启动服务
systemctl start moosefs-metalogger
systemctl enable moosefs-metalogger
netstat -ntap | grep mfs
```
## 安装Chunk Server
```
在 192.168.1.214 ,192.168.1.214 moose3,moose4

curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

yum install moosefs-chunkserver

修改mfschunkserver.cfg
vim /etc/mfs/mfschunkserver.cfg
MASTER_HOST = 192.168.1.211   //在配置文件中修改，将地址指向主服务器

(chunk server上全部设置)设置一个挂载磁盘地址,后续将磁盘挂载在这
mkdir /disk
chmod 777 /disk

修改mfshdd.cfg ， 这里是配置挂载共享目录的地方
vim /etc/mfs/mfshdd.cfg
/disk 添加需要挂载目录
授权给mfs账号读写权限
chown -R mfs:mfs /disk

启动服务 
systemctl start moosefs-chunkserver
systemctl enable moosefs-chunkserver
```
## 安装client
```
在 192.168.1.218 Moose6 上安装
yum -y install moosefs-client
#加载fuse模块到内核
modprobe fuse

mkdir /mfs-test
mkdir /mfs-meta

#挂载根目录
mfsmount /mfsdata -H 192.168.1.211 //挂载，地址为master地址
#挂载元数据日志
mfsmount -m /mfs-meta -H

元数据挂载成功够不会在 df -h 中显示，但是，挂载点会生成子目录：sustained 和 trash。
```
### 设置"回收站"功能  trashed files
```
查看 回收站天数：
[root@Moose6 usr]# mfsgettrashtime -h /mfsdata
/mfsdata: 86400   
#86400秒=1天
这是回收站天数：
[root@Moose6 usr]# mfssettrashtime 10000 /mfsdata
/mfsdata: 10000
挂载 回收站空间：
mfsmount -m /mfstrash -H 192.168.1.211

```

## 常用操作介绍
mfsgetgoal命令用来查询文件被复制的份数，利用-r命令可以对整个目录进行递归，goal是指文件被复制的份数。
```
mfsgetgoal -r /opt/mfs/
```
![](/media/202304/2023-04-28_124455_7140350.283347290962768.png)
mfssetgoal命令同来设置文件被复制的份数，生产环境中Chunk节点数量应至少大于2，文件副本数量小于等于Chunk服务器数量。
```
mfssetgoal -r 2 /opt/mfs/
```
![](/media/202304/2023-04-28_124619_9670070.5983994778527331.png)

## 注意：
启动顺序：
```
Master-->Metalogger-->Chunkserver-->Client
启动检查服务：
master:
systemctl status moosefs-master
logger:
systemctl status moosefs-metalogger
数据服务器：
systemctl status moosefs-chunkserver
WEB管理服务器:
systemctl status moosefs-cgiserv

```
关闭顺序：
```
Client-->Chunkserver-->Metalogger-->Master

停止服务：
数据服务器:
systemctl stop moosefs-chunkserver
日志服务器：
systemctl stop moosefs-metalogger
主服务器:
systemctl stop moosefs-master
```

## 参考 
```
https://blog.csdn.net/beeworkshop/article/details/106154168
https://blog.csdn.net/qq_43584691/article/details/117412019
https://moosefs.com/download/#current
```
## 报错恢复
```
##can't find metadata.mfs - try using option '-a'  #提示使用-a选项
[root@server4 ~]# mfsmetarestore -a #1.7以前的版本使用
mfsmetarestore has been removed in version 1.7, use mfsmaster -a instead  
[root@server4 ~]# mfsmaster -a #1.7以后的版本使用
#恢复完数据后，先关闭服务，然后重新开启就正常了。

```
## ChunkServer更换master主服务器，需要更改，删除：
```
If you are 100% sure that this chunkserver was connected to this specific master server you can remove this files:
/var/lib/mfs/chunkserverid.mfs
and
/mnt/[hdd mount point]/.metaid file.
I mean .metaid file from all hard disks defined in /etc/mfs/mfshdd.cfg file
```

![](/media/202309/2023-09-15_150852_6812770.011034772973874896.png)

## 尝试修改为 在同一台机器上做2个不同的服务
如果需要在相同的机器上运行2套不同的MooseFS服务，则需要使用不同的端口，以避免端口冲突。具体实现步骤如下：

在MooseFS的配置文件（通常为/etc/mfs/或/etc/mfs/mfsmaster.cfg/mfschunkserver.cfg）
中修改端口号。
对于mfsmaster.cfg文件，需要修改“port”属性的值；
对于mfschunkserver.cfg文件，需要修改“mfschunkserver.port”属性的值。
修改后应该确保两个服务的端口号不同。

分别启动两个服务，使用以下命令启动MooseFS服务：
```
$ mfsmaster start /etc/mfs/mfsmaster.cfg    # 启动第一套服务
$ mfschunkserver start /etc/mfs/mfschunkserver.cfg    # 启动第一套服务

$ mfsmaster start -a --pid-file=/var/run/mfsmaster2.pid /etc/mfs/mfsmaster2.cfg    # 启动第二套服务
$ mfschunkserver start -a --pid-file=/var/run/mfschunk2.pid /etc/mfs/mfschunkserver2.cfg    # 启动第二套服务
```
其中，第一行和第二行分别启动第一套服务的master节点和chunkserver节点，第三行和第四行则启动第二套服务的master节点和chunkserver节点。可以通过指定不同的配置文件路径和pid文件路径来启动不同的服务。

验证服务是否启动成功。可以通过以下命令查看服务日志，并检查端口号是否正确：
```
$ tail -f /var/log/mfs/mfsmaster.log
$ tail -f /var/log/mfs/mfschunkserver.log
```
以上是在Linux系统中，在相同机器上运行2个MooseFS服务的基本步骤，但具体实现可能根据操作系统版本或软件包安装方式略有区别。