Linux学习
在Docker中运行一个Ubuntu桌面并安装Chrome浏览器
Docker云桌面(docker-headless)
Docker 部署Jupyter Notebook
知了 - 开源音乐服务器
NoVNC安装部署
Redis
怎样连接到Redis
MooseFS的简介、部署及应用
Moose部署日记
Moose-Fast部署
Moosefs快速启动
MooseSSD部署
新Moosefs部署详情:
Fedora36 Linux 手动设置IP
umount 提示 target is busy
Mysql慢日志
PVE相关
PVE迁移失败故障案例:ssh秘钥问题
qemu-img 转换镜像格式
glusterfs部署日记
Ceph部署记录
PVE下的新Ceph
查看网卡速率
Iscsi 部署安装
OTRS-znuny部署记录
CubeFs部署日记
CasaOS安装记录
VMware ESXi部署
PVE硬盘直通的几种方式
ZFS内存高占用ARC
ZFS zpool学习文档
PVE节点退出集群
Linux操作问题,疑难杂症记录
乱码不显示中文
如何清除磁盘上残留的分区信息:
iperf3 网络性能测试工具
电视直播配置
本文档使用 MrDoc 发布
-
+
首页
Moose部署日记
# 准备 ``` 192.168.1.211 moose1(101) 主机服务器 moosefs-master moosefs-cgi moosefs-cgiserv 192.168.1.212 moose2(121) 日志服务器 moosefs-metalogger 192.168.1.220 moose2x(127) 日志服务器 moosefs-metalogger 192.168.1.214 moose3(122) 数据服务器 硬盘直通: disk7 -- 677RT7KJT --sata2--sdb --已损坏 移除 disk9 -- Z5PYK0SAS --sata3--sdc移除 disk10-- X5F7AG1GS --sata4--sdd移除 直通参数: ls -la /dev/disk/by-id/ lrwxrwxrwx 1 root root 9 May 7 07:46 ata-TOSHIBA_DT01ACA050_X5F7AG1GS -> ../../sdd 已卸载 lrwxrwxrwx 1 root root 9 May 7 07:45 ata-TOSHIBA_DT01ACA050_Z5PYK0SAS -> ../../sdc 已卸载 lrwxrwxrwx 1 root root 9 May 7 07:45 ata-TOSHIBA_MQ01ACF050_677RT7KJT -> ../../sdb 已卸载 新: 4T1: wwn-0x5000c500ee0fabdc -> ../../sdb qm set 122 --sata2 /dev/disk/by-id/ata-TOSHIBA_MQ01ACF050_677RT7KJT 已损坏 qm set 122 --sata3 /dev/disk/by-id/ata-TOSHIBA_DT01ACA050_Z5PYK0SAS 已卸载 qm set 122 --sata4 /dev/disk/by-id/ata-TOSHIBA_DT01ACA050_X5F7AG1GS 已卸载 新:4T1 qm set 122 --sata2 /dev/disk/by-id/wwn-0x5000c500ee0fabdc mount: UUID=6cf873c7-408a-4697-b0ea-244be00b8ad9 /disk7 ext4 defaults 0 0 已卸载 UUID=54fff836-3932-47a7-b646-35827df8ee31 /disk9 ext4 defaults 0 0已卸载 UUID=9a94447b-486c-431f-a45c-a51a2c8aec5c /disk10 ext4 defaults 0 0已卸载 UUID=61e7522c-0165-474f-ac03-dca398ba64be /disk4T1 ext4 defaults 0 0 Chunk Server 192.168.1.216 moose4(123) 数据服务器 (剔除) Chunk Server 192.168.1.217 moose5(124) 数据服务器 (剔除) Chunk Server 192.168.1.218 moose6(125) 数据服务器 (剔除) 客户端 Chunk Server,client 192.168.1.219 MooseWeb moosefs-cgiserv WEB界面 192.168.1.3 PVE2 数据服务器 硬盘: disk1 -- 67A7CZCHT -- sdb disk2 -- WD-WXA1A15NK6J3 -- sdc disk3 -- 676ICPIAT -- sdd UUID=e21901dc-d150-40b3-b449-60c17b357d8f /disk1 ext4 defaults 0 0 UUID=5b7d8c2b-2e67-4481-bb70-fe5569f9c725 /disk2 ext4 defaults 0 0 UUID=132797cb-8f38-42c5-a9c4-0ffb4f208f60 /disk3 ext4 defaults 0 0 192.168.1.5 PVE5 数据服务器 硬盘: disk11--6394 -- sdc disk4 --677JCTBOT --sde disk5 -- 677RT7k6T --sdd UUID=6db5d36b-07cc-46c9-a244-3af54098d870 /disk11 ext4 defaults 0 0 UUID=261539c6-8ceb-47bf-ac0b-eb1cb41ff019 /disk5 ext4 defaults 0 0 UUID=1fd838a9-116d-4cb8-81ff-61c577183317 /disk4 ext4 defaults 0 0 192.168.1.7 PVEbackup 数据服务器 disk6 sdb X UUID="9088a8f9-a917-4891-adb8-e2be6a3ef4c8" 临时 ----保留 disk8 sdc X UUID="80388e42-6d1c-4fbd-b735-194364a37296" ---做 pvebackup磁盘 disk14 sdd UUID="9764de87-3c2b-48d1-9570-e87b7891cdb2" disk13 sde UUID="60c4f68f-7c1d-4271-912c-a4c207f3fb0e" UUID=60c4f68f-7c1d-4271-912c-a4c207f3fb0e /disk13 ext4 defaults 0 0 UUID=9764de87-3c2b-48d1-9570-e87b7891cdb2 /disk14 ext4 defaults 0 0 ``` ``` master主机(元数据服务器) moose1 192.168.1.211 ``` ``` chunkserver(数据存储服务器) 192.168.1.212 moose2 192.168.1.214 moose3 192.168.1.216 moose4 ``` ## 配置hosts解析: ``` vim /etc/hosts 192.168.1.211 moose1 192.168.1.212 moose2 192.168.1.214 moose3 192.168.1.216 moose4 192.168.1.217 moose5 192.168.1.218 moose6 192.168.1.5 PVE5 192.168.1.3 PVE2 192.168.1.4 PVE3 ``` ## 打开时间同步 ``` systemctl enable --now chronyd.service 查看: timedatectl status ``` 官网下载页面: ``` https://moosefs.com/download/#current ``` ## 安装 master: ``` 在192.168.1.211,moose1 安装 curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值 curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo //添加适当的库条目 yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y 启动 master systemctl start moosefs-master && systemctl enable moosefs-master 移到了192.168.1.219上: 启动moosefs-cgiserv(web管理) systemctl start moosefs-cgiserv && systemctl enable moosefs-cgiserv ``` 此时已经可以打开web界面: ``` http://192.168.1.211:9425/ ``` ## 安装 MetalLogger: ``` 在192.168.1.212,moose2安装 curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值 curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo //添加适当的库条目 yum install moosefs-metalogger 修改配置文件: vim /etc/mfs/mfsmetalogger.cfg MASTER_HOST = 172.16.10.21 //地址指向主服务器 启动服务 systemctl start moosefs-metalogger systemctl enable moosefs-metalogger netstat -ntap | grep mfs ``` ## 安装Chunk Server ``` 在 192.168.1.214 ,192.168.1.214 moose3,moose4 curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo yum install moosefs-chunkserver 修改mfschunkserver.cfg vim /etc/mfs/mfschunkserver.cfg MASTER_HOST = 192.168.1.211 //在配置文件中修改,将地址指向主服务器 (chunk server上全部设置)设置一个挂载磁盘地址,后续将磁盘挂载在这 mkdir /disk chmod 777 /disk 修改mfshdd.cfg , 这里是配置挂载共享目录的地方 vim /etc/mfs/mfshdd.cfg /disk 添加需要挂载目录 授权给mfs账号读写权限 chown -R mfs:mfs /disk 启动服务 systemctl start moosefs-chunkserver systemctl enable moosefs-chunkserver ``` ## 安装client ``` 在 192.168.1.218 Moose6 上安装 yum -y install moosefs-client #加载fuse模块到内核 modprobe fuse mkdir /mfs-test mkdir /mfs-meta #挂载根目录 mfsmount /mfsdata -H 192.168.1.211 //挂载,地址为master地址 #挂载元数据日志 mfsmount -m /mfs-meta -H 元数据挂载成功够不会在 df -h 中显示,但是,挂载点会生成子目录:sustained 和 trash。 ``` ### 设置"回收站"功能 trashed files ``` 查看 回收站天数: [root@Moose6 usr]# mfsgettrashtime -h /mfsdata /mfsdata: 86400 #86400秒=1天 这是回收站天数: [root@Moose6 usr]# mfssettrashtime 10000 /mfsdata /mfsdata: 10000 挂载 回收站空间: mfsmount -m /mfstrash -H 192.168.1.211 ``` ## 常用操作介绍 mfsgetgoal命令用来查询文件被复制的份数,利用-r命令可以对整个目录进行递归,goal是指文件被复制的份数。 ``` mfsgetgoal -r /opt/mfs/ ``` ![](/media/202304/2023-04-28_124455_7140350.283347290962768.png) mfssetgoal命令同来设置文件被复制的份数,生产环境中Chunk节点数量应至少大于2,文件副本数量小于等于Chunk服务器数量。 ``` mfssetgoal -r 2 /opt/mfs/ ``` ![](/media/202304/2023-04-28_124619_9670070.5983994778527331.png) ## 注意: 启动顺序: ``` Master-->Metalogger-->Chunkserver-->Client 启动检查服务: master: systemctl status moosefs-master logger: systemctl status moosefs-metalogger 数据服务器: systemctl status moosefs-chunkserver WEB管理服务器: systemctl status moosefs-cgiserv ``` 关闭顺序: ``` Client-->Chunkserver-->Metalogger-->Master 停止服务: 数据服务器: systemctl stop moosefs-chunkserver 日志服务器: systemctl stop moosefs-metalogger 主服务器: systemctl stop moosefs-master ``` ## 参考 ``` https://blog.csdn.net/beeworkshop/article/details/106154168 https://blog.csdn.net/qq_43584691/article/details/117412019 https://moosefs.com/download/#current ``` ## 报错恢复 ``` ##can't find metadata.mfs - try using option '-a' #提示使用-a选项 [root@server4 ~]# mfsmetarestore -a #1.7以前的版本使用 mfsmetarestore has been removed in version 1.7, use mfsmaster -a instead [root@server4 ~]# mfsmaster -a #1.7以后的版本使用 #恢复完数据后,先关闭服务,然后重新开启就正常了。 ``` ## ChunkServer更换master主服务器,需要更改,删除: ``` If you are 100% sure that this chunkserver was connected to this specific master server you can remove this files: /var/lib/mfs/chunkserverid.mfs and /mnt/[hdd mount point]/.metaid file. I mean .metaid file from all hard disks defined in /etc/mfs/mfshdd.cfg file ``` ![](/media/202309/2023-09-15_150852_6812770.011034772973874896.png) ## 尝试修改为 在同一台机器上做2个不同的服务 如果需要在相同的机器上运行2套不同的MooseFS服务,则需要使用不同的端口,以避免端口冲突。具体实现步骤如下: 在MooseFS的配置文件(通常为/etc/mfs/或/etc/mfs/mfsmaster.cfg/mfschunkserver.cfg) 中修改端口号。 对于mfsmaster.cfg文件,需要修改“port”属性的值; 对于mfschunkserver.cfg文件,需要修改“mfschunkserver.port”属性的值。 修改后应该确保两个服务的端口号不同。 分别启动两个服务,使用以下命令启动MooseFS服务: ``` $ mfsmaster start /etc/mfs/mfsmaster.cfg # 启动第一套服务 $ mfschunkserver start /etc/mfs/mfschunkserver.cfg # 启动第一套服务 $ mfsmaster start -a --pid-file=/var/run/mfsmaster2.pid /etc/mfs/mfsmaster2.cfg # 启动第二套服务 $ mfschunkserver start -a --pid-file=/var/run/mfschunk2.pid /etc/mfs/mfschunkserver2.cfg # 启动第二套服务 ``` 其中,第一行和第二行分别启动第一套服务的master节点和chunkserver节点,第三行和第四行则启动第二套服务的master节点和chunkserver节点。可以通过指定不同的配置文件路径和pid文件路径来启动不同的服务。 验证服务是否启动成功。可以通过以下命令查看服务日志,并检查端口号是否正确: ``` $ tail -f /var/log/mfs/mfsmaster.log $ tail -f /var/log/mfs/mfschunkserver.log ``` 以上是在Linux系统中,在相同机器上运行2个MooseFS服务的基本步骤,但具体实现可能根据操作系统版本或软件包安装方式略有区别。
dz
2023年9月15日 15:08
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码