ZFS zpool学习文档

## 安装
```
/etc/apt/sources.list
国内源:

先看版本代码 ：
lsb_release -a

deb http://mirrors.aliyun.com/debian/ bookworm main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ bookworm main non-free contrib

deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main non-free contrib
deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main non-free contrib

deb http://mirrors.ustc.edu.cn/debian/ bookworm main non-free contrib
deb-src http://mirrors.ustc.edu.cn/debian/ bookworm main non-free contrib

deb https://mirrors.douban.com/debian/ bookworm main non-free contrib
deb-src https://mirrors.douban.com/debian/ bookworm main non-free contrib

deb http://mirrors.sohu.com/debian/ bookworm main non-free contrib
deb-src http://mirrors.sohu.com/debian/ bookworm main non-free contrib

deb http://mirrors.163.com/debian/ bookworm main non-free contrib
deb-src http://mirrors.163.com/debian/ bookworm main non-free contrib

deb http://mirrors.huaweicloud.com/debian/ bookworm main non-free contrib
deb-src http://mirrors.huaweicloud.com/debian/ bookworm main non-free contrib

apt install -y zfsutils-linux

```

## 创建
```
先查看id :
lrwxrwxrwx 1 root root  9 Jun 28 12:50 ata-QEMU_HARDDISK_QM00007 -> ../../sdb
lrwxrwxrwx 1 root root  9 Jun 28 12:50 ata-QEMU_HARDDISK_QM00009 -> ../../sdc
lrwxrwxrwx 1 root root  9 Jun 28 12:50 ata-QEMU_HARDDISK_QM00011 -> ../../sdd
lrwxrwxrwx 1 root root  9 Jun 28 12:50 ata-QEMU_HARDDISK_QM00013 -> ../../sde

通用挂载格式:
zpool create -f -m <mount-path> <pool-name> [pool-type] <disk> [pool-type] <disk> [spare <disk> log <disk> cache <disk>]

-f ：可选参数，表示强制创建，可避免EFI label error错误
-m ：可选参数，后接存储池挂载路径（mount-path），默认不指定时，挂载路径为/pool-name
pool-name ：表示为存储池名称
pool-type ：表示为存储池类型，默认不指定时为raidz，可选参数raidz、raidz1、raidz2、raidz3、mirror
raidz ： 类似raid0，无冗余
raidz1 ：类似raid5，可容忍一块磁盘损坏，至少需要三个磁盘，其中一个磁盘用于奇偶校验
raidz2 ：类似raid6，可容忍两块磁盘损坏，至少需要四个磁盘，其中两个磁盘用于奇偶校验
raidz3 ：类似raid7，可容忍三块硬盘损坏，至少需要五个磁盘，其中三个磁盘用于奇偶校验
mirror ：类似raid1或raid10，同一个镜像组可以容忍一半的磁盘损坏
disk ：表示组成存储池的磁盘列表，可以为磁盘名称（如sdb）、磁盘完整路径（如/dev/sdb）、磁盘id（可通过/dev/disk/by-id/查询，如ata-ST6000NM0115-1YZ110_ZAD1DR7M），为避免因磁盘盘符漂移导致zpool无法恢复，此处建议使用磁盘id方式指定
spare : 可选参数，后接磁盘列表，表示热备盘，当raid组出现磁盘故障，则会启用热备盘进行数据恢复
log ：可选参数，后接磁盘列表，表示日志盘，日志盘可以做成镜像用于数据冗余，可以使用独立的SSD作为日志盘（使用多块SSD时，日志信息会平均分散到所有SSD内），可以提升同步写入性能（如资料库）
cache ：可选参数，后接磁盘列表，表示缓存盘，缓存盘不可以做成镜像，但缓存盘只会存储额外的现有数据副本，并不会导致数据丢失，可以加速数据读取性能

注：一个raidzx存储池包括n个数据盘+m个校验盘（n+m太大会导致文件拆的很碎，官方建议n+m小于16），n通常建议是2的次方（如2/4/8），raidx存储池利用率=n/(n+m)

示例如下，使用10块磁盘创建raidz2存储池（8 + 2），配备一块热备盘
zpool create -f  zfspool raidz2 
/dev/mapper/mpathcu1 /dev/mapper/mpathbp1 /dev/mapper/mpathak1 
/dev/mapper/mpathch1 /dev/mapper/mpathbc1 /dev/mapper/mpathaw1 
/dev/mapper/mpathct1 /dev/mapper/mpathbo1 
spare /dev/mapper/mpathcj1

zpool create -f test raidz1  /dev/disk/by-id/ata-QEMU_HARDDISK_QM00007 /dev/disk/by-id/ata-QEMU_HARDDISK_QM00009 /dev/disk/by-id/ata-QEMU_HARDDISK_QM00011 /dev/disk/by-id/ata-QEMU_HARDDISK_QM00013 mountpoint /NAS

```

```
先建一个 3盘位的raidz：

zpool create -f test raidz  ata-QEMU_HARDDISK_QM00007 ata-QEMU_HARDDISK_QM00009 ata-QEMU_HARDDISK_QM00011 
状态 ：
--------------------------------------------
NAME   SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
test  14.5G  2.34G  12.2G        -         -     0%    16%  1.00x    ONLINE  -
--------------------------------------------
root@debiantest:/test# zpool  status
  pool: test
 state: ONLINE
config:

NAME                           STATE     READ WRITE CKSUM
        test                           ONLINE       0     0     0
          raidz1-0                     ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00007  ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00009  ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00011  ONLINE       0     0     0

再添加3个盘，做另外一个raidz加入test：
ata-QEMU_HARDDISK_QM00001
ata-QEMU_HARDDISK_QM00013
ata-QEMU_HARDDISK_QM00015

zpool add -f test raidz ata-QEMU_HARDDISK_QM00001 ata-QEMU_HARDDISK_QM00013 ata-QEMU_HARDDISK_QM00015

把一个ssd 分两个区 ： 一个用于logs， 一个用于cache:

lrwxrwxrwx 1 root root 10 Jul  2 11:20 ata-QEMU_HARDDISK_QM00002-part1 -> ../../sdb1
lrwxrwxrwx 1 root root 10 Jul  2 11:20 ata-QEMU_HARDDISK_QM00002-part2 -> ../../sdb2
给test添加 log缓存 , cache缓存  （缓存应该找一个ssd）
zpool  add  test log ata-QEMU_HARDDISK_QM00002-part1  cache ata-QEMU_HARDDISK_QM00002-part2

添加后的状态 ：
root@debiantest:/test# zpool status
  pool: test
 state: ONLINE
config:

NAME                               STATE     READ WRITE CKSUM
        test                               ONLINE       0     0     0
          raidz1-0                         ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00007      ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00009      ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00011      ONLINE       0     0     0
          raidz1-1                         ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00001      ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00013      ONLINE       0     0     0
            ata-QEMU_HARDDISK_QM00015      ONLINE       0     0     0
        logs
          ata-QEMU_HARDDISK_QM00002-part1  ONLINE       0     0     0
        cache
          ata-QEMU_HARDDISK_QM00002-part2  ONLINE       0     0     0

看zfs的 I/O 统计信息 ：
zpool iostat -v

```

## 参考文档
https://docs.oracle.com/cd/E24847_01/html/819-7065/gazsu.html#scrolltoc
https://blog.csdn.net/Micha_Lu/article/details/134720281
https://openzfs.github.io/openzfs-docs/Project%20and%20Community/FAQ.html#selecting-dev-names-when-creating-a-pool-linux

zfs 缓存：
https://zhuanlan.zhihu.com/p/699795506
zfs 建立 log 和cache缓存:
https://docs.oracle.com/cd/E19253-01/819-7065/6n91mt18p/index.html
zfs官方文档首页
https://docs.oracle.com/cd/E19253-01/819-7065/index.html