TrueNAS 企业级的开源磁盘柜标准配置

Posted 2022-10-27

1.简介

在”​​LSI SAS 2208 阵列卡刷 IT 模式​​“一文中有提到

对于需要大容量存储但又没有足够预算费用并且对功能和稳定性有一定要求的情况，FreeNAS（现在改名叫 TrueNAS）应该是不二选择。

专业的磁盘柜除了初始的采购价格昂贵（综合考虑主控性能、缓存数量、接口配置、功能要求等），后续的配件价格成本也不低，磁盘柜的磁盘远比市场上的磁盘价格高（同容量和性能情况下差不多2~3倍）。如果企业存在以下需求且具备一定的管理运维能力那么TrueNAS 也是个不错的选择。

• 采用品牌服务器资源，确保硬件稳定可靠（包括固件驱动支持）
• 大容量存储需求需要配置3.5寸盘的接口，正常情况下2U的标准服务器可以配置12块3.5寸硬盘位+2个2.5寸硬盘位
• TrueNAS 采用FreeBSD内核，要确保硬件（阵列卡、网卡、HBA卡等）在兼容列表
• 阵列卡要支持多硬盘接管并确保支持IT（JBOD）管理模式
• 需要同时兼顾性能和存储空间可以采取3.5寸SATA硬盘（8T）+缓存盘（读或写）模式
• 阵列卡采用直通模式，无需通过阵列卡配置RAID，直接在TrueNAS 中配置ZFS-2的模式（相当于RAID6）
• TrueNAS 系统直接安装在U盘上（16或32G 容量），配置双U盘启动

2.安装配置

具体的安装过程可以参考官网教程 ​​​​https://www.truenas.com/docs/core/coretutorials/systemconfiguration/usingconfigurationbackups/​​ 安装完成后确保重启能正常进入系统。​

2.1.配置系统镜像

相当于针对启动U盘配置RAID1，这样即使单个的U盘出现硬件故障也可以不停业务现场更换。以下截图有源自旧版本的UI界面，但具体操作路径都类似。

1、系统--》启动环境--》启动池状态

2、Attach另一个U盘进来做启动池

3、选中成员磁盘，勾选《使用所有的磁盘空间》

4、保存后稍等片刻配置好镜像成功

如下图两个U盘都是ONLINE状态

3.SMB 网络共享配置

在 FreeNAS 功能中，有3类网络共享服务：iScsi、NFS 和 SMB。

 iscsi 是通过网络传输的块文件系统，通过系统的 iscsi 协议实现不同操作系统的磁盘共享（iscsi 硬盘在操作系统上显示为本地磁盘，初次使用需要按需求格式化磁盘，使用方式和本地磁盘一致）。当挂载 iscsi 磁盘的操作系统故障时，需要重新挂载到有 iscsi 服务的新系统上（要确保操作系统有对应的磁盘文件系统，例如 NTFS）。

NFS 主要用于 Linux 和 Unix 系统的共享访问（默认情况下 Windwos 无法读取文件内容），属于 文件共享系统（不依赖磁盘格式）。

SMB 通过 Samba 服务实现不同操作系统的文件访问（支持 Windows 、Linux和 Unix）。

3.1.功能目标

1、通过 FreeNAS 为多台 Windows 系统提供共享服务，共享数据存放到 FreeNAS 磁盘。

2、为不同的 Windows 系统配置单独的访问用户名和密码，确保访问安全。

3、不同的 Windows 系统配置不同大小的存储空间，例如 A 服务器配置2T，B 服务器配置3T。Windows 共享磁盘显示限额的大小。

4、授权访问的用户有共享磁盘的整体权限

3.2.共享服务配置

先按下图完成存储池的配置

3.3.创建用户

3.3. 添加Windows共享服务

打开 “共享”–“Windows 共享”-“共享 SMB” --“添加”

VFS 对象中的 ixnas 内容主要是用来添加 磁盘限额的功能。正常情况下磁盘限额的功能是操作系统底层文件系统的作用（如NTFS或XFS 文件系统）。这里通过添加 VFS 的内容增加限额配置

需要注意的是磁盘限额的内容是一次性生效，当在配置界面生效后，后续在配置界面的调整都无法覆盖之前的设置内容。只能通过命令行的方式调整和查看。

3.4.调整共享权限

完成基础的配置后启用 SMB 服务就可以在 Windows 系统中通过共享方式访问磁盘资源了。

3.5. 共享限额问题

1、共享限额启用后，后面不需要再进行编写参数，往后的添加的samba共享都会根据上一个创建共享配额使用。

以下的指令在freenas控制台输入。

zfs set userquota@bak_0_148=2T FreeNAS1_StorPool

这命令代表bak_0_148的共享设置限额为2T空间

zfs userspace FreeNAS1_storPool

这命令的意思是查看当前用户空间配置情况

4.版本升级

版本升级并重启后，如果出现识别不到本地硬盘只有安装系统的U盘的情况。

命令行进入：vi /boot/loader.conf 增加mrsas_load="YES" 保存后，reboot。再次登录发现在硬盘都回来了。

# Load ipmi module
ipmi_load="YES"
mrsas_load="YES"

5.存储 FC 配置

5.1. 目标描述

取消万兆网卡，直接使用 HBA 的 FC 接口。通过 FC 连接 SAN 存储交换机实现存储访问。实现存储和生产网络分离。

FC 的接口为 16G 速度比网卡的10G更快

5.2.驱动加载

内核驱动：/boot/kernel

普通驱动：/boot/modules

vi /boot/loader.conf
ocs_fc_load="YES"
hint.ocs_fc.0.initiator=0
hint.ocs_fc.0.target=1
hint.ocs_fc.1.initiator=0
hint.ocs_fc.1.target=1

ctladm port -o on ocs_fc0
ctladm port -o on ocs_fc1

​​https://www.freebsd.org/cgi/man.cgi?query=ocs_fc&sektion=4&manpath=freebsd-release-ports​​

6.参考资源

SMB 磁盘限额配置

​​https://www.ixsystems.com/community/threads/configuration-options-for-ixnas.75835/​​

​​https://www.ixsystems.com/community/threads/quota-storage-for-user.78505/​​

​​https://www.ixsystems.com/community/threads/methods-for-fine-tuning-samba-permissions.50739/​​

ZFS 文件系统管理指南

​​https://docs.oracle.com/cd/E19253-01/819-5461/gitfx/index.html​​