g存储架构演进：从本地盘到分布式存储系统

面向 SRE / 架构师的存储选型与迁移实战指南 覆盖本地存储、网络存储（NAS/SAN）、分布式文件系统与对象存储 适用于高可用、高性能、云原生场景

目录

1. 存储架构演进路线

A[单机本地盘] --> B[NAS / SAN]
B --> C[分布式文件系统]
C --> D[对象存储 +

💡 核心趋势：从“容量为中心” → “性能+弹性+数据服务为中心”

2. 本地存储（Local Disk）

2.1 技术栈

• 文件系统：ext4（通用）、XFS（大文件）、Btrfs（快照）
• 卷管理：LVM（逻辑卷）、MD RAID（软 RAID）
• I/O 调度：mq-deadline（SSD）、bfq（HDD）

2.2 优势与局限

2.3 优化建议

# ext4 挂载优化（Web 服务器）
mount -o noatime,nodiratime,barrier=0 /dev/sdb1 /data

# XFS 大文件优化（视频存储）
mkfs.xfs -f -d agcount=32 /dev/nvme0n1
mount -o noatime,logbufs=8,logbsize=256k /dev/nvme0n1 /video

⚠️ barrier=0 仅在带电容/电池的 RAID 卡上安全使用。

3. 网络附加存储（NAS / SAN）

3.1 NAS（Network Attached Storage）

• 协议：NFS（Linux）、SMB/CIFS（Windows）
• 特点：文件级共享，POSIX 兼容
• 典型场景：共享配置、用户家目录、CI/CD 工作区

NFS 调优示例（/etc/fstab）

# 高性能 NFS 客户端挂载
nfs-server:/share /mnt/nfs nfs rw,hard,intr,rsize=1048576,wsize=1048576,vers=4.2,proto=tcp,timeo=600,retrans=2 0 0

3.2 SAN（Storage Area Network）

• 协议：iSCSI（IP 网络）、Fibre Channel（专用光纤）
• 特点：块级设备，像本地盘一样使用
• 典型场景：Oracle RAC、VMware vSphere

iSCSI 连接示例

# 发现目标
iscsiadm -m discovery -t st -p 10.0.0.100
# 登录
iscsiadm -m node -T iqn.2024-01.com.storage:disk1 -p 10.0.0.100 --login
# 格式化为 ext4
mkfs.ext4 /dev/sdc

3.3 NAS vs SAN 对比

4. 分布式文件系统

4.1 核心特性

• 横向扩展：通过增加节点提升容量与性能
• 数据冗余：多副本 or 纠删码（Erasure Coding）
• 强一致性 or 最终一致性

4.2 主流方案对比

4.3 CephFS 部署简例（生产级）

# 1. 部署 Ceph 集群（monitor + OSD）
ceph orch apply mon "host1,host2,host3"
ceph orch apply osd --all-available-devices

# 2. 创建 CephFS
ceph fs volume create myfs
ceph fs subvolumegroup create myfs webgroup

# 3. 客户端挂载（内核驱动）
mount -t ceph 10.0.0.10:6789,10.0.0.11:6789,10.0.0.12:6789:/ /mnt/cephfs \
  -o name=admin,secretfile=/etc/ceph/admin.secret,mds_namespace=myfs

💡 Ceph 最佳实践：

• 使用 SSD 作为 OSD 日志/WAL
• 设置 pg_num = (OSD 数 × 100) / 副本数
• 启用 bluestore 替代 filestore

5. 对象存储（Object Storage）

5.1 核心概念

• 扁平命名空间：bucket/object-key
• 最终一致性（多数实现）
• HTTP/REST API：PUT/GET/DELETE
• 元数据自定义：x-amz-meta-*

5.2 主流方案

5.3 MinIO 快速部署（Docker）

docker run -d \
  -p 9000:9000 \
  -p 9001:9001 \
  -v /data/minio:/data \
  -e "MINIO_ROOT_USER=admin" \
  -e "MINIO_ROOT_PASSWORD=securepassword" \
  minio/minio server /data --console-address ":9001"

5.4 应用集成（Python 示例）

from minio import Minio

client = Minio(
    "minio.example.com:9000",
    access_key="admin",
    secret_key="securepassword",
    secure=True
)

# 上传文件
client.fput_object("web-assets", "logo.png", "/local/logo.png")

# 生成预签名 URL
url = client.presigned_get_object("web-assets", "logo.png", expires=timedelta(hours=1))

6. 场景化选型建议

✅ 黄金法则：

• 热数据 → 本地 SSD / 分布式块存储
• 温数据 → 分布式文件系统
• 冷数据 → 对象存储（标准/低频/归档）

7. 迁移策略与最佳实践

7.1 迁移路径

A[本地盘] -->|rsync + 双写| B[NAS]
B -->|rclone / s3cmd| C[对象存储]
A -->|Rook 导入| D[Ceph RBD]

7.2 关键步骤

1. 评估数据特征：大小分布、访问频率、一致性要求

2. 灰度切换：双写 → 切读 → 切写 → 下线旧存储

3. 校验数据一致性

   # 对象存储校验
   rclone check /local/path remote:bucket --size-only

1. 监控迁移过程：带宽、错误率、应用延迟

7.3 避坑指南

• ❌ 不要直接 mv 大目录到 NFS（会锁住整个目录）
• ✅ 使用 rsync -aHAXx --progress 分批次迁移
• ❌ 避免在业务高峰迁移
• ✅ 迁移后验证 POSIX 权限（NFS/CephFS）

8. 监控与故障排查

8.1 核心监控指标

8.2 常见故障

✅ 最后总结：

• 没有“最好”的存储，只有“最合适”的存储
• 混合架构是常态：本地缓存 + 分布式持久化
• 数据生命周期管理 是降低成本的关键