🟥Proxmox VE + Ceph 集群搭建
type
status
date
slug
summary
tags
category
icon
password
Proxmox VE (PVE) 是一款开源的虚拟化平台，它基于 KVM (Kernel-based Virtual Machine) 和 LXC (Linux Containers) 技术，支持虚拟机和容器的运行。PVE 还提供高可用集群管理、软件定义存储、备份和恢复以及网络管理等企业级功能。
PVE 搭建步骤概览：
1.下载 ISO 镜像，按照步骤安装，选择磁盘，关闭 SWAP，设置 FQDN 和固定 IP
2.安装完成，使用 https://ip:8006 登录管理界面
3.修改网络配置，修改 hosts，添加所有节点的 IP 地址
4.修改软件源，安装更新，安装 Ceph
5.创建集群，加入集群
6.配置 ACME 生成 HTTPS 证书（可选）
7.初始化 Ceph，按照磁盘添加 OSD，为每台主机添加 mon 和 mgr，创建存储池
8.配置 CephFS
9.上传系统安装镜像，安装虚拟机，放置磁盘到 Ceph 存储池
10.配置 HA
1. 测试环境规划
如果要搭建高可用集群，官方的推荐是至少 3 节点，这里使用 3 台虚拟机进行测试，后续也可以继续添加新的节点到集群。使用 2 节点搭建集群也可以部署 Ceph 集群，执行虚拟机迁移也正常。但是如果有节点离线，Ceph 直接不可用。实际使用中请保证至少3节点,最多32个节点。
1.1 硬盘分配
50G 的盘用于安装操作系统，在实际的环境中，应该使用两块 SSD 做成 RAID1 以确保数据安全。
512G 的盘作为数据存储，可以按照实际需求添加。
如果打算使用 Ceph 分布式存储，这些存储盘不要做 RAID，而是直通到系统，由 Ceph 统一管理。
1.2 网络规划
管理网络：192.168.1.0/24
集群网络：192.168.10.0/24
Ceph存储网络：192.168.20.0/24
根据自己实际需要和网卡数量，自行规划IP
集群和存储网络尽可能使用 10Gbps 及以上速率的网卡。
2. 系统配置
和普通Linux系统安装步骤没太大差别，不再赘述，主要配置好固定IP和FQDN。
系统安装完成，使用控制台提供的地址登录：
https://ip地址:8006，用户名 root，密码，接下来需要完成一些初始配置。2.1 修改网络配置
在网页选到对应的节点，
系统->网络菜单，创建 Linux Bridge，根据规划，修改完成如下：
点击应用配置后更改生效。
然后在系统->主机菜单中修改 hosts：
所有节点hosts都要修改，如果有条件可自建一个DNS服务器，每个节点DNS地址改为自建DNS地址，上述配置在DNS添加。
3. 配置集群
在
数据中心->集群中点击创建集群：
创建完成后，点击
加入信息，复制加入信息，登录其他节点，在数据中心->集群中点击加入集群，粘贴刚才复制的内容后，按照提示填入密码，选择正确的集群网络：
加入完成后，在任意节点的网页都可以看到所有节点，各个节点会配置 ssh 密钥互相免密码登录，集群和虚拟机的配置文件
/etc/pve 会自动同步。
集群内节点要求时间同步一致，可以使用ntpdate ntp.ntsc.ac.cn同步时间。4. ceph安装配置
数据中心->ceph 安装ceph，每个节点都要安装
安装完成后，在
数据中心->Ceph 中点击配置 Ceph在节点的
Ceph->监视器，为其他节点也添加 Monitor 和 Manager在节点的
Ceph->OSD 菜单中，为每个磁盘创建 OSD：
OSD 配置完成后，需要配置资源池才可以使用 OSD 的容量。在节点的
Ceph->资源池 菜单中配置
不过这个存储只能用于存储虚拟机磁盘文件，如果是需要存储 ISO 镜像或备份文件，则需要创建 CephFS。
在节点的 Ceph->CephFS->元数据服务器，为每台主机创建，然后创建 CephFS
5.启用HA
创建好虚拟机，磁盘需要放到资源池上，如果不是，需要先迁移。
在数据中心->HA->资源添加虚拟机：
等待状态变成 started 后，HA 就会启用。
如果检测到虚拟机所在的节点异常，则会在另外的节点重启虚拟机，一般整个故障转移过程在 120 秒内完成。
注：
因为国内网络的关系，某些时候安装无法完成，可以修改为国内源：
去除未订阅提示