이전 글
- Install Proxmox :
https://tech.chhanz.xyz/linux/2024/05/13/install-pve-8-2/ - Create Cluster :
https://tech.chhanz.xyz/linux/2024/05/31/pve-cluster
Ceph Cluster 배포
이전 글에 이어서 설치된 Proxmox 3대를 이용하여 Ceph Cluster 를 구성해보겠습니다.
테스트 구성도
- 테스트에 사용할 네트워크 정보
- vmbr0 : VM Network
- Cluster 및 CEPH Public Network :
20.20.20.0/24 - CEPH Cluster Network :
30.30.30.0/24
배포
PVE 관리 GUI > Datacenter > Ceph 메뉴를 선택하고 Install Ceph 를 선택합니다.
설치할 Ceph 버전을 Quincy 로 선택하고 Repository 를 No-Subscription 을 선택하였습니다.
Ceph 패키지를 설치를 수행합니다. Y 를 입력합니다.
일정 시간 이후로 Ceph 패키지가 설치가 완료된 것을 확인 할 수 있습니다.
패키지가 설치된 이후, Ceph 에서 사용할 네트워크를 지정합니다.
위와 같이 pve1 노드에 Ceph 기본 설치가 완료되었습니다.
pve1 노드만 설치된 대시보드의 모습입니다.
Ceph MON 을 추가합니다. 각 노드 > Ceph > Monitor 메뉴를 이용합니다.
pve2 를 Ceph MON 으로 추가하는 과정으로 Monitor 이름을 지정합니다.
mon.pve2 가 추가된 것을 확인 할 수 있습니다.
마지막으로 pve3 도 Ceph MON 을 추가합니다.
pve2 노드를 Ceph MGR 로 추가합니다.
위 과정을 통해 pve2, pve3 노드의 Ceph MGR 이 추가되었습니다.
Ceph OSD 생성을 위해 각 노드 > Ceph > OSD 메뉴를 이용합니다.
Create : OSD 를 선택하면 위와 같은 화면이 나오며 OSD 에 사용할 디스크을 지정합니다.
추가된 OSD 를 확인 할 수 있습니다.
나머지 OSD 도 각각 추가합니다. 각 노드별로 두개의 디스크를 사용할 것입니다.
OSD 가 모두 추가가 되면 위와 같이 Ceph 가 정상적으로 구성이 되고 사용할 준비가 되었습니다.
Ceph Pool 을 생성하여 pve-cluster 에서 사용 할 vmpool 을 생성합니다.
생성이 완료된 것을 볼 수 있습니다. 또한 각 노드에서 vmpool 을 동시에 사용 할 수 있습니다.
생성된 Ceph Pool 은 RBD 유형이고 Ceph Pool 을 사용하면 pve-cluster 에서 손쉽게 라이브 마이그레이션을할 수 있도록
지원할 수 있습니다.
Command
아래와 같이 기존의 Ceph 명령어로도 Ceph 정보를 확인 할 수 있습니다.
root@pve1:~# ceph -s
cluster:
id: 5d4305ee-5756-40e7-b2fd-04e0eb19a4d3
health: HEALTH_OK
services:
mon: 3 daemons, quorum pve1,pve2,pve3 (age 2m)
mgr: pve1(active, since 2m), standbys: pve2, pve3
osd: 6 osds: 6 up (since 8s), 6 in (since 13m)
data:
pools: 1 pools, 1 pgs
objects: 2 objects, 577 KiB
usage: 1.7 GiB used, 598 GiB / 600 GiB avail
pgs: 100.000% pgs not active
1 remapped+peering