본문으로 건너뛰기

[OpenShift] Matchbox 를 이용하여 OpenShift 배포서버 구성

OpenShift/OKD 4 설치를 위해 matchbox를 Podman 컨테이너로 실행하고, MAC 주소별 groups와 profiles로 Fedora CoreOS 부팅 파일과 ignition을 iPXE로 제공하는 방법을 정리합니다.

요약

  • matchbox는 MAC 주소 기반으로 OpenShift 설치에 필요한 ignition, kernel, initramfs, rootfs를 제공하는 오픈소스 솔루션입니다.
  • cert-gen으로 인증서를 만든 뒤 matchbox 컨테이너를 Podman으로 실행하고 curl 127.0.0.1:8080으로 동작을 확인합니다.
  • groups에 노드 MAC과 profile을 매핑하고 dhcpd.conf의 filename을 boot.ipxe로 지정하면 PXE 부팅으로 설치가 자동 진행됩니다.

테스트 환경 matchbox v0.8.0, Fedora CoreOS 32.20201018.3.0

[OpenShift] Matchbox 를 이용하여 OpenShift 배포서버 구성

OpenShift / OKD 4 version 이 되면서 일반 Linux (RHEL/CentOS) 가 아닌 CoreOS (RHCOS/Fedora CoreOS) 를 사용하면서 OpenShift 설치 방법이 많이 달라졌습니다.
OpenShift 설치를 위해 ignition, kernel image, initramfs, rootfs 등의 배포 관리가 필요합니다.

OpenShift Document 에서는 httpd 및 pxe 를 이용하여 배포를 하도록 하지만 matchbox 를 이용하면 향후 운영에도 편리한 배포가 가능합니다.

matchbox 란?

matchbox 의 주요 기능은 MAC 주소 기반으로 OpenShift 설치에 필요한 파일을 제공하는 오픈소스 솔루션입니다.

matchbox 설치

설치는 아래와 같이 컨테이너를 이용하여 설치를 진행합니다.
이번 테스트는 DHCP 서버에 matchbox 를 같이 구동하여 DHCP 에서 IP 할당이 되면 배포에 필요한 파일을 matchbox 에서 가져오도록 구현하였습니다.

Podman 설치

[root@infra ~]# yum -y install podman

matchbox 설치

[root@infra ~]# wget https://github.com/poseidon/matchbox/releases/download/v0.8.0/matchbox-v0.8.0-linux-amd64.tar.gz
[root@infra ~]# tar xzvf matchbox-v0.8.0-linux-amd64.tar.gz

참고) version 은 차이가 있을수도 있습니다.
최신 버전 확인 : https://matchbox.psdn.io/

[root@infra ~]# mkdir /etc/matchbox
[root@infra ~]# export SAN=DNS.1:$(hostname),IP.1:10.50.2.52

[root@infra ~]# cd /root/matchbox-v0.8.0-linux-amd64/scripts/tls
[root@infra tls]# ./cert-gen
...
            X509v3 Subject Alternative Name:
                DNS:dhcp.okd.chhanz.com, IP Address:10.50.2.52
...
[root@infra tls]# cp ca.crt server.crt server.key /etc/matchbox

위와 같이 배포 서버 인증서를 생성합니다. cert-gen 라는 인증서 스크립트를 제공하고 있으니 사용하면 됩니다.
https://github.com/poseidon/matchbox/blob/master/docs/deployment.md#installation

matchbox 실행

[root@infra ~]# podman run --net=host -d --rm -v /var/lib/matchbox:/var/lib/matchbox \
-v /etc/matchbox:/etc/matchbox quay.io/poseidon/matchbox:latest \
-address=0.0.0.0:8080 -rpc-address=0.0.0.0:8081 -log-level=debug

[root@infra ~]# curl 127.0.0.1:8080
matchbox

위와 같이 curl 을 이용하여 matchbox 라고 나오면 정상적으로 실행이 된 것 입니다.

OpenShift 배포 파일 추가

아래 경로에 ignition, kernel image, initramfs, rootfs 등을 추가하고 profile 을 작성합니다.

[root@infra matchbox]# pwd
/var/lib/matchbox
[root@infra matchbox]# tree
.
|-- assets
|   |-- fedora-coreos-32.20201018.3.0-live-initramfs.x86_64.img
|   |-- fedora-coreos-32.20201018.3.0-live-kernel-x86_64
|   |-- fedora-coreos-32.20201018.3.0-live-rootfs.x86_64.img
|   |-- fedora-coreos-32.20201018.3.0-metal.x86_64.raw.xz
|   |-- fedora-coreos-32.20201018.3.0-metal.x86_64.raw.xz.sig
|   |-- fedora-coreos-32.20201104.3.0-live-initramfs.x86_64.img
|   |-- fedora-coreos-32.20201104.3.0-live-kernel-x86_64
|   |-- fedora-coreos-32.20201104.3.0-live-rootfs.x86_64.img
|   |-- fedora-coreos-32.20201104.3.0-metal.x86_64.raw.xz.sig
|-- groups
|   |-- bootstrap.json
|   |-- master1.json
|   |-- master2.json
|   |-- master3.json
|   |-- worker.json
|-- ignition
|   |-- bootstrap.ign
|   |-- master.ign
|   |-- worker.ign
|-- profiles
    |-- bootstrap.json
    |-- master.json
    |-- worker.json

위와 같이 assets 경로에는 설치에 필요한 initramfs, kernel, rootfs 를 위치합니다.

[root@infra matchbox]# cat groups/bootstrap.json 
{
  "id": "bootstrap-1",
  "name": "bootstrap-1",
  "profile": "bootstrap",
  "selector": {
    "mac": "00:30:57:81:c9:10"
  }
}
[root@infra matchbox]# cat groups/master1.json   
{
  "id": "master-1",
  "name": "master-1",
  "profile": "master",
  "selector": {
    "mac": "00:30:57:81:c9:11"
  }
}
[root@infra matchbox]#

위와 같이 groups 은 각 node 의 MAC 주소를 작성하고 어떤 profile 을 사용할지 지정합니다.

[root@infra matchbox]# ls -la ignition/
total 300
drwxr-xr-x 2 root root     63 Nov 30 16:34 .
drwxr-xr-x 6 root root     66 Jan 26 15:55 ..
-rw-r----- 1 root root 295606 Dec  1 14:17 bootstrap.ign
-rw-r----- 1 root root   1716 Dec  1 14:17 master.ign
-rw-r----- 1 root root   1716 Dec  1 14:17 worker.ign
[root@infra matchbox]#

ignition 파일은 openshift-install 에서 생성된 ignition 파일을 위치합니다.

[root@infra matchbox]# cat profiles/master.json    
{
    "id": "master",
    "name": "master",
    "ignition_id": "master.ign",
    "boot": {
        "kernel": "/assets/fedora-coreos-32.20201018.3.0-live-kernel-x86_64",
        "initrd": [
            "/assets/fedora-coreos-32.20201018.3.0-live-initramfs.x86_64.img"
        ],
        "args": [
            "coreos.inst=yes",
            "coreos.inst.install_dev=vda",
            "coreos.live.rootfs_url=http://infra.okd.chhanz.com:8080/assets/fedora-coreos-32.20201018.3.0-live-rootfs.x86_64.img",
            "coreos.inst.ignition_url=http://infra.okd.chhanz.com:8080/ignition?mac=${mac:hexhyp}"
        ]
    }
}

위와 같이 MAC 주소에 맞는 profile을 matchbox 가 자동으로 iPXE 를 이용하여 제공합니다.

matchbox 구동

아래와 같이 PXE Boot 를 통해 해당 MAC 을 사용하는 Node 는 profile 에 설정 되어 있는 boot arg 를 이용하여 boot 를 진행하고 자동으로 OpenShift 설치가 진행됩니다.

matchbox log

...
time="2020-12-01T05:51:08Z" level=info msg="HTTP GET /boot.ipxe"
time="2020-12-01T05:51:08Z" level=info msg="HTTP GET /ipxe?uuid=65136bfd-fd35-4289-b6f1-acec191e20f4&mac=00-30-57-81-c9-14&domain=chhanz.com&hostname=w1.okd.chhanz.com&serial="
time="2020-12-01T05:51:08Z" level=debug msg="Matched an iPXE config" labels="map[domain:chhanz.com hostname:w1.okd.chhanz.com mac:00:30:57:81:c9:14 serial: uuid:65136bfd-fd35-4289-b6f1-acec191e20f4]" profile=worker
...

dhcpd 서버 설정

dhcpd 를 이용하여 ipxe boot 제공 방법은 아래와 같이 dhcpd.conf 에 내용을 추가하면 됩니다.

...
next-server 20.0.0.1;
filename "http://20.0.0.1:8080/boot.ipxe";  << matchbox address
...

참고 자료

자주 묻는 질문

matchbox는 OpenShift 설치에서 어떤 역할을 하나요?

MAC 주소를 기준으로 각 노드에 맞는 profile의 kernel, initramfs, rootfs, ignition을 iPXE로 제공합니다. 본문은 httpd와 pxe로 배포하는 방식보다 향후 운영에도 편리하다고 설명합니다.

matchbox에서 노드별로 다른 설정을 주려면 어떻게 하나요?

groups 디렉토리의 JSON에 selector의 mac으로 노드 MAC 주소를 적고 사용할 profile을 지정합니다. profile에는 kernel, initrd, boot args와 ignition_id를 정의합니다.

DHCP 서버에서 matchbox로 iPXE 부팅을 연결하려면 어떻게 하나요?

dhcpd.conf에 next-server를 추가하고 filename에 matchbox의 boot.ipxe 주소(예: http://20.0.0.1:8080/boot.ipxe)를 지정합니다.

matchbox가 정상 실행됐는지 어떻게 확인하나요?

curl 127.0.0.1:8080을 실행해 matchbox라는 응답이 나오면 정상입니다.