[Kubernetes] Ansible 으로 k3s 배포하기 (on VMware)
Ansible Playbook(ansible.fast-k3s)으로 vCenter 템플릿에서 VM을 프로비저닝하고 k3s를 자동 배포해 Kubernetes 테스트 환경을 만드는 방법을 소개합니다.
요약
- ansible.fast-k3s Playbook으로 vCenter 템플릿에서 VM을 만들고 k3s까지 한 번에 배포해 테스트 환경을 구성할 수 있습니다.
vm_information.yml에 vCenter, VM 템플릿, 네트워크 정보를 입력하고ansible-playbook -i inventory deploy-k3s.yml을 실행합니다.-t vm또는-t k3s태그로 VM 생성이나 k3s 설치만 따로 실행할 수 있습니다.
테스트 환경 vCenter 6.7, CentOS 7.7 Minimal 템플릿, Ansible 2.9.6, k3s v1.18.8+k3s1
Ansible 을 이용하여 k3s 배포해보자

k3s 란?
Rancher 에서 IoT / Edge / ARM 등의 가벼운 시스템에 Kubernetes 서비스를 올리기 위해 만들어진 Lightweight Kubernetes 입니다.
Ansible.fast-k3s 란?
저는 평소엔 사내 교육이나 테스트를 위해 주로 Minikube 를 이용하였습니다.
Minikube 도 Linux laptop 인지 Windows (version) laptop 인지 Mac 인지 확인해서 설치를 가이드 해야되는 불편함이 있었습니다.
그래서 VMware (vCenter) 에 생성되어 있는 Template 를 이용하여 자동으로 Kubernetes 테스트 환경을 만드는 Playbook 을 만들었습니다.
Requirements
현재는 VMware 만 VM Provisioning 하도록 만들어져 있습니다.
향후에 필요하다면 KVM / RHV / oVirt 등 개발 예정입니다.
미지원하는 Hypervisor 는 k3sTag를 이용해서 k3s 만 배포하면 됩니다.
- vCenter 6.7 (Tested)
- CentOS 7.7 Minimal Install Template
- Static IP
- Ansible >= 2.9.6 (Tested)
- https://github.com/chhanz/ansible.fast-k3s
Playbook 사용 방법
- Ansible 로 VMware 통제하기 위해서는 아래와 같이 Python module 을 설치 해야됩니다.
- pyvmomi >= 7.0
$ pip install -r requirements.txt
- pyvmomi >= 7.0
- git clone 및 variable 수정
$ git clone https://github.com/chhanz/ansible.fast-k3s.git
$ cd ansible.fast-k3s
$ vi vm_information.yml
---
### variable information 'vcenter'
vcenter_server: "vc.changeme.com"
vcenter_user: "Administrator@vsphere.local"
vcenter_pass: "password"
datacenter_name: "Datacenter"
cluster_name: "Cluster"
datastore_name: "Datastore-1"
vm_network: "VM Network"
### variable 'virtual machine"
vm_template: "c7.7-template"
vm_netmask: "255.255.255.0"
vm_gateway: "192.168.0.1"
vm_dns: "1.1.1.1"
위와 같이 vm_information.yml 을 VM 을 배포할 vCenter 정보를 수정하고. 배포에 사용될 VM Template, VM 에 사용될 IP 정보를 입력합니다.
- Playbook 실행
- deploy lab environment ‘k3s’
$ ansible-playbook -i inventory deploy-k3s.ymlVM Provisioning 과 k3s 배포를 위한 Playbook.
- (option) only deploy vm
$ ansible-playbook -i inventory deploy-k3s.yml -t vmVM Provisioning 배포를 위한 Playbook.
- (option) only install k3s
$ ansible-playbook -i inventory deploy-k3s.yml -t k3sk3s 배포를 위한 Playbook.
- deploy lab environment ‘k3s’
배포 예제
-
Playbook 수행 결과

-
VM 생성 결과
-
k3s 배포 결과

[root@k3s-10-50-1-42 ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION k3s-10-50-1-42 Ready master 9m29s v1.18.8+k3s1 [root@k3s-10-50-1-42 ~]#
Known Issue
- k3s 는 공식적으로 Ubuntu 만 지원하는 것으로 되어 있습니다.
하지만 아래와 같이 CentOS/RHEL 계열 추가 작업이 진행중이며, 설치는 가능하나firewalld및SELinux에 대해 검토 진행중인 것으로 보입니다.
(https://github.com/rancher/k3s/issues/1371) vmware_guestmodule 을 이용하여 Ubuntu 를 배포하면 Static IP 설정을 못하는 이슈가 있습니다.
이는open-vm-tools에서 아직netplan을 이용한 네트워크 설정이 아직 미지원이라 그렇습니다.
(https://docs.ansible.com/ansible/latest/scenario_guides/vmware_scenarios/vmware_troubleshooting.html)
참고 문서
- https://docs.ansible.com/ansible/latest/modules/vmware_guest_module.html
- https://rancher.com/docs/k3s/latest/en/installation/
- https://github.com/chhanz/ansible.fast-k3s
자주 묻는 질문
ansible.fast-k3s를 쓰려면 어떤 환경이 필요한가요?
vCenter 6.7, CentOS 7.7 Minimal 설치 템플릿, Static IP, Ansible 2.9.6 이상에서 테스트되었습니다. Ansible로 VMware를 제어하려면 pip install -r requirements.txt로 pyvmomi 7.0 이상도 설치해야 합니다.
VMware가 아닌 하이퍼바이저에서는 k3s만 설치할 수 있나요?
가능합니다. ansible-playbook -i inventory deploy-k3s.yml -t k3s처럼 k3s 태그만 지정해 실행하면 VM 프로비저닝 없이 k3s만 배포됩니다.
vmware_guest 모듈로 Ubuntu를 배포하면 Static IP가 설정되지 않는 이유는 무엇인가요?
open-vm-tools가 아직 netplan을 이용한 네트워크 설정을 지원하지 않기 때문입니다.