[Kubernetes] HTTPS ingress 적용 (use prometheus)
kube-prometheus 의 Prometheus 를 NGINX Ingress 에서 wildcard 인증서 TLS Secret 으로 Edge 방식 HTTPS 서비스하는 방법과 주요 ingress-nginx annotation 을 정리합니다.
요약
- crt 와 key 를 base64 로 인코딩한
kubernetes.io/tlsSecret 을 만들고 Ingress 의spec.tls에 지정하면 Edge 방식 HTTPS 를 적용할 수 있습니다. - Edge 방식은 Client 와 Ingress 구간만 TLS 로 암호화하고, Ingress 에서 Pod 까지는 HTTP 로 통신합니다.
- 적용 결과는
openssl s_client -servername <host> --connect <host>:443이나 Web Browser 의 인증서 정보로 확인합니다.
HTTPS ingress 적용
이전에 배포한 kube-prometheus 의 ingress 를 TLS 적용하여 HTTPS 로 서비스 해보도록 하겠습니다.
TLS 방식
Kubernetes 에서 사용이 가능한 TLS 방식은 아래와 같습니다.
아래 내용은 OpenShift 기준으로 작성된 내용이지만 이해하기 좋아서 첨부합니다.

이미지의 Router 는 Kubernetes 의 Ingress 와 동일하다고 보면 됩니다.
- Clear 방식 (clear to clear) : 일반적인 HTTP 서비스
- Edge 방식 (TLS to clear) : client 와 ingress 구간을 TLS 암호화하는 방식
- Re-encrypt 방식 (TLS1 to TLS2) : ingress 기점으로 TLS 암호화를 다르게 하는 방식(두번의 TLS 암호화)
- Pass-Through 방식 (TLS1 to TLS1) : Application 단에서 TLS 암호화 처리하는 방식
TLS 적용
위의 설명된 방식중 Edge 방식을 적용 해보도록 하겠습니다.
┌──┐ ┌──────────────────┐
│ │ │ │
│ │ │ ┌─────┐ │
┌───────────┐ HTTPS │ │ HTTP │ │APP1 │ │
│ Client │ ───────────────►│ │ ────────────────────► │ └─────┘ │
└───────────┘ │ │ │ ┌──────┐ │
│ │ │ │ APP2 │ │
│ │ │ └──────┘ │
│ │ │ │
└──┘ └──────────────────┘
Ingress Pod
Diagram 을 그려본다면 위와 같은 방식으로 구현된다고 생각하면 좋습니다.
TLS Secret 생성
아래와 같이 TLS Secret 을 생성합니다.
#!/bin/bash
BASECRT=`base64 -w0 STAR_chhan_testdom.crt`
BASEKEY=`base64 -w0 STAR_chhan_testdom.key`
cat << EOF > STAR_chhan_testdom-tls-secret.yml
apiVersion: v1
data:
tls.crt: ${BASECRT}
tls.key: ${BASEKEY}
kind: Secret
metadata:
name: prometheus-tls-secret
namespace: monitoring
type: kubernetes.io/tls
EOF
echo "done generate file 'STAR_chhan_testdom-tls-secret.yml'"
crt 와 key 파일을 base64 로 인코딩을 하여 yaml 을 편하게 생성하게 위해 스크립트를 작성했습니다.
(TLS 는 wildcard TLS 입니다.)
$ cat STAR_chhan_testdom-tls-secret.yml
apiVersion: v1
data:
tls.crt: Cxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
tls.key: Kxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
kind: Secret
metadata:
name: prometheus-tls-secret
namespace: monitoring
type: kubernetes.io/tls
생성된 secret.yml 을 이용하여 TLS Secret 을 생성합니다.
$ kubectl create -f STAR_chhan_testdom-tls-secret.yml
secret/prometheus-tls-secret created
Ingress 생성
아래와 같이 Ingress 에 TLS 를 적용하여 Edge 방식을 사용하는 Ingress 를 생성합니다.
$ cat << EOF > prometheus-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
kubernetes.io/ingress.class: nginx
name: prometheus-ingress
namespace: monitoring
spec:
tls:
- hosts:
- "*.chhanz.testdom"
- secretName: prometheus-tls-secret
rules:
- host: monitor-prometheus.chhanz.testdom
http:
paths:
- pathType: Prefix
path: "/"
backend:
service:
name: prometheus-k8s
port:
number: 9090
$ kubectl create -f prometheus-ingress.yaml
Ingress 생성
TLS 인증 확인
아래와 같이 Client 에서 openssl 명령어 혹은 Web Browser 를 통해 확인이 가능합니다.
chhan@chhanPC:/mnt/c/Users/chhanz$ openssl s_client -servername monitor-prometheus.chhanz.testdom --connect monitor-prometheus.chhanz.testdom:443
...TL;DR...
---
Certificate chain
0 s:CN = *.chhanz.testdom <<<
i:C = SXXXXXX, ST = SXXXXXX, L = SXXXXXX, O = SXXXXXX, CN = SXXXXXX
---
...TL;DR...

Web Browser TLS 인증서 내용 확인
NGINX Ingress 의 주요 annotations
| annotations | 속성 |
|---|---|
nginx.ingress.kubernetes.io/backend-protocol: HTTPS |
Ingress 이후, Backend 구간을 HTTPS 통신을 하도록 하는 옵션 |
nginx.ingress.kubernetes.io/ssl-redirect |
기본적으로 NGINX Ingress 는 TLS 가 활성화 되면 HTTPS 로 Redirect 하는데 해당 옵션을 통해 비활성화를 할 수 있다. (기본값 true) |
nginx.ingress.kubernetes.io/force-ssl-redirect |
강제로 HTTPS 로 Redirect 하는 옵션, TLS 인증서가 없는 경우에도 강제로 HTTPS 로 Redirect 할 수 있다. |
이 외 annotations 는 문서 에서 확인이 가능합니다.
참고 자료
- Route : https://cloud.redhat.com/blog/self-serviced-end-to-end-encryption-approaches-for-applications-deployed-in-openshift
- https://kubernetes.io/ko/docs/concepts/services-networking/ingress/#tls
- https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/
자주 묻는 질문
Kubernetes Ingress 에서 사용할 수 있는 TLS 방식에는 무엇이 있나요?
Clear, Edge, Re-encrypt, Pass-Through 네 가지가 있습니다. Edge 는 Client-Ingress 구간만, Re-encrypt 는 Ingress 기점으로 서로 다른 TLS 를, Pass-Through 는 Application 에서 TLS 를 처리합니다.
Ingress 용 TLS Secret 은 어떻게 만드나요?
base64 -w0 로 인코딩한 crt 와 key 를 tls.crt, tls.key 에 넣고 type: kubernetes.io/tls 인 Secret yaml 을 만든 뒤 kubectl create -f 로 생성합니다.
NGINX Ingress 에서 HTTPS 자동 Redirect 를 끄려면 어떻게 하나요?
nginx.ingress.kubernetes.io/ssl-redirect annotation 을 사용합니다. 기본값은 true 이며, TLS 가 활성화되면 HTTPS 로 Redirect 합니다.
Ingress 이후 Backend 구간도 HTTPS 로 통신하게 할 수 있나요?
nginx.ingress.kubernetes.io/backend-protocol: HTTPS annotation 을 지정하면 Ingress 이후 Backend 구간을 HTTPS 로 통신합니다.