Kubernetes 빠른 배포 가이드¶

# config.yaml

############################
# prepare
############################
# 선택적 오프라인 설치 시스템 소프트웨어 패키지 (offline|online)
# 오프라인 환경 기본값은 "offline"
INSTALL_SOURCE: "offline"

# 선택적 시스템 보안 강화 github.com/dev-sec/ansible-collection-hardening
OS_HARDEN: false


############################
# role:deploy
############################
# default: ca will expire in 100 years
# default: certs issued by the ca will expire in 50 years
CA_EXPIRY: "876000h"
CERT_EXPIRY: "438000h"

# kubeconfig 구성 매개변수
CLUSTER_NAME: "cluster1"
CONTEXT_NAME: "context-{{ CLUSTER_NAME }}"

# k8s version
K8S_VER: "__k8s_ver__"

############################
# role:etcd
############################
# 다른 wal 디렉터리를 설정하면 디스크 IO 경합을 피하여 성능 향상 가능 

# 디스크 공간이 큰 디렉터리로 수정 권장, 실제 상황에 따라 결정
ETCD_DATA_DIR: "/var/lib/etcd"
ETCD_WAL_DIR: ""


############################
# role:runtime [containerd,docker]
############################
# ------------------------------------------- containerd
# [.]컨테이너 저장소 미러 활성화
ENABLE_MIRROR_REGISTRY: true

# [containerd]기본 컨테이너 이미지
SANDBOX_IMAGE: "easzlab.io.local:5000/easzlab/pause:__pause__"

# [containerd]컨테이너 영구 스토리지 디렉터리

# 디스크 공간이 큰 디렉터리로 수정 권장, 실제 상황에 따라 결정
CONTAINERD_STORAGE_DIR: "/var/lib/containerd" 

# ------------------------------------------- docker
# [docker]컨테이너 스토리지 디렉터리
# 디스크 공간이 큰 디렉터리로 수정 권장, 실제 상황에 따라 결정 
# 배포 머신에만 docker 서비스가 있음
DOCKER_STORAGE_DIR: "/var/lib/docker"

# [docker]Restful API 활성화
ENABLE_REMOTE_API: false

# [docker]신뢰하는 HTTP 저장소
INSECURE_REG: '["http://easzlab.io.local:5000"]'


############################
# role:kube-master
############################
# k8s 클러스터 master 노드 인증서 구성, 여러 IP 및 도메인 추가 가능 (예: 공인 IP 및 도메인 추가)
MASTER_CERT_HOSTS:
  - "10.1.1.1"
  - "k8s.easzlab.io"
  #- "www.test.com"

# node 노드 상 pod 네트워크 마스크 길이 (각 노드에 할당 가능한 최대 pod IP 주소 결정)
# flannel이 --kube-subnet-mgr 매개변수를 사용하는 경우 이 설정을 읽어 각 노드에 pod 네트워크 할당
# https://github.com/coreos/flannel/issues/847
NODE_CIDR_LEN: 24


############################
# role:kube-node
############################
# Kubelet 루트 디렉터리
# 디스크 공간이 큰 디렉터리로 수정 권장, 실제 상황에 따라 결정 
KUBELET_ROOT_DIR: "/var/lib/kubelet"

# node 노드 최대 pod 수
MAX_PODS: 110

# kube 구성 요소(kubelet, kube-proxy, dockerd 등)에 예약할 리소스 양 구성
# 값 설정은 templates/kubelet-config.yaml.j2 참조
KUBE_RESERVED_ENABLED: "no"

# k8s는 공식적으로 system-reserved를 경솔하게 활성화하는 것을 권장하지 않음, 장기 모니터링을 기반으로 시스템 리소스 사용 현황을 파악한 경우에만 가능
# 시스템 실행 시간에 따라 리소스 예약을 적절히 늘려야 함, 값 설정은 templates/kubelet-config.yaml.j2 참조
# 시스템 예약 설정은 4c/8g 가상 머신 기준, 최소 설치 시스템 서비스, 고성능 물리 서버 사용 시 예약을 적절히 늘릴 수 있음
# 또한 클러스터 설치 시 apiserver 등의 리소스 사용이 일시적으로 증가하므로 최소 1g 메모리 예약 권장
SYS_RESERVED_ENABLED: "no"


############################
# role:network [flannel,calico,cilium,kube-ovn,kube-router]
############################
# ------------------------------------------- flannel
# [flannel]flannel 백엔드 "host-gw","vxlan" 등 설정
FLANNEL_BACKEND: "vxlan"
DIRECT_ROUTING: false

# [flannel] flanneld_image: "quay.io/coreos/flannel:v0.10.0-amd64"
flannelVer: "__flannel__"
flanneld_image: "easzlab.io.local:5000/easzlab/flannel:{{ flannelVer }}"

# ------------------------------------------- calico
# [calico]CALICO_IPV4POOL_IPIP="off" 설정 시 네트워크 성능 향상 가능, 제한 조건은 docs/setup/calico.md 참조
CALICO_IPV4POOL_IPIP: "Always"

# [calico]calico-node가 사용하는 host IP 설정, bgp 피어는 이 주소를 통해 연결 설정, 수동 지정 또는 자동 검색 가능
IP_AUTODETECTION_METHOD: "can-reach={{ groups['kube_master'][0] }}"

# [calico]calico 네트워크 백엔드 설정: brid, vxlan, none
CALICO_NETWORKING_BACKEND: "brid"

# [calico]calico가 route reflectors를 사용할지 여부 설정
# 클러스터 규모가 50개 노드를 초과하는 경우 이 기능 활성화 권장
CALICO_RR_ENABLED: false

# CALICO_RR_NODES route reflectors 노드 구성, 설정하지 않으면 기본적으로 클러스터 master 노드 사용
# CALICO_RR_NODES: ["192.168.1.1", "192.168.1.2"]
CALICO_RR_NODES: []

# [calico]calico 버전 업데이트 지원: [v3.3.x] [v3.4.x] [v3.8.x] [v3.15.x]
calico_ver: "__calico__"

# [calico]calico 메인 버전
calico_ver_main: "{{ calico_ver.split('.')[0] }}.{{ calico_ver.split('.')[1] }}"

# ------------------------------------------- cilium
# [cilium]이미지 버전
cilium_ver: "__cilium__"
cilium_connectivity_check: true
cilium_hubble_enabled: false
cilium_hubble_ui_enabled: false

# ------------------------------------------- kube-ovn
# [kube-ovn]OVN DB 및 OVN Control Plane 노드 선택, 기본값은 첫 번째 master 노드
OVN_DB_NODE: "{{ groups['kube_master'][0] }}"

# [kube-ovn]오프라인 이미지 tar 패키지
kube_ovn_ver: "__kube_ovn__"

# ------------------------------------------- kube-router
# [kube-router]퍼블릭 클라우드에서는 제한이 있어 일반적으로 항상 ipinip를 활성화해야 함; 자체 환경에서는 "subnet"으로 설정 가능
OVERLAY_TYPE: "full"

# [kube-router]NetworkPolicy 지원 스위치
FIREWALL_ENABLE: true

# [kube-router]kube-router 이미지 버전
kube_router_ver: "__kube_router__"
busybox_ver: "1.28.4"


############################
# role:cluster-addon
############################
# coredns 자동 설치
dns_install: "yes"
corednsVer: "__coredns__"
ENABLE_LOCAL_DNS_CACHE: true
dnsNodeCacheVer: "__dns_node_cache__"
# local dns cache 주소 설정
LOCAL_DNS_CACHE: "169.254.20.10"

# metric server 자동 설치
metricsserver_install: "yes"
metricsVer: "__metrics__"

# dashboard 자동 설치
dashboard_install: "no"
dashboardVer: "__dashboard__"
dashboardMetricsScraperVer: "__dash_metrics__"

# prometheus 자동 설치
prom_install: "no"
prom_namespace: "monitor"
prom_chart_ver: "__prom_chart__"

# nfs-provisioner 자동 설치
# 기존 nfs가 있는 경우 반드시 "yes"로 구성하고 올바른 server 정보 설정
nfs_provisioner_install: "no"
nfs_provisioner_namespace: "kube-system"
nfs_provisioner_ver: "__nfs_provisioner__"
nfs_storage_class: "managed-nfs-storage"
nfs_server: "192.168.1.10"
nfs_path: "/data/nfs"

# network-check 자동 설치
network_check_enabled: false
network_check_schedule: "*/5 * * * *"

############################
# role:harbor
############################
# harbor version, 전체 버전 번호
HARBOR_VER: "__harbor__"
HARBOR_DOMAIN: "harbor.easzlab.io.local"
HARBOR_TLS_PORT: 8443

# if set 'false', you need to put certs named harbor.pem and harbor-key.pem in directory 'down'
HARBOR_SELF_SIGNED_CERT: true

# install extra component
HARBOR_WITH_NOTARY: false
HARBOR_WITH_TRIVY: false
HARBOR_WITH_CLAIR: false
HARBOR_WITH_CHARTMUSEUM: true

# ingress-nginx 관련 구성
ingress_nginx_install: "yes"
ingressnginxVer: v1.4.0
certgenVer: v20220916-gd32f8c343

# 'etcd' cluster should have odd member(s) (1,3,5,...)
# 실제 계획에 따라 ip를 반드시 교체
[etcd]
192.168.1.1
192.168.1.2
192.168.1.3

# master node(s)
# 실제 계획에 따라 ip를 반드시 교체
[kube_master]
192.168.1.1
192.168.1.2

# work node(s)
# 실제 계획에 따라 ip를 반드시 교체
[kube_node]
192.168.1.3
192.168.1.4

# [optional] harbor server, a private docker registry
# 'NEW_INSTALL': 'true' to install a harbor server; 'false' to integrate with existed one
[harbor]
#192.168.1.8 NEW_INSTALL=false

# [optional] loadbalance for accessing k8s from outside
[ex_lb]
#192.168.1.6 LB_ROLE=backup EX_APISERVER_VIP=192.168.1.250 EX_APISERVER_PORT=8443
#192.168.1.7 LB_ROLE=master EX_APISERVER_VIP=192.168.1.250 EX_APISERVER_PORT=8443

# [optional] ntp server for the cluster
[chrony]
#192.168.1.1

[all:vars]
# --------- Main Variables ---------------
# Secure port for apiservers
SECURE_PORT="6443"

# Cluster container-runtime supported: docker, containerd
# if k8s version >= 1.24, docker is not supported
CONTAINER_RUNTIME="containerd"

# Network plugins supported: calico, flannel, kube-router, cilium, kube-ovn
# 해당 기본값 사용을 권장하거나 "flannel"로 수정
CLUSTER_NETWORK="calico"

# Service proxy mode of kube-proxy: 'iptables' or 'ipvs'
PROXY_MODE="ipvs"

# K8S Service CIDR, not overlap with node(host) networking
# 호스트 IP 대역과 충돌 불가
SERVICE_CIDR="10.68.0.0/16"

# Cluster CIDR (Pod CIDR), not overlap with node(host) networking
# 호스트 IP 대역과 충돌 불가
CLUSTER_CIDR="172.20.0.0/16"

# NodePort Range
NODE_PORT_RANGE="30000-32767"

# Cluster DNS Domain
CLUSTER_DNS_DOMAIN="cluster.local"

# -------- Additional Variables (don't change the default value right now) ---
# Binaries Directory
bin_dir="/opt/kube/bin"

# Deploy Directory (kubeasz workspace)
base_dir="/etc/kubeasz"

# Directory for a specific cluster
cluster_dir="{{ base_dir }}/clusters/_cluster_name_"

# CA and other components cert/key Directory
ca_dir="/etc/kubernetes/ssl"