Kubernetes クイックデプロイガイド¶

# config.yaml

############################
# prepare
############################
# オフラインインストールのシステムソフトウェアパッケージを選択 (offline|online)
# オフライン環境のデフォルトは "offline"
INSTALL_SOURCE: "offline"

# システムセキュリティ強化を選択 github.com/dev-sec/ansible-collection-hardening
OS_HARDEN: false


############################
# role:deploy
############################
# default: ca will expire in 100 years
# default: certs issued by the ca will expire in 50 years
CA_EXPIRY: "876000h"
CERT_EXPIRY: "438000h"

# kubeconfig 設定パラメータ
CLUSTER_NAME: "cluster1"
CONTEXT_NAME: "context-{{ CLUSTER_NAME }}"

# k8s version
K8S_VER: "__k8s_ver__"

############################
# role:etcd
############################
# 異なるwalディレクトリを設定することで、ディスクIOの競合を回避し、パフォーマンスを向上できます

# ディスク容量が大きいディレクトリに変更することを推奨。実際の状況に応じて設定
ETCD_DATA_DIR: "/var/lib/etcd"
ETCD_WAL_DIR: ""


############################
# role:runtime [containerd,docker]
############################
# ------------------------------------------- containerd
# [.]コンテナリポジトリミラーを有効化
ENABLE_MIRROR_REGISTRY: true

# [containerd]基本コンテナイメージ
SANDBOX_IMAGE: "easzlab.io.local:5000/easzlab/pause:__pause__"

# [containerd]コンテナ永続化ストレージディレクトリ

# ディスク容量が大きいディレクトリに変更することを推奨。実際の状況に応じて設定
CONTAINERD_STORAGE_DIR: "/var/lib/containerd" 

# ------------------------------------------- docker
# [docker]コンテナストレージディレクトリ
# ディスク容量が大きいディレクトリに変更することを推奨。実際の状況に応じて設定
# デプロイマシンのみにdockerサービスが存在します
DOCKER_STORAGE_DIR: "/var/lib/docker"

# [docker]Restful APIを有効化
ENABLE_REMOTE_API: false

# [docker]信頼するHTTPリポジトリ
INSECURE_REG: '["http://easzlab.io.local:5000"]'


############################
# role:kube-master
############################
# k8s クラスター master ノードの証明書設定。複数のIPとドメインを追加可能（例：パブリックIPとドメイン）
MASTER_CERT_HOSTS:
  - "10.1.1.1"
  - "k8s.easzlab.io"
  #- "www.test.com"

# node ノード上の pod ネットワークセグメントのマスク長（各ノードが割り当て可能な最大pod IPアドレス数を決定）
# flannel が --kube-subnet-mgr パラメータを使用する場合、この設定を読み取り各ノードにpodネットワークセグメントを割り当てます
# https://github.com/coreos/flannel/issues/847
NODE_CIDR_LEN: 24


############################
# role:kube-node
############################
# Kubelet ルートディレクトリ
# ディスク容量が大きいディレクトリに変更することを推奨。実際の状況に応じて設定
KUBELET_ROOT_DIR: "/var/lib/kubelet"

# nodeノードの最大pod数
MAX_PODS: 110

# kubeコンポーネント（kubelet,kube-proxy,dockerd等）用に予約するリソース量を設定
# 数値の設定は templates/kubelet-config.yaml.j2 を参照
KUBE_RESERVED_ENABLED: "no"

# k8s は system-reserved の軽率な有効化を推奨しません。長期的な監視に基づきシステムのリソース使用状況を把握している場合のみ有効にしてください
# システムの稼働時間に応じて、リソース予約を適宜増やす必要があります。数値の設定は templates/kubelet-config.yaml.j2 を参照
# システム予約設定は 4c/8g 仮想マシン、最小限のシステムサービスインストールに基づきます。高性能物理マシンを使用する場合は予約を適宜増やすことができます
# また、クラスターインストール時はapiserver等のリソース消費が短時間で大きくなるため、少なくとも1gのメモリ予約を推奨
SYS_RESERVED_ENABLED: "no"


############################
# role:network [flannel,calico,cilium,kube-ovn,kube-router]
############################
# ------------------------------------------- flannel
# [flannel]flannel バックエンド "host-gw","vxlan" 等を設定
FLANNEL_BACKEND: "vxlan"
DIRECT_ROUTING: false

# [flannel] flanneld_image: "quay.io/coreos/flannel:v0.10.0-amd64"
flannelVer: "__flannel__"
flanneld_image: "easzlab.io.local:5000/easzlab/flannel:{{ flannelVer }}"

# ------------------------------------------- calico
# [calico]CALICO_IPV4POOL_IPIP=“off” を設定すると、ネットワークパフォーマンスを向上できます。制限事項は docs/setup/calico.md を参照
CALICO_IPV4POOL_IPIP: "Always"

# [calico]calico-nodeが使用するホストIPを設定。bgpネイバーはこのアドレスを介して確立されます。手動指定または自動検出が可能
IP_AUTODETECTION_METHOD: "can-reach={{ groups['kube_master'][0] }}"

# [calico]calico ネットワーク backend を設定: brid, vxlan, none
CALICO_NETWORKING_BACKEND: "brid"

# [calico]calico が route reflectors を使用するかどうかを設定
# クラスター規模が50ノードを超える場合は、この機能の有効化を推奨
CALICO_RR_ENABLED: false

# CALICO_RR_NODES はroute reflectorsを構成するノードを設定。未設定の場合はデフォルトでクラスターのmasterノードを使用
# CALICO_RR_NODES: ["192.168.1.1", "192.168.1.2"]
CALICO_RR_NODES: []

# [calico]calico バージョンの更新をサポート: [v3.3.x] [v3.4.x] [v3.8.x] [v3.15.x]
calico_ver: "__calico__"

# [calico]calico メジャーバージョン
calico_ver_main: "{{ calico_ver.split('.')[0] }}.{{ calico_ver.split('.')[1] }}"

# ------------------------------------------- cilium
# [cilium]イメージバージョン
cilium_ver: "__cilium__"
cilium_connectivity_check: true
cilium_hubble_enabled: false
cilium_hubble_ui_enabled: false

# ------------------------------------------- kube-ovn
# [kube-ovn] OVN DB and OVN Control Plane ノードを選択。デフォルトは最初のmasterノード
OVN_DB_NODE: "{{ groups['kube_master'][0] }}"

# [kube-ovn]オフラインイメージtarパッケージ
kube_ovn_ver: "__kube_ovn__"

# ------------------------------------------- kube-router
# [kube-router]パブリッククラウドでは制限があるため、通常は常にipinipを有効にする必要があります。自社環境では "subnet" に設定可能
OVERLAY_TYPE: "full"

# [kube-router]NetworkPolicy サポートのオン/オフ
FIREWALL_ENABLE: true

# [kube-router]kube-router イメージバージョン
kube_router_ver: "__kube_router__"
busybox_ver: "1.28.4"


############################
# role:cluster-addon
############################
# coredns 自動インストール
dns_install: "yes"
corednsVer: "__coredns__"
ENABLE_LOCAL_DNS_CACHE: true
dnsNodeCacheVer: "__dns_node_cache__"
# local dns cache アドレスを設定
LOCAL_DNS_CACHE: "169.254.20.10"

# metric server 自動インストール
metricsserver_install: "yes"
metricsVer: "__metrics__"

# dashboard 自動インストール
dashboard_install: "no"
dashboardVer: "__dashboard__"
dashboardMetricsScraperVer: "__dash_metrics__"

# prometheus 自動インストール
prom_install: "no"
prom_namespace: "monitor"
prom_chart_ver: "__prom_chart__"

# nfs-provisioner 自動インストール
# 既存の nfs がある場合は "yes" に設定し、正しい server 情報を設定する必要があります
nfs_provisioner_install: "no"
nfs_provisioner_namespace: "kube-system"
nfs_provisioner_ver: "__nfs_provisioner__"
nfs_storage_class: "managed-nfs-storage"
nfs_server: "192.168.1.10"
nfs_path: "/data/nfs"

# network-check 自動インストール
network_check_enabled: false
network_check_schedule: "*/5 * * * *"

############################
# role:harbor
############################
# harbor version，完全なバージョン番号
HARBOR_VER: "__harbor__"
HARBOR_DOMAIN: "harbor.easzlab.io.local"
HARBOR_TLS_PORT: 8443

# if set 'false', you need to put certs named harbor.pem and harbor-key.pem in directory 'down'
HARBOR_SELF_SIGNED_CERT: true

# install extra component
HARBOR_WITH_NOTARY: false
HARBOR_WITH_TRIVY: false
HARBOR_WITH_CLAIR: false
HARBOR_WITH_CHARTMUSEUM: true

# ingress-nginx 関連設定
ingress_nginx_install: "yes"
ingressnginxVer: v1.4.0
certgenVer: v20220916-gd32f8c343

# 'etcd' cluster should have odd member(s) (1,3,5,...)
# 実際の計画に基づいてIPを必ず置き換えてください
[etcd]
192.168.1.1
192.168.1.2
192.168.1.3

# master node(s)
# 実際の計画に基づいてIPを必ず置き換えてください
[kube_master]
192.168.1.1
192.168.1.2

# work node(s)
# 実際の計画に基づいてIPを必ず置き換えてください
[kube_node]
192.168.1.3
192.168.1.4

# [optional] harbor server, a private docker registry
# 'NEW_INSTALL': 'true' to install a harbor server; 'false' to integrate with existed one
[harbor]
#192.168.1.8 NEW_INSTALL=false

# [optional] loadbalance for accessing k8s from outside
[ex_lb]
#192.168.1.6 LB_ROLE=backup EX_APISERVER_VIP=192.168.1.250 EX_APISERVER_PORT=8443
#192.168.1.7 LB_ROLE=master EX_APISERVER_VIP=192.168.1.250 EX_APISERVER_PORT=8443

# [optional] ntp server for the cluster
[chrony]
#192.168.1.1

[all:vars]
# --------- Main Variables ---------------
# Secure port for apiservers
SECURE_PORT="6443"

# Cluster container-runtime supported: docker, containerd
# if k8s version >= 1.24, docker is not supported
CONTAINER_RUNTIME="containerd"

# Network plugins supported: calico, flannel, kube-router, cilium, kube-ovn
# デフォルト値の使用を推奨、または "flannel" に変更
CLUSTER_NETWORK="calico"

# Service proxy mode of kube-proxy: 'iptables' or 'ipvs'
PROXY_MODE="ipvs"

# K8S Service CIDR, not overlap with node(host) networking
# ホストIPセグメントと重複しないこと
SERVICE_CIDR="10.68.0.0/16"

# Cluster CIDR (Pod CIDR), not overlap with node(host) networking
# ホストIPセグメントと重複しないこと
CLUSTER_CIDR="172.20.0.0/16"

# NodePort Range
NODE_PORT_RANGE="30000-32767"

# Cluster DNS Domain
CLUSTER_DNS_DOMAIN="cluster.local"

# -------- Additional Variables (don't change the default value right now) ---
# Binaries Directory
bin_dir="/opt/kube/bin"

# Deploy Directory (kubeasz workspace)
base_dir="/etc/kubeasz"

# Directory for a specific cluster
cluster_dir="{{ base_dir }}/clusters/_cluster_name_"

# CA and other components cert/key Directory
ca_dir="/etc/kubernetes/ssl"