feat: аддоны через addons.yml, внешний etcd, управление etcd нодами

## Аддоны (group_vars/all/addons.yml)

- Создан group_vars/all/addons.yml — единое место для включения/отключения
  аддонов (addon_ingress_nginx: true/false и т.д.) и их основных настроек
- Из group_vars/all/main.yml убраны все секции аддонов (NFS, CSI, ingress,
  cert-manager, etcd backup, Istio, Prometheus) — остался только core кластер
- Создан playbooks/addons.yml — комбинированный плейбук с 10 плеями,
  каждый с `when: addon_X | default(false) | bool`; запускает только включённые
- make install-full: core (site.yml) + аддоны по addons.yml
- make install-addons: только аддоны без переустановки core
- Убраны все *_enabled флаги из аддонов (cert_manager_enabled, istio_enabled,
  prometheus_stack_enabled и др.) — аддон ставится явным вызовом
- kube-vip: убран skip guard и kube_vip_enabled флаг (core, всегда ставится)
- TLS defaults в argocd/longhorn/kubernetes-dashboard: убрана зависимость
  от cert_manager_enabled, теперь просто false (задаётся явно)
- Kiali: убрана зависимость от prometheus_stack_enabled, добавлены переменные
  kiali_prometheus_enabled/url и kiali_grafana_enabled/url

## Внешний etcd кластер

- Новая переменная k3s_etcd_type: embedded|external в main.yml
- inventory/hosts.ini: добавлена группа [etcd_nodes] — любые серверы,
  не обязательно мастера
- roles/etcd/: полная роль для установки внешнего etcd кластера:
  - install.yml — скачивает бинарник, создаёт пользователя и директории
  - pki.yml — генерирует CA + server/peer/client сертификаты через openssl
    на Ansible-контроллере; раскладывает на etcd ноды и k3s мастера
  - service.yml — разворачивает etcd.env и systemd сервис, проверяет здоровье
  - etcd.env.j2 и etcd.service.j2 — шаблоны конфигурации
  - etcd_pki_local_dir: persistent путь (<project>/etcd-pki/) вместо /tmp,
    etcd-pki/ добавлен в .gitignore
- roles/k3s/templates/k3s-server-config.yaml.j2: при external режиме
  подставляет datastore-endpoint со всеми etcd нодами + пути к клиентским
  сертификатам; при embedded — прежняя логика cluster-init
- playbooks/site.yml: условный плей для etcd перед k3s (тег etcd)
- make install-etcd: отдельная команда для развёртывания etcd кластера

## Управление etcd нодами

- playbooks/add-etcd-node.yml: добавить ноду в работающий etcd кластер
  (PKI генерация → install → etcdctl member add → start с state=existing → verify)
- playbooks/remove-etcd-node.yml: безопасно удалить ноду из etcd кластера
  (проверка кворума → member remove → stop → clean up PKI)
- playbooks/add-node.yml: при k3s_etcd_type=external и наличии ноды в
  [etcd_nodes] автоматически добавляет её в etcd кластер после k3s
- playbooks/remove-node.yml: при k3s_etcd_type=external сначала удаляет
  ноду из etcd (member remove + stop), затем из k3s
- make add-etcd-node NODE=etcd04 / make remove-etcd-node NODE=etcd04
- Команды add-etcd-node / remove-etcd-node в docker/entrypoint.sh
This commit is contained in:
Sergey Antropoff
2026-04-25 06:34:48 +03:00
parent 8aa55a694c
commit a94039e0f1
30 changed files with 1301 additions and 169 deletions

View File

@@ -85,15 +85,132 @@
ansible.builtin.debug:
msg: "{{ new_node_status.stdout_lines }}"
- name: Install NFS client on new node (if CSI NFS enabled)
- name: Install NFS client on new node
ansible.builtin.apt:
name: nfs-common
state: present
update_cache: true
when: csi_nfs_enabled | default(true) | bool
- name: Summary
ansible.builtin.debug:
msg: >
Нода {{ inventory_hostname }} успешно добавлена в кластер.
Тип: {{ 'master (etcd participant)' if inventory_hostname in groups['k3s_master'] else 'worker (agent)' }}
Нода {{ inventory_hostname }} успешно добавлена в k3s кластер.
Тип: {{ 'master' if inventory_hostname in groups['k3s_master'] else 'worker' }}.
# ── Генерируем PKI и регистрируем в etcd (если нода в [etcd_nodes]) ──────────
- name: Generate PKI certificates for new etcd member
hosts: localhost
gather_facts: false
become: false
when:
- k3s_etcd_type | default('embedded') == 'external'
- groups['etcd_nodes'] is defined
- node_to_add in groups['etcd_nodes']
tags: [etcd]
tasks:
- name: Generate server/peer certs for new etcd node
ansible.builtin.shell: |
set -e
NODE="{{ node_to_add }}"
NODE_IP="{{ hostvars[node_to_add]['ansible_host'] }}"
PKI="{{ etcd_pki_local_dir }}"
SAN="subjectAltName=IP:${NODE_IP},IP:127.0.0.1,DNS:${NODE},DNS:localhost"
[ -f "${PKI}/ca.key" ] || { echo "CA key not found: ${PKI}/ca.key"; exit 1; }
rm -f "${PKI}/server-${NODE}."{crt,key,csr} "${PKI}/peer-${NODE}."{crt,key,csr}
openssl genrsa -out "${PKI}/server-${NODE}.key" 2048
openssl req -new -key "${PKI}/server-${NODE}.key" -out "${PKI}/server-${NODE}.csr" \
-subj "/CN=${NODE}/O=etcd"
openssl x509 -req -days 3650 \
-in "${PKI}/server-${NODE}.csr" -CA "${PKI}/ca.crt" -CAkey "${PKI}/ca.key" \
-CAcreateserial -out "${PKI}/server-${NODE}.crt" \
-extfile <(printf "${SAN}")
openssl genrsa -out "${PKI}/peer-${NODE}.key" 2048
openssl req -new -key "${PKI}/peer-${NODE}.key" -out "${PKI}/peer-${NODE}.csr" \
-subj "/CN=${NODE}/O=etcd-peer"
openssl x509 -req -days 3650 \
-in "${PKI}/peer-${NODE}.csr" -CA "${PKI}/ca.crt" -CAkey "${PKI}/ca.key" \
-CAcreateserial -out "${PKI}/peer-${NODE}.crt" \
-extfile <(printf "${SAN}")
args:
executable: /bin/bash
changed_when: true
- name: Install etcd and distribute certs to new etcd member
hosts: "{{ node_to_add }}"
gather_facts: true
become: true
when:
- k3s_etcd_type | default('embedded') == 'external'
- groups['etcd_nodes'] is defined
- node_to_add in groups['etcd_nodes']
tags: [etcd]
tasks:
- name: Install etcd binary
ansible.builtin.include_role:
name: etcd
tasks_from: install
- name: Copy CA and server/peer certs
ansible.builtin.copy:
src: "{{ etcd_pki_local_dir }}/{{ item.src }}"
dest: "{{ etcd_pki_dir }}/{{ item.dest }}"
owner: etcd
group: etcd
mode: "{{ item.mode }}"
loop:
- { src: "ca.crt", dest: "ca.crt", mode: "0644" }
- { src: "server-{{ inventory_hostname }}.crt", dest: "server.crt", mode: "0644" }
- { src: "server-{{ inventory_hostname }}.key", dest: "server.key", mode: "0600" }
- { src: "peer-{{ inventory_hostname }}.crt", dest: "peer.crt", mode: "0644" }
- { src: "peer-{{ inventory_hostname }}.key", dest: "peer.key", mode: "0600" }
- name: Register new etcd member in cluster
hosts: "{{ (groups['etcd_nodes'] | default([]) | reject('equalto', node_to_add | default('')) | list)[0] | default('') }}"
gather_facts: false
become: true
when:
- k3s_etcd_type | default('embedded') == 'external'
- groups['etcd_nodes'] is defined
- node_to_add in groups['etcd_nodes']
- (groups['etcd_nodes'] | reject('equalto', node_to_add) | list) | length > 0
tags: [etcd]
tasks:
- name: Add member via etcdctl
ansible.builtin.shell: |
ETCDCTL_API=3 etcdctl \
--endpoints="https://{{ ansible_host }}:{{ etcd_client_port }}" \
--cacert="{{ etcd_pki_dir }}/ca.crt" \
--cert="{{ etcd_pki_dir }}/server.crt" \
--key="{{ etcd_pki_dir }}/server.key" \
member add "{{ node_to_add }}" \
--peer-urls="https://{{ hostvars[node_to_add]['ansible_host'] }}:{{ etcd_peer_port }}"
changed_when: true
- name: Start etcd on new etcd member
hosts: "{{ node_to_add }}"
gather_facts: true
become: true
when:
- k3s_etcd_type | default('embedded') == 'external'
- groups['etcd_nodes'] is defined
- node_to_add in groups['etcd_nodes']
tags: [etcd]
vars:
etcd_initial_cluster_state: "existing"
tasks:
- name: Build cluster members string
ansible.builtin.set_fact:
etcd_initial_cluster_members: >-
{%- set members = [] -%}
{%- for h in groups['etcd_nodes'] -%}
{%- set _ = members.append(h ~ '=https://' ~ hostvars[h]['ansible_host'] ~ ':' ~ etcd_peer_port) -%}
{%- endfor -%}
{{ members | join(',') }}
- name: Deploy etcd environment and start service
ansible.builtin.include_role:
name: etcd
tasks_from: service