feat: аддоны через addons.yml, внешний etcd, управление etcd нодами
## Аддоны (group_vars/all/addons.yml)
- Создан group_vars/all/addons.yml — единое место для включения/отключения
аддонов (addon_ingress_nginx: true/false и т.д.) и их основных настроек
- Из group_vars/all/main.yml убраны все секции аддонов (NFS, CSI, ingress,
cert-manager, etcd backup, Istio, Prometheus) — остался только core кластер
- Создан playbooks/addons.yml — комбинированный плейбук с 10 плеями,
каждый с `when: addon_X | default(false) | bool`; запускает только включённые
- make install-full: core (site.yml) + аддоны по addons.yml
- make install-addons: только аддоны без переустановки core
- Убраны все *_enabled флаги из аддонов (cert_manager_enabled, istio_enabled,
prometheus_stack_enabled и др.) — аддон ставится явным вызовом
- kube-vip: убран skip guard и kube_vip_enabled флаг (core, всегда ставится)
- TLS defaults в argocd/longhorn/kubernetes-dashboard: убрана зависимость
от cert_manager_enabled, теперь просто false (задаётся явно)
- Kiali: убрана зависимость от prometheus_stack_enabled, добавлены переменные
kiali_prometheus_enabled/url и kiali_grafana_enabled/url
## Внешний etcd кластер
- Новая переменная k3s_etcd_type: embedded|external в main.yml
- inventory/hosts.ini: добавлена группа [etcd_nodes] — любые серверы,
не обязательно мастера
- roles/etcd/: полная роль для установки внешнего etcd кластера:
- install.yml — скачивает бинарник, создаёт пользователя и директории
- pki.yml — генерирует CA + server/peer/client сертификаты через openssl
на Ansible-контроллере; раскладывает на etcd ноды и k3s мастера
- service.yml — разворачивает etcd.env и systemd сервис, проверяет здоровье
- etcd.env.j2 и etcd.service.j2 — шаблоны конфигурации
- etcd_pki_local_dir: persistent путь (<project>/etcd-pki/) вместо /tmp,
etcd-pki/ добавлен в .gitignore
- roles/k3s/templates/k3s-server-config.yaml.j2: при external режиме
подставляет datastore-endpoint со всеми etcd нодами + пути к клиентским
сертификатам; при embedded — прежняя логика cluster-init
- playbooks/site.yml: условный плей для etcd перед k3s (тег etcd)
- make install-etcd: отдельная команда для развёртывания etcd кластера
## Управление etcd нодами
- playbooks/add-etcd-node.yml: добавить ноду в работающий etcd кластер
(PKI генерация → install → etcdctl member add → start с state=existing → verify)
- playbooks/remove-etcd-node.yml: безопасно удалить ноду из etcd кластера
(проверка кворума → member remove → stop → clean up PKI)
- playbooks/add-node.yml: при k3s_etcd_type=external и наличии ноды в
[etcd_nodes] автоматически добавляет её в etcd кластер после k3s
- playbooks/remove-node.yml: при k3s_etcd_type=external сначала удаляет
ноду из etcd (member remove + stop), затем из k3s
- make add-etcd-node NODE=etcd04 / make remove-etcd-node NODE=etcd04
- Команды add-etcd-node / remove-etcd-node в docker/entrypoint.sh
This commit is contained in:
@@ -85,15 +85,132 @@
|
||||
ansible.builtin.debug:
|
||||
msg: "{{ new_node_status.stdout_lines }}"
|
||||
|
||||
- name: Install NFS client on new node (if CSI NFS enabled)
|
||||
- name: Install NFS client on new node
|
||||
ansible.builtin.apt:
|
||||
name: nfs-common
|
||||
state: present
|
||||
update_cache: true
|
||||
when: csi_nfs_enabled | default(true) | bool
|
||||
|
||||
- name: Summary
|
||||
ansible.builtin.debug:
|
||||
msg: >
|
||||
Нода {{ inventory_hostname }} успешно добавлена в кластер.
|
||||
Тип: {{ 'master (etcd participant)' if inventory_hostname in groups['k3s_master'] else 'worker (agent)' }}
|
||||
Нода {{ inventory_hostname }} успешно добавлена в k3s кластер.
|
||||
Тип: {{ 'master' if inventory_hostname in groups['k3s_master'] else 'worker' }}.
|
||||
|
||||
# ── Генерируем PKI и регистрируем в etcd (если нода в [etcd_nodes]) ──────────
|
||||
- name: Generate PKI certificates for new etcd member
|
||||
hosts: localhost
|
||||
gather_facts: false
|
||||
become: false
|
||||
when:
|
||||
- k3s_etcd_type | default('embedded') == 'external'
|
||||
- groups['etcd_nodes'] is defined
|
||||
- node_to_add in groups['etcd_nodes']
|
||||
tags: [etcd]
|
||||
tasks:
|
||||
- name: Generate server/peer certs for new etcd node
|
||||
ansible.builtin.shell: |
|
||||
set -e
|
||||
NODE="{{ node_to_add }}"
|
||||
NODE_IP="{{ hostvars[node_to_add]['ansible_host'] }}"
|
||||
PKI="{{ etcd_pki_local_dir }}"
|
||||
SAN="subjectAltName=IP:${NODE_IP},IP:127.0.0.1,DNS:${NODE},DNS:localhost"
|
||||
|
||||
[ -f "${PKI}/ca.key" ] || { echo "CA key not found: ${PKI}/ca.key"; exit 1; }
|
||||
rm -f "${PKI}/server-${NODE}."{crt,key,csr} "${PKI}/peer-${NODE}."{crt,key,csr}
|
||||
|
||||
openssl genrsa -out "${PKI}/server-${NODE}.key" 2048
|
||||
openssl req -new -key "${PKI}/server-${NODE}.key" -out "${PKI}/server-${NODE}.csr" \
|
||||
-subj "/CN=${NODE}/O=etcd"
|
||||
openssl x509 -req -days 3650 \
|
||||
-in "${PKI}/server-${NODE}.csr" -CA "${PKI}/ca.crt" -CAkey "${PKI}/ca.key" \
|
||||
-CAcreateserial -out "${PKI}/server-${NODE}.crt" \
|
||||
-extfile <(printf "${SAN}")
|
||||
|
||||
openssl genrsa -out "${PKI}/peer-${NODE}.key" 2048
|
||||
openssl req -new -key "${PKI}/peer-${NODE}.key" -out "${PKI}/peer-${NODE}.csr" \
|
||||
-subj "/CN=${NODE}/O=etcd-peer"
|
||||
openssl x509 -req -days 3650 \
|
||||
-in "${PKI}/peer-${NODE}.csr" -CA "${PKI}/ca.crt" -CAkey "${PKI}/ca.key" \
|
||||
-CAcreateserial -out "${PKI}/peer-${NODE}.crt" \
|
||||
-extfile <(printf "${SAN}")
|
||||
args:
|
||||
executable: /bin/bash
|
||||
changed_when: true
|
||||
|
||||
- name: Install etcd and distribute certs to new etcd member
|
||||
hosts: "{{ node_to_add }}"
|
||||
gather_facts: true
|
||||
become: true
|
||||
when:
|
||||
- k3s_etcd_type | default('embedded') == 'external'
|
||||
- groups['etcd_nodes'] is defined
|
||||
- node_to_add in groups['etcd_nodes']
|
||||
tags: [etcd]
|
||||
tasks:
|
||||
- name: Install etcd binary
|
||||
ansible.builtin.include_role:
|
||||
name: etcd
|
||||
tasks_from: install
|
||||
|
||||
- name: Copy CA and server/peer certs
|
||||
ansible.builtin.copy:
|
||||
src: "{{ etcd_pki_local_dir }}/{{ item.src }}"
|
||||
dest: "{{ etcd_pki_dir }}/{{ item.dest }}"
|
||||
owner: etcd
|
||||
group: etcd
|
||||
mode: "{{ item.mode }}"
|
||||
loop:
|
||||
- { src: "ca.crt", dest: "ca.crt", mode: "0644" }
|
||||
- { src: "server-{{ inventory_hostname }}.crt", dest: "server.crt", mode: "0644" }
|
||||
- { src: "server-{{ inventory_hostname }}.key", dest: "server.key", mode: "0600" }
|
||||
- { src: "peer-{{ inventory_hostname }}.crt", dest: "peer.crt", mode: "0644" }
|
||||
- { src: "peer-{{ inventory_hostname }}.key", dest: "peer.key", mode: "0600" }
|
||||
|
||||
- name: Register new etcd member in cluster
|
||||
hosts: "{{ (groups['etcd_nodes'] | default([]) | reject('equalto', node_to_add | default('')) | list)[0] | default('') }}"
|
||||
gather_facts: false
|
||||
become: true
|
||||
when:
|
||||
- k3s_etcd_type | default('embedded') == 'external'
|
||||
- groups['etcd_nodes'] is defined
|
||||
- node_to_add in groups['etcd_nodes']
|
||||
- (groups['etcd_nodes'] | reject('equalto', node_to_add) | list) | length > 0
|
||||
tags: [etcd]
|
||||
tasks:
|
||||
- name: Add member via etcdctl
|
||||
ansible.builtin.shell: |
|
||||
ETCDCTL_API=3 etcdctl \
|
||||
--endpoints="https://{{ ansible_host }}:{{ etcd_client_port }}" \
|
||||
--cacert="{{ etcd_pki_dir }}/ca.crt" \
|
||||
--cert="{{ etcd_pki_dir }}/server.crt" \
|
||||
--key="{{ etcd_pki_dir }}/server.key" \
|
||||
member add "{{ node_to_add }}" \
|
||||
--peer-urls="https://{{ hostvars[node_to_add]['ansible_host'] }}:{{ etcd_peer_port }}"
|
||||
changed_when: true
|
||||
|
||||
- name: Start etcd on new etcd member
|
||||
hosts: "{{ node_to_add }}"
|
||||
gather_facts: true
|
||||
become: true
|
||||
when:
|
||||
- k3s_etcd_type | default('embedded') == 'external'
|
||||
- groups['etcd_nodes'] is defined
|
||||
- node_to_add in groups['etcd_nodes']
|
||||
tags: [etcd]
|
||||
vars:
|
||||
etcd_initial_cluster_state: "existing"
|
||||
tasks:
|
||||
- name: Build cluster members string
|
||||
ansible.builtin.set_fact:
|
||||
etcd_initial_cluster_members: >-
|
||||
{%- set members = [] -%}
|
||||
{%- for h in groups['etcd_nodes'] -%}
|
||||
{%- set _ = members.append(h ~ '=https://' ~ hostvars[h]['ansible_host'] ~ ':' ~ etcd_peer_port) -%}
|
||||
{%- endfor -%}
|
||||
{{ members | join(',') }}
|
||||
|
||||
- name: Deploy etcd environment and start service
|
||||
ansible.builtin.include_role:
|
||||
name: etcd
|
||||
tasks_from: service
|
||||
|
||||
Reference in New Issue
Block a user