Sergey Antropoff
b1bae8af9f
- Создано 10 готовых пресетов для разных типов инфраструктуры - Минимальная лаборатория (1-3 машины) - базовое тестирование - Веб-приложение (3-5 машин) - классическая архитектура - Микросервисы (5-8 машин) - современная архитектура - Высокая доступность (6-10 машин) - отказоустойчивость - Kubernetes кластер (8-12 машин) - контейнерная оркестрация - CI/CD пайплайн (10-15 машин) - автоматизация разработки - Big Data кластер (12-18 машин) - обработка больших данных - Service Mesh (15-20 машин) - микросервисная архитектура - Enterprise (18-20 машин) - корпоративная инфраструктура - Максимальный (20 машин) - экстремальные условия Каждый пресет включает: - Подробное описание архитектуры - Различные группы хостов (webservers, databases, monitoring) - Смешанные семейства ОС (debian/rhel) - Настроенные порты и сервисы - Готовые команды для запуска Документация: - README с описанием всех пресетов - Примеры использования - Рекомендации по выбору - Troubleshooting Автор: Сергей Антропов Сайт: https://devops.org.ru
121 lines
2.5 KiB
YAML
121 lines
2.5 KiB
YAML
---
|
||
# ПРЕСЕТ: Big Data кластер (12-18 машин)
|
||
#
|
||
# Описание: Кластер для обработки больших данных с различными компонентами
|
||
# - 3 Hadoop NameNode (активный/резервный/журнал) - метаданные
|
||
# - 3 Hadoop DataNode - хранение данных
|
||
# - 1 Hive Metastore - метаданные таблиц
|
||
# - 1 Spark Master - управление Spark
|
||
# - 2 Spark Worker - обработка данных
|
||
# - 1 Kafka Broker - потоковая обработка
|
||
# - 1 Zookeeper - координация сервисов
|
||
# - 1 Elasticsearch - поиск и аналитика
|
||
# - 1 Kibana - визуализация данных
|
||
#
|
||
# Использование: make lab-test SCENARIO=universal LAB_SPEC=molecule/presets/bigdata.yml
|
||
#
|
||
# Автор: Сергей Антропов
|
||
# Сайт: https://devops.org.ru
|
||
|
||
docker_network: labnet
|
||
|
||
images:
|
||
debian: "ghcr.io/ansible-community/molecule-ubuntu-systemd:jammy"
|
||
rhel: "quay.io/centos/centos:stream9-systemd"
|
||
|
||
systemd_defaults:
|
||
privileged: true
|
||
command: "/sbin/init"
|
||
volumes:
|
||
- "/sys/fs/cgroup:/sys/fs/cgroup:ro"
|
||
tmpfs:
|
||
- "/run"
|
||
- "/run/lock"
|
||
capabilities:
|
||
- "SYS_ADMIN"
|
||
|
||
hosts:
|
||
- name: namenode1
|
||
group: namenodes
|
||
family: debian
|
||
publish:
|
||
- "9870:9870"
|
||
|
||
- name: namenode2
|
||
group: namenodes
|
||
family: rhel
|
||
publish:
|
||
- "9871:9870"
|
||
|
||
- name: namenode3
|
||
group: namenodes
|
||
family: debian
|
||
publish:
|
||
- "9872:9870"
|
||
|
||
- name: datanode1
|
||
group: datanodes
|
||
family: rhel
|
||
publish:
|
||
- "9864:9864"
|
||
|
||
- name: datanode2
|
||
group: datanodes
|
||
family: debian
|
||
publish:
|
||
- "9865:9864"
|
||
|
||
- name: datanode3
|
||
group: datanodes
|
||
family: rhel
|
||
publish:
|
||
- "9866:9864"
|
||
|
||
- name: hive-metastore
|
||
group: metastores
|
||
family: debian
|
||
publish:
|
||
- "9083:9083"
|
||
|
||
- name: spark-master
|
||
group: spark
|
||
family: rhel
|
||
publish:
|
||
- "8080:8080"
|
||
|
||
- name: spark-worker1
|
||
group: spark
|
||
family: debian
|
||
publish:
|
||
- "8081:8080"
|
||
|
||
- name: spark-worker2
|
||
group: spark
|
||
family: rhel
|
||
publish:
|
||
- "8082:8080"
|
||
|
||
- name: kafka
|
||
group: streaming
|
||
family: debian
|
||
publish:
|
||
- "9092:9092"
|
||
|
||
- name: zookeeper
|
||
group: coordination
|
||
family: rhel
|
||
publish:
|
||
- "2181:2181"
|
||
|
||
- name: elasticsearch
|
||
group: search
|
||
family: debian
|
||
publish:
|
||
- "9200:9200"
|
||
|
||
- name: kibana
|
||
group: visualization
|
||
family: rhel
|
||
publish:
|
||
- "5601:5601"
|