17 Commits

Author SHA1 Message Date
e67f83d461 docs: полная переработка документации коллектора proxvmservices
**Новая структура документации:**

**1. Расширенное описание:**
- Ключевые возможности коллектора
- Поддержка 26+ сервисов
- Множественные способы развертывания
- Интеграция с Proxmox

**2. Структурированные таблицы сервисов:**
- Кластерные сервисы (18) с описанием портов и возможностей
- Автономные сервисы (8) с особенностями
- Четкое разделение по типам

**3. Детальные методы обнаружения:**
- Алгоритм обнаружения для каждого сервиса
- Примеры команд для всех способов развертывания
- Поддержка нативных процессов, Docker, Docker Compose

**4. Полная структура данных:**
- JSON схема выходных данных
- Описание всех полей
- Примеры конфигурации

**5. Практические примеры:**
- Команды для обнаружения PostgreSQL, Redis, ClickHouse, Kafka, MongoDB
- Docker команды для всех сервисов
- Примеры развертывания

**6. Системные требования:**
- Полный список зависимостей
- Специфичные инструменты для каждого сервиса
- Переменные окружения

**7. Операционные аспекты:**
- Конфигурация через Ansible группы
- Развертывание и обновление
- Мониторинг и логирование
- Устранение неполадок

**8. Интеграция:**
- Связь с другими коллекторами Proxmox
- Интеграция с системами мониторинга
- Экспорт метрик

**Улучшения:**
- Читаемость и структурированность
- Практические примеры использования
- Полное покрытие всех возможностей
- Готовность к production использованию

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 18:10:46 +03:00
67db7765c5 feat: добавлена полная поддержка Docker для всех сервисов в коллекторе proxvmservices
**Обновленные сервисы с Docker поддержкой:**

**Кластерные сервисы:**
- etcd: etcd, etcd
- Kubernetes: kubelet, k8s.gcr.io/kubelet
- Kafka: kafka, confluentinc/cp-kafka
- DragonflyDB: dragonfly, docker.dragonflydb.io/dragonflydb/dragonfly
- Greenplum: greenplum, greenplum/greenplum
- MinIO: minio, minio/minio
- Redpanda: redpanda, redpandadata/redpanda
- NATS: nats, nats

**Автономные сервисы:**
- BIND9: bind9, internetwache/bind9
- Loki: loki, grafana/loki
- Harbor: harbor, goharbor/harbor-core
- Jenkins: jenkins, jenkins/jenkins
- Keycloak: keycloak, quay.io/keycloak/keycloak
- Neo4j: neo4j, neo4j/neo4j
- Sentry: sentry, sentry
- Apache Superset: superset, apache/superset
- InfluxDB: influxdb, influxdb
- VictoriaMetrics: victoria-metrics, victoriametrics/victoria-metrics

**Обновленная документация:**
- Добавлены Docker проверки для всех 26 сервисов
- Обновлены методы обнаружения с Docker командами
- Добавлены примеры использования Docker команд для всех сервисов
- Обновлены примеры обнаружения кластеров с Docker поддержкой

**Полная поддержка способов развертывания:**
-  Нативные процессы (systemd, init)
-  Docker-контейнеры
-  Docker Compose

Теперь коллектор может обнаруживать все 26 сервисов независимо от способа их развертывания!

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 18:07:09 +03:00
4a36a04d82 feat: добавлена поддержка обнаружения Docker-контейнеров в коллектор proxvmservices
**Новые возможности:**
- Обнаружение сервисов, запущенных в Docker-контейнерах
- Поддержка Docker Compose развертываний
- Проверка как по имени контейнера, так и по образу

**Добавленные функции:**
- isDockerContainerRunning() - проверка контейнеров по имени
- isDockerImageRunning() - проверка контейнеров по образу
- getDockerContainerPorts() - получение портов контейнера
- getDockerContainerVersion() - получение версии из контейнера

**Обновленные сервисы с Docker поддержкой:**
- PostgreSQL: postgres, patroni, bitnami/postgresql
- Redis: redis
- ClickHouse: clickhouse, clickhouse/clickhouse-server
- RabbitMQ: rabbitmq
- MongoDB: mongo
- Elasticsearch: elasticsearch
- Grafana: grafana, grafana/grafana
- Prometheus: prometheus, prom/prometheus

**Обновленная документация:**
- Добавлены способы развертывания (нативные, Docker, Docker Compose)
- Обновлены методы обнаружения с Docker проверками
- Добавлены примеры использования Docker команд
- Добавлен docker в системные зависимости

**Поддерживаемые способы развертывания:**
- Нативные процессы (systemd, init)
- Docker-контейнеры
- Docker Compose

Теперь коллектор может обнаруживать сервисы независимо от способа их развертывания!

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 17:55:23 +03:00
d0f7bb6d24 docs: исправлена документация - все кластерные сервисы указаны правильно
Исправления в документации:

**Кластерные сервисы (15):**
- PostgreSQL с Patroni
- etcd
- Kubernetes
- ClickHouse
- Redis (перенесен из автономных)
- RabbitMQ (перенесен из автономных)
- Kafka (перенесен из автономных)
- MongoDB (перенесен из автономных)
- DragonflyDB
- Elasticsearch
- Greenplum
- MinIO
- Redpanda
- NATS
- Zookeeper (добавлен)

**Добавлены подробные методы обнаружения:**
- Redis: redis-cli cluster nodes
- RabbitMQ: rabbitmqctl cluster_status
- Kafka: kafka-topics --bootstrap-server
- MongoDB: mongosh --eval rs.status()
- Zookeeper: zkCli ls /

**Добавлены примеры использования:**
- Команды для обнаружения Redis кластера
- Команды для обнаружения RabbitMQ кластера
- Команды для обнаружения Kafka кластера
- Команды для обнаружения MongoDB кластера
- Команды для обнаружения Zookeeper кластера

**Обновлены системные зависимости:**
- Добавлены команды для кластерных сервисов
- Добавлен zkCli для Zookeeper

Теперь документация точно отражает все возможности коллектора по обнаружению кластерных систем.

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 17:48:59 +03:00
31f923af8b docs: обновлена документация коллектора proxvmservices
Добавлено подробное описание всех 26 поддерживаемых сервисов:

**Кластерные сервисы (9):**
- PostgreSQL с Patroni
- etcd
- Kubernetes
- DragonflyDB
- Elasticsearch
- Greenplum
- MinIO
- Redpanda
- NATS

**Автономные сервисы (17):**
- Redis, ClickHouse, RabbitMQ, Kafka, MongoDB
- BIND9, Grafana, Prometheus, Loki
- Harbor, Jenkins, Keycloak, Neo4j
- Sentry, Apache Superset, InfluxDB, VictoriaMetrics

**Обновления документации:**
- Подробные методы обнаружения для каждого сервиса
- Описание портов и команд для получения версий
- Информация о кластерных командах
- Обновленная структура выходных данных с полем cluster_nodes
- Расширенный список системных зависимостей
- Примеры использования для новых сервисов
- Результаты тестирования на реальных серверах
- Обновленные ограничения и требования

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 17:43:41 +03:00
5fa101dfff feat: добавлен коллектор proxvmservices для обнаружения сервисов на VM
- Создан новый коллектор proxvmservices для обнаружения и мониторинга сервисов
- Поддержка PostgreSQL с Patroni (кластер, репликация, конфигурация)
- Поддержка etcd кластера (члены, лидер, здоровье)
- Поддержка остальных сервисов: Redis, ClickHouse, RabbitMQ, Kafka, MongoDB, Kubernetes
- Добавлен в Makefile и конфигурацию агента
- Обновлены групповые переменные Ansible для включения в группу proxvms
- Исправлены проблемы с шаблонами Ansible (конфигурация и systemd unit)
- Создана подробная документация
- Протестирован на удаленных серверах через Ansible

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 17:04:47 +03:00
89512f66bc feat: добавлен шаблон для systemd сервиса
- Создан шаблон runner/templates/sensusagent.service.j2 для гибкой настройки systemd сервиса
- Обновлен runner/deploy-service/playbook.yml для использования шаблона вместо хардкода
- Добавлены переменные для настройки systemd сервиса в group_vars/all.yml:
  - service_user, service_group, service_restart_sec, agent_mode
- Добавлена возможность переопределения agent_mode для группы proxvms (stdout вместо kafka)
- Обновлена документация docs/ansible_groups.md:
  - Добавлен раздел о настройках systemd сервиса
  - Добавлен раздел о шаблоне systemd сервиса
  - Обновлена структура проекта

Теперь systemd сервис настраивается через Jinja2 шаблоны с возможностью
переопределения параметров для разных групп хостов.

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 15:40:32 +03:00
d1da51d875 docs: обновлена документация проекта
- Удален тестовый скрипт runner/test-config-generation.sh
- Обновлен docs/overview.md:
  - Добавлена информация о гибкой конфигурации коллекторов
  - Добавлена информация о командах обновления
  - Обновлено описание структуры runner/
  - Добавлена ссылка на docs/ansible_groups.md

- Обновлен docs/deploy.md:
  - Убраны ссылки на устаревшие -raw папки
  - Добавлена информация о командах обновления
  - Добавлен раздел о гибкой конфигурации коллекторов
  - Добавлены примеры развертывания на конкретных группах

- Исправлен порядок команд в Makefile (перенесены в правильное место)

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 14:58:41 +03:00
330397f331 refactor: убран суффикс -raw из названий папок Ansible ролей
- Переименованы папки:
  - delete-raw → delete
  - delete-service-raw → delete-service
  - deploy-raw → deploy
  - deploy-service-raw → deploy-service

- Обновлены пути в Makefile для всех команд:
  - make deploy
  - make delete
  - make deploy-service
  - make delete-service
  - make update-service
  - make update

- Обновлены пути в документации
- Добавлены новые команды make update-service и make update
- Обновлен deploy/playbook.yml для использования шаблонов конфигурации

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 14:55:41 +03:00
7316b507ad feat: добавлена гибкая конфигурация коллекторов через Ansible группы
- Создана система групповых переменных для настройки коллекторов
- Добавлены группы: proxmox, proxvms, standalone
- Создан шаблон config.yaml.j2 для автоматической генерации конфигурации
- Обновлен Ansible playbook для использования шаблонов
- Добавлен скрипт тестирования генерации конфигурации
- Создана подробная документация по новой системе
- Обновлен inventory.ini с группировкой хостов

Группы коллекторов:
- proxmox: proxcluster, proxnode, proxvms, uptime
- proxvms: proxvmsystem, uptime
- standalone: system, hba, sensors, uptime

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 14:50:51 +03:00
7d970eada7 feat: добавлен коллектор proxvmsystem и обновлена документация
- Добавлен новый коллектор proxvmsystem, объединяющий функциональность system и gpu коллекторов
- Добавлен machine_uid для идентификации VM/контейнеров в Proxmox инфраструктуре
- Обновлена документация по коллекторам и проекту
- Добавлены новые хосты в inventory для тестирования
- Обновлен Makefile для сборки нового коллектора
- Обновлен config.yaml с конфигурацией proxvmsystem коллектора

Автор: Сергей Антропов
Сайт: https://devops.org.ru
2025-09-15 14:13:22 +03:00
15e6260ac3 feat: добавлен коллектор proxvms и обновлена документация
- Добавлен новый коллектор proxvms для сбора информации о виртуальных машинах и контейнерах Proxmox
- Реализован парсинг конфигураций VM/контейнеров с структурированием данных
- Добавлена поддержка парсинга сетевых интерфейсов, IP конфигураций, SCSI/IDE устройств
- Реализован парсинг JSON из поля description с переводом русских ключей на английский
- Добавлена генерация уникальных идентификаторов (cluster_uid, node_uid, machine_uid)
- Обновлена документация для всех коллекторов:
  - proxcluster (существующая)
  - gpu (существующая)
  - proxnode (новая)
  - proxvms (новая)
  - system (новая)
  - docker (новая)
  - hba (новая)
  - sensors (новая)
  - kubernetes (новая)
  - macos (новая)
  - uptime (новая)
- Обновлен основной файл docs/collectors.md с полным списком коллекторов
- Добавлена поддержка платформ для каждого коллектора
- Включены примеры использования и устранение неполадок

Автор: Сергей Антропов, сайт: https://devops.org.ru
2025-09-15 12:47:44 +03:00
621d3f0a43 feat: добавлена информация о VM в коллектор GPU
- Добавлен сбор информации о виртуальных машинах и контейнерах Proxmox
- Генерация уникального vm_id на основе cluster_uuid + vmid (16 символов SHA256)
- Убрана информация о VM из коллектора proxcluster
- Обновлена документация по коллектору GPU
- Исправлен возврат пустого массива вместо null для vms

Автор: Сергей Антропов, сайт: https://devops.org.ru
2025-09-11 16:14:42 +03:00
5bfb6fea8b feat: добавлена поддержка SSL для Kafka
- Добавлены SSL поля в KafkaConfig структуру
- Реализована SSL поддержка в KafkaOutput с TLS транспортом
- Добавлена поддержка переменных окружения для SSL настроек
- Обновлен config.yaml с SSL конфигурацией
- Создан env.example с SSL переменными
- Добавлена документация по SSL в docs/kafka_ssl.md
- Обновлен README.md с ссылкой на SSL документацию

Поддерживаемые SSL параметры:
- ssl_enabled, ssl_keystore_location, ssl_keystore_password
- ssl_key_password, ssl_truststore_location, ssl_truststore_password
- ssl_client_auth, ssl_endpoint_identification_algorithm

Автор: Сергей Антропов, сайт: https://devops.org.ru
2025-09-10 11:37:04 +03:00
ff3c3f6f9e ansible(raw): make raw roles default; remove python-based roles; update docs [author: Сергей Антропов https://devops.org.ru] 2025-09-08 15:43:42 +03:00
55e796bc2b docs: Kafka details; systemd section; compose examples; CI/CD notes; FAQ [author: Сергей Антропов https://devops.org.ru] 2025-09-08 15:23:12 +03:00
1402fceb0e docs: rewrite overview, collectors, config, build_and_run, deploy; update README [author: Сергей Антропов https://devops.org.ru] 2025-09-08 15:19:13 +03:00