Исправления в документации:
**Кластерные сервисы (15):**
- PostgreSQL с Patroni
- etcd
- Kubernetes
- ClickHouse
- Redis (перенесен из автономных)
- RabbitMQ (перенесен из автономных)
- Kafka (перенесен из автономных)
- MongoDB (перенесен из автономных)
- DragonflyDB
- Elasticsearch
- Greenplum
- MinIO
- Redpanda
- NATS
- Zookeeper (добавлен)
**Добавлены подробные методы обнаружения:**
- Redis: redis-cli cluster nodes
- RabbitMQ: rabbitmqctl cluster_status
- Kafka: kafka-topics --bootstrap-server
- MongoDB: mongosh --eval rs.status()
- Zookeeper: zkCli ls /
**Добавлены примеры использования:**
- Команды для обнаружения Redis кластера
- Команды для обнаружения RabbitMQ кластера
- Команды для обнаружения Kafka кластера
- Команды для обнаружения MongoDB кластера
- Команды для обнаружения Zookeeper кластера
**Обновлены системные зависимости:**
- Добавлены команды для кластерных сервисов
- Добавлен zkCli для Zookeeper
Теперь документация точно отражает все возможности коллектора по обнаружению кластерных систем.
Автор: Сергей Антропов
Сайт: https://devops.org.ru
Добавлено подробное описание всех 26 поддерживаемых сервисов:
**Кластерные сервисы (9):**
- PostgreSQL с Patroni
- etcd
- Kubernetes
- DragonflyDB
- Elasticsearch
- Greenplum
- MinIO
- Redpanda
- NATS
**Автономные сервисы (17):**
- Redis, ClickHouse, RabbitMQ, Kafka, MongoDB
- BIND9, Grafana, Prometheus, Loki
- Harbor, Jenkins, Keycloak, Neo4j
- Sentry, Apache Superset, InfluxDB, VictoriaMetrics
**Обновления документации:**
- Подробные методы обнаружения для каждого сервиса
- Описание портов и команд для получения версий
- Информация о кластерных командах
- Обновленная структура выходных данных с полем cluster_nodes
- Расширенный список системных зависимостей
- Примеры использования для новых сервисов
- Результаты тестирования на реальных серверах
- Обновленные ограничения и требования
Автор: Сергей Антропов
Сайт: https://devops.org.ru
- Добавлено поле cluster_nodes в структуру ServiceInfo для вывода IP всех нод кластера
- Реализовано извлечение нод для PostgreSQL с Patroni через patronictl list
- Реализовано извлечение нод для etcd кластера через etcdctl member list
- Реализовано извлечение нод для Kubernetes кластера через kubectl get nodes
- Реализовано извлечение нод для Redis кластера через redis-cli cluster nodes
- Реализовано извлечение нод для ClickHouse кластера через system.clusters
- Реализовано извлечение нод для RabbitMQ кластера через rabbitmqctl cluster_status
- Реализовано извлечение нод для Kafka кластера (базовая реализация)
- Реализовано извлечение нод для MongoDB кластера через rs.status()
- Добавлены вспомогательные функции: extractIPFromURL, isValidIP, resolveHostname
- Исправлена паника в extractClusterNodes при работе с nil указателями
- Протестировано на удаленных серверах
Автор: Сергей Антропов
Сайт: https://devops.org.ru
- Создан новый коллектор proxvmservices для обнаружения и мониторинга сервисов
- Поддержка PostgreSQL с Patroni (кластер, репликация, конфигурация)
- Поддержка etcd кластера (члены, лидер, здоровье)
- Поддержка остальных сервисов: Redis, ClickHouse, RabbitMQ, Kafka, MongoDB, Kubernetes
- Добавлен в Makefile и конфигурацию агента
- Обновлены групповые переменные Ansible для включения в группу proxvms
- Исправлены проблемы с шаблонами Ansible (конфигурация и systemd unit)
- Создана подробная документация
- Протестирован на удаленных серверах через Ansible
Автор: Сергей Антропов
Сайт: https://devops.org.ru
- Создан шаблон runner/templates/sensusagent.service.j2 для гибкой настройки systemd сервиса
- Обновлен runner/deploy-service/playbook.yml для использования шаблона вместо хардкода
- Добавлены переменные для настройки systemd сервиса в group_vars/all.yml:
- service_user, service_group, service_restart_sec, agent_mode
- Добавлена возможность переопределения agent_mode для группы proxvms (stdout вместо kafka)
- Обновлена документация docs/ansible_groups.md:
- Добавлен раздел о настройках systemd сервиса
- Добавлен раздел о шаблоне systemd сервиса
- Обновлена структура проекта
Теперь systemd сервис настраивается через Jinja2 шаблоны с возможностью
переопределения параметров для разных групп хостов.
Автор: Сергей Антропов
Сайт: https://devops.org.ru
- Удален тестовый скрипт runner/test-config-generation.sh
- Обновлен docs/overview.md:
- Добавлена информация о гибкой конфигурации коллекторов
- Добавлена информация о командах обновления
- Обновлено описание структуры runner/
- Добавлена ссылка на docs/ansible_groups.md
- Обновлен docs/deploy.md:
- Убраны ссылки на устаревшие -raw папки
- Добавлена информация о командах обновления
- Добавлен раздел о гибкой конфигурации коллекторов
- Добавлены примеры развертывания на конкретных группах
- Исправлен порядок команд в Makefile (перенесены в правильное место)
Автор: Сергей Антропов
Сайт: https://devops.org.ru
- Переименованы папки:
- delete-raw → delete
- delete-service-raw → delete-service
- deploy-raw → deploy
- deploy-service-raw → deploy-service
- Обновлены пути в Makefile для всех команд:
- make deploy
- make delete
- make deploy-service
- make delete-service
- make update-service
- make update
- Обновлены пути в документации
- Добавлены новые команды make update-service и make update
- Обновлен deploy/playbook.yml для использования шаблонов конфигурации
Автор: Сергей Антропов
Сайт: https://devops.org.ru
- Добавлен новый коллектор proxvmsystem, объединяющий функциональность system и gpu коллекторов
- Добавлен machine_uid для идентификации VM/контейнеров в Proxmox инфраструктуре
- Обновлена документация по коллекторам и проекту
- Добавлены новые хосты в inventory для тестирования
- Обновлен Makefile для сборки нового коллектора
- Обновлен config.yaml с конфигурацией proxvmsystem коллектора
Автор: Сергей Антропов
Сайт: https://devops.org.ru
- Для QEMU VM: получение UUID из конфигурации (uuid, smbios1 uuid) с fallback на machine_id
- Для LXC контейнеров: получение machine-id через pct exec (запущенные) или чтение из rootfs (остановленные)
- Добавлены функции getLXCMachineIDViaExec и getLXCMachineIDFromRootfs
- Улучшена логика fallback для случаев когда UUID недоступен
- Все machine_uid генерируются как SHA256[:16] для консистентности
- Протестировано на реальных VM и контейнерах
- Добавлен парсинг nameserver в формат dns1: ip1, dns2: ip2
- Добавлен парсинг searchdomain в структурированный формат
- Добавлен парсинг features в структурированный формат
- Переименовано description_parsed в description
- Переименовано pool_disk_size в pool_disk_size_gb
- Добавлена конвертация единиц измерения: T в GB, M в GB
- Улучшена логика удаления оригинальных полей после успешного парсинга
- Добавлен новый коллектор proxvms для сбора информации о виртуальных машинах и контейнерах Proxmox
- Реализован парсинг конфигураций VM/контейнеров с структурированием данных
- Добавлена поддержка парсинга сетевых интерфейсов, IP конфигураций, SCSI/IDE устройств
- Реализован парсинг JSON из поля description с переводом русских ключей на английский
- Добавлена генерация уникальных идентификаторов (cluster_uid, node_uid, machine_uid)
- Обновлена документация для всех коллекторов:
- proxcluster (существующая)
- gpu (существующая)
- proxnode (новая)
- proxvms (новая)
- system (новая)
- docker (новая)
- hba (новая)
- sensors (новая)
- kubernetes (новая)
- macos (новая)
- uptime (новая)
- Обновлен основной файл docs/collectors.md с полным списком коллекторов
- Добавлена поддержка платформ для каждого коллектора
- Включены примеры использования и устранение неполадок
Автор: Сергей Антропов, сайт: https://devops.org.ru
- Переписан proxcluster коллектор с асинхронным получением данных
- Добавлена информация о loadavg для каждой ноды
- Добавлена суммарная статистика кластера (CPU, память, VM, контейнеры)
- Добавлено время выполнения во все коллекторы Go (execution_time_ms/seconds)
- Улучшено логирование агента:
* Логи запуска/завершения коллекторов
* Информация о коллекторах в Kafka/stdout логах
- Добавлен новый коллектор proxnode
- Обновлен Makefile для сборки proxcluster коллектора
- Исправлены типы данных в main.go файлах коллекторов
- Исправлена ошибка 'interface conversion: interface {} is int, not float64'
- Добавлено безопасное приведение типов для всех операций с interface{}
- Исправлены проблемы в функциях getAlternativeResources, getAlternativeHardware, getVMSummary, calculateClusterResources
- Добавлена поддержка как int, так и float64 типов из JSON
- Улучшена стабильность работы коллектора
Автор: Сергей Антропов, сайт: https://devops.org.ru
- Исправлен парсинг /etc/pve/.members - теперь правильно обрабатывает JSON структуру
- Улучшен парсинг corosync.conf для извлечения имен нод
- Исправлено определение онлайн статуса нод (поддержка разных форматов статуса)
- Добавлена отладочная информация для диагностики проблем
- Исправлена проблема с неправильными именами нод в выводе
Автор: Сергей Антропов, сайт: https://devops.org.ru
- Добавлена проверка онлайн статуса нод через pvesh get /nodes
- Реализованы альтернативные методы получения данных о ресурсах через /nodes/{node}/rrddata и /nodes/{node}/capabilities
- Улучшено получение информации о VM и контейнерах с детальными ресурсами
- Добавлены fallback методы для получения данных о железе через /nodes/{node}/hardware
- Исправлена проблема с нулевыми значениями CPU/RAM
Автор: Сергей Антропов, сайт: https://devops.org.ru
- Добавлен сбор информации о виртуальных машинах и контейнерах Proxmox
- Генерация уникального vm_id на основе cluster_uuid + vmid (16 символов SHA256)
- Убрана информация о VM из коллектора proxcluster
- Обновлена документация по коллектору GPU
- Исправлен возврат пустого массива вместо null для vms
Автор: Сергей Антропов, сайт: https://devops.org.ru
- Добавлены SSL поля в KafkaConfig структуру
- Реализована SSL поддержка в KafkaOutput с TLS транспортом
- Добавлена поддержка переменных окружения для SSL настроек
- Обновлен config.yaml с SSL конфигурацией
- Создан env.example с SSL переменными
- Добавлена документация по SSL в docs/kafka_ssl.md
- Обновлен README.md с ссылкой на SSL документацию
Поддерживаемые SSL параметры:
- ssl_enabled, ssl_keystore_location, ssl_keystore_password
- ssl_key_password, ssl_truststore_location, ssl_truststore_password
- ssl_client_auth, ssl_endpoint_identification_algorithm
Автор: Сергей Антропов, сайт: https://devops.org.ru
