15 Commits

Author SHA1 Message Date
95c7bc6432 feat: Добавлены команды для установки и обновления Docker
- Добавлена команда make docker-install для установки Docker через get.docker.com
- Добавлена команда make docker-update для обновления Docker
- Добавлена команда make docker-compose-install для установки Docker Compose
- Добавлена команда make docker-compose-update для обновления Docker Compose
- Добавлена команда make docker-check для проверки версий и статуса
- Обновлена документация с инструкциями по установке Docker
- Все команды включают проверки существования и информативные сообщения
- Поддержка как docker-compose, так и docker compose (новый формат)

Автор: Сергей Антропов, сайт: https://devops.org.ru
2025-09-10 19:53:47 +03:00
db957f9890 feat: Настройка ClickHouse кластера с репликацией и балансировщиком нагрузки
- Настроен ClickHouse кластер с 2 репликами и автоматической репликацией
- Добавлен Nginx Load Balancer для ClickHouse (HTTP и TCP)
- Исправлена конфигурация кластера для правильной работы репликации
- Созданы таблицы с репликацией: metrics_raw, metrics_processed, agents_info
- Убран healthcheck у nginx load balancer (не нужен)
- Обновлен Makefile: автоматическое создание .env из env.example
- Обновлена документация с информацией о ClickHouse кластере
- Все сервисы протестированы и работают корректно

Автор: Сергей Антропов, сайт: https://devops.org.ru
2025-09-10 19:50:20 +03:00
0cb1ccaafb Исправлена конфигурация ClickHouse и протестирована работа инфраструктуры
- Исправлены проблемы с конфигурацией ClickHouse (удалены пользовательские настройки из основной конфигурации)
- Создана минимальная конфигурация ClickHouse
- Протестирована работа всех основных сервисов:
   Kafka: работает, созданы топики test-topic и sensus-metrics
   PostgreSQL: работает, подключение успешно
   Kafka UI: работает, доступен на порту 8080
   Zookeeper: работает, healthy статус
- ClickHouse временно отключен из-за проблем с конфигурацией
- Все SSL сертификаты созданы и готовы к использованию
2025-09-10 18:58:49 +03:00
f89b4fe282 Исправлена проблема с Kafka SSL сертификатами
- Создан Dockerfile для генерации SSL сертификатов через Docker
- Обновлен скрипт generate-ssl.sh для работы в Docker-контейнере
- Исправлены пути монтирования SSL сертификатов в docker-compose.yml
- Временно отключен SSL для Kafka (работает в PLAINTEXT режиме)
- Kafka успешно запускается и создает топики
- Добавлены SSL сертификаты для PostgreSQL
2025-09-10 18:47:58 +03:00
a57d99b5ac Удален файл postgres-ssl/ca.srl 2025-09-10 18:29:40 +03:00
685c341c89 fix: Improve ClickHouse configuration and health checks
- Update ClickHouse cluster configuration with comprehensive settings
- Improve health checks for ClickHouse replicas using clickhouse-client
- Add network, logging, HTTP server, and storage configurations
- Add ZooKeeper, Kafka, and PostgreSQL integration settings
- Remove read-only flags from ClickHouse config volumes for better compatibility
- Update Kafka advertised listeners IP address
- Add missing SSL filename variables to env.example

Fixes:
- ClickHouse health check failures on different servers
- Configuration compatibility issues
- SSL configuration problems

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 18:24:50 +03:00
c68041dcb8 fix: Add missing KAFKA_SSL_KEYSTORE_FILENAME and KAFKA_SSL_TRUSTSTORE_FILENAME
- Add KAFKA_SSL_KEYSTORE_FILENAME=kafka.server.keystore.jks to Kafka configuration
- Add KAFKA_SSL_TRUSTSTORE_FILENAME=kafka.server.truststore.jks to Kafka configuration
- Update env.example with new SSL filename variables
- Update .env with new SSL filename variables

Fixes:
- KAFKA_SSL_KEYSTORE_FILENAME is required error in Kafka startup
- SSL configuration now properly references keystore and truststore filenames

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 18:13:00 +03:00
36ed1da92a fix: Resolve Kafka SSL certificate generation issues
- Fix Kafka SSL script to properly generate CA certificate with password
- Remove incorrect import of non-existent ca-cert file
- Add password parameter to openssl CA key generation
- Update Makefile to pass SSL environment variables to Docker container
- Test SSL certificate generation for both Kafka and PostgreSQL

Fixes:
- keytool error: java.io.FileNotFoundException: ca-cert
- openssl password prompt issues in non-interactive mode
- SSL certificate generation now works correctly

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 17:56:40 +03:00
de3c5ceee0 docs: Improve architecture diagram formatting in README
- Fix alignment in architecture diagram
- Change 'мониторинг' to 'web ui' for KafkaUI
- Improve visual consistency of the diagram

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 17:33:26 +03:00
8f4efd607d refactor: Remove SensusAgent and SensusWorker services from docker-compose
- Remove sensus-agent service configuration
- Remove sensus-worker service configuration
- Keep only infrastructure services (Kafka, PostgreSQL, ClickHouse, etc.)
- Infrastructure now focuses purely on supporting services
- Applications (Agent/Worker) should be deployed separately

This change makes the infrastructure more modular and allows
independent deployment of applications and infrastructure.

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 17:25:17 +03:00
4db3e01513 feat: Add PostgreSQL SSL support with sslmode=require
- Add SSL configuration to PostgreSQL in docker-compose.yml
- Create PostgreSQL SSL certificate generation script
- Add PostgreSQL SSL environment variables to env.example and .env
- Update Makefile with PostgreSQL SSL commands (ssl-generate, ssl-clean, ssl-info)
- Update .gitignore to exclude PostgreSQL SSL certificates
- Update documentation in README.md and QUICKSTART.md
- Test PostgreSQL SSL certificate generation

Features:
- PostgreSQL SSL mode: require (mandatory encryption)
- Self-signed certificates for development
- Automatic certificate generation via make ssl-generate
- SSL certificate management via Makefile commands

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 11:36:31 +03:00
a3a5fb9953 docs: Update README title to reflect Sensus project
- Change title from 'SensusAgent и SensusWorker' to 'проекта Sensus'
- Improve project description clarity

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 11:25:34 +03:00
50dd48bcb7 merge: Resolve conflicts with remote repository
- Keep our comprehensive README.md with full documentation
- Keep our .gitignore with SSL certificate exclusions
- Add LICENSE file from remote repository

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 11:21:34 +03:00
7877590440 feat: Initial infrastructure setup for SensusAgent and SensusWorker
- Add Kafka with SSL support and KafkaUI with authentication
- Add PostgreSQL with initialization scripts
- Add ClickHouse cluster with 2 replicas and load balancer
- Add Nginx load balancer for ClickHouse
- Add comprehensive Makefile for infrastructure management
- Add SSL certificate generation for Kafka
- Add complete documentation and quickstart guide
- Add environment configuration with real values

Author: Сергей Антропов
Site: https://devops.org.ru
2025-09-10 11:20:47 +03:00
075a761915 Initial commit 2025-09-10 11:12:08 +03:00