Sergey Antropoff
7877590440
- Add Kafka with SSL support and KafkaUI with authentication - Add PostgreSQL with initialization scripts - Add ClickHouse cluster with 2 replicas and load balancer - Add Nginx load balancer for ClickHouse - Add comprehensive Makefile for infrastructure management - Add SSL certificate generation for Kafka - Add complete documentation and quickstart guide - Add environment configuration with real values Author: Сергей Антропов Site: https://devops.org.ru
136 lines
6.1 KiB
XML
136 lines
6.1 KiB
XML
<!-- Автор: Сергей Антропов, сайт: https://devops.org.ru -->
|
||
<!-- Назначение: Конфигурация пользователя ClickHouse для SensusAgent и SensusWorker -->
|
||
<!-- Определение пользователя sensus с необходимыми правами доступа -->
|
||
|
||
<yandex>
|
||
<!-- Пользователь sensus -->
|
||
<users>
|
||
<sensus>
|
||
<!-- Пароль (будет переопределен через переменную окружения) -->
|
||
<password_sha256_hex></password_sha256_hex>
|
||
<password></password>
|
||
|
||
<!-- Сетевые настройки -->
|
||
<networks>
|
||
<ip>::/0</ip>
|
||
</networks>
|
||
|
||
<!-- Настройки профиля -->
|
||
<profile>default</profile>
|
||
|
||
<!-- Настройки квот -->
|
||
<quota>default</quota>
|
||
|
||
<!-- Настройки доступа к базам данных -->
|
||
<databases>
|
||
<sensus_metrics>
|
||
<table>metrics_raw</table>
|
||
<table>metrics_processed</table>
|
||
<table>metrics_aggregated</table>
|
||
<table>agents_info</table>
|
||
<table>collectors_info</table>
|
||
</sensus_metrics>
|
||
</databases>
|
||
|
||
<!-- Настройки для работы с большими запросами -->
|
||
<max_memory_usage>10000000000</max_memory_usage>
|
||
<max_bytes_before_external_group_by>20000000000</max_bytes_before_external_group_by>
|
||
<max_bytes_before_external_sort>20000000000</max_bytes_before_external_sort>
|
||
|
||
<!-- Настройки для работы с временными данными -->
|
||
<max_temporary_data_size>10000000000</max_temporary_data_size>
|
||
<max_temporary_non_const_columns>1000</max_temporary_non_const_columns>
|
||
|
||
<!-- Настройки для работы с запросами -->
|
||
<max_query_size>268435456</max_query_size>
|
||
<max_ast_depth>1000</max_ast_depth>
|
||
<max_ast_elements>50000</max_ast_elements>
|
||
<max_expanded_ast_elements>500000</max_expanded_ast_elements>
|
||
|
||
<!-- Настройки для работы с репликацией -->
|
||
<distributed_ddl>
|
||
<path>/clickhouse/task_queue/ddl</path>
|
||
</distributed_ddl>
|
||
|
||
<!-- Настройки для работы с внешними источниками данных -->
|
||
<external_table_functions_whitelist>
|
||
<function>url</function>
|
||
<function>file</function>
|
||
<function>mysql</function>
|
||
<function>postgresql</function>
|
||
<function>odbc</function>
|
||
<function>jdbc</function>
|
||
<function>hdfs</function>
|
||
<function>s3</function>
|
||
</external_table_functions_whitelist>
|
||
|
||
<!-- Настройки для работы с Kafka -->
|
||
<kafka>
|
||
<broker_list>kafka:29092</broker_list>
|
||
<security_protocol>plaintext</security_protocol>
|
||
<topic_list>
|
||
<topic>sensus.metrics</topic>
|
||
</topic_list>
|
||
<consumer_group>clickhouse-consumer</consumer_group>
|
||
<num_consumers>1</num_consumers>
|
||
<max_block_size>1048576</max_block_size>
|
||
<max_poll_interval_ms>30000</max_poll_interval_ms>
|
||
<session_timeout_ms>30000</session_timeout_ms>
|
||
<auto_offset_reset>latest</auto_offset_reset>
|
||
<skip_broken_messages>100</skip_broken_messages>
|
||
</kafka>
|
||
</sensus>
|
||
</users>
|
||
|
||
<!-- Профиль по умолчанию -->
|
||
<profiles>
|
||
<default>
|
||
<!-- Настройки для работы с памятью -->
|
||
<max_memory_usage>10000000000</max_memory_usage>
|
||
<max_bytes_before_external_group_by>20000000000</max_bytes_before_external_group_by>
|
||
<max_bytes_before_external_sort>20000000000</max_bytes_before_external_sort>
|
||
|
||
<!-- Настройки для работы с временными данными -->
|
||
<max_temporary_data_size>10000000000</max_temporary_data_size>
|
||
<max_temporary_non_const_columns>1000</max_temporary_non_const_columns>
|
||
|
||
<!-- Настройки для работы с запросами -->
|
||
<max_query_size>268435456</max_query_size>
|
||
<max_ast_depth>1000</max_ast_depth>
|
||
<max_ast_elements>50000</max_ast_elements>
|
||
<max_expanded_ast_elements>500000</max_expanded_ast_elements>
|
||
|
||
<!-- Настройки для работы с репликацией -->
|
||
<distributed_ddl>
|
||
<path>/clickhouse/task_queue/ddl</path>
|
||
</distributed_ddl>
|
||
|
||
<!-- Настройки для работы с внешними источниками данных -->
|
||
<external_table_functions_whitelist>
|
||
<function>url</function>
|
||
<function>file</function>
|
||
<function>mysql</function>
|
||
<function>postgresql</function>
|
||
<function>odbc</function>
|
||
<function>jdbc</function>
|
||
<function>hdfs</function>
|
||
<function>s3</function>
|
||
</external_table_functions_whitelist>
|
||
</default>
|
||
</profiles>
|
||
|
||
<!-- Квоты по умолчанию -->
|
||
<quotas>
|
||
<default>
|
||
<interval>
|
||
<duration>3600</duration>
|
||
<queries>0</queries>
|
||
<errors>0</errors>
|
||
<result_rows>0</result_rows>
|
||
<read_rows>0</read_rows>
|
||
<execution_time>0</execution_time>
|
||
</interval>
|
||
</default>
|
||
</quotas>
|
||
</yandex>
|