Sergey Antropoff
db957f9890
- Настроен ClickHouse кластер с 2 репликами и автоматической репликацией - Добавлен Nginx Load Balancer для ClickHouse (HTTP и TCP) - Исправлена конфигурация кластера для правильной работы репликации - Созданы таблицы с репликацией: metrics_raw, metrics_processed, agents_info - Убран healthcheck у nginx load balancer (не нужен) - Обновлен Makefile: автоматическое создание .env из env.example - Обновлена документация с информацией о ClickHouse кластере - Все сервисы протестированы и работают корректно Автор: Сергей Антропов, сайт: https://devops.org.ru
125 lines
4.7 KiB
XML
125 lines
4.7 KiB
XML
<!-- Автор: Сергей Антропов, сайт: https://devops.org.ru -->
|
||
<!-- Назначение: Конфигурация таблиц метрик для ClickHouse -->
|
||
<!-- Определение структуры таблиц для хранения метрик от SensusAgent -->
|
||
|
||
<clickhouse>
|
||
<!-- Настройки для таблиц метрик -->
|
||
<dictionaries_config>*_dictionary.xml</dictionaries_config>
|
||
|
||
<!-- Настройки для работы с метриками -->
|
||
<format_schema_path>/var/lib/clickhouse/format_schemas/</format_schema_path>
|
||
|
||
<!-- Настройки для сжатия данных -->
|
||
<compression>
|
||
<case>
|
||
<min_part_size>10000000000</min_part_size>
|
||
<min_part_size_ratio>0.01</min_part_size_ratio>
|
||
<method>lz4</method>
|
||
</case>
|
||
</compression>
|
||
|
||
<!-- Настройки для партиционирования -->
|
||
<part_log>
|
||
<database>system</database>
|
||
<table>part_log</table>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</part_log>
|
||
|
||
<!-- Настройки для работы с большими запросами (перенесены в users.xml) -->
|
||
|
||
<!-- Настройки для работы с временными данными -->
|
||
<tmp_path>/var/lib/clickhouse/tmp/</tmp_path>
|
||
<user_files_path>/var/lib/clickhouse/user_files/</user_files_path>
|
||
<format_schema_path>/var/lib/clickhouse/format_schemas/</format_schema_path>
|
||
|
||
<!-- Настройки для работы с репликацией -->
|
||
<distributed_ddl>
|
||
<path>/clickhouse/task_queue/ddl</path>
|
||
</distributed_ddl>
|
||
|
||
<!-- Настройки для работы с метриками системы -->
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>query_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>query_thread_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>part_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>trace_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>metric_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>asynchronous_metric_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>session_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<system_log>
|
||
<database>system</database>
|
||
<table>text_log</table>
|
||
<partition_by>toYYYYMM(event_date)</partition_by>
|
||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||
</system_log>
|
||
|
||
<!-- Настройки для работы с внешними источниками данных -->
|
||
<external_table_functions_whitelist>
|
||
<function>url</function>
|
||
<function>file</function>
|
||
<function>mysql</function>
|
||
<function>postgresql</function>
|
||
<function>odbc</function>
|
||
<function>jdbc</function>
|
||
<function>hdfs</function>
|
||
<function>s3</function>
|
||
</external_table_functions_whitelist>
|
||
|
||
<!-- Настройки для работы с Kafka -->
|
||
<kafka>
|
||
<broker_list>kafka:29092</broker_list>
|
||
<security_protocol>plaintext</security_protocol>
|
||
<topic_list>
|
||
<topic>sensus.metrics</topic>
|
||
</topic_list>
|
||
<consumer_group>clickhouse-consumer</consumer_group>
|
||
<num_consumers>1</num_consumers>
|
||
<max_block_size>1048576</max_block_size>
|
||
<max_poll_interval_ms>30000</max_poll_interval_ms>
|
||
<session_timeout_ms>30000</session_timeout_ms>
|
||
<auto_offset_reset>latest</auto_offset_reset>
|
||
<skip_broken_messages>100</skip_broken_messages>
|
||
</kafka>
|
||
</clickhouse>
|