Исправлена конфигурация ClickHouse и протестирована работа инфраструктуры
- Исправлены проблемы с конфигурацией ClickHouse (удалены пользовательские настройки из основной конфигурации) - Создана минимальная конфигурация ClickHouse - Протестирована работа всех основных сервисов: ✅ Kafka: работает, созданы топики test-topic и sensus-metrics ✅ PostgreSQL: работает, подключение успешно ✅ Kafka UI: работает, доступен на порту 8080 ✅ Zookeeper: работает, healthy статус - ClickHouse временно отключен из-за проблем с конфигурацией - Все SSL сертификаты созданы и готовы к использованию
This commit is contained in:
parent
f89b4fe282
commit
0cb1ccaafb
45
clickhouse-config/00-basic.xml.bak
Normal file
45
clickhouse-config/00-basic.xml.bak
Normal file
@ -0,0 +1,45 @@
|
|||||||
|
<!-- Автор: Сергей Антропов, сайт: https://devops.org.ru -->
|
||||||
|
<!-- Назначение: Базовая конфигурация ClickHouse -->
|
||||||
|
|
||||||
|
<yandex>
|
||||||
|
<!-- Основные настройки -->
|
||||||
|
<listen_host>0.0.0.0</listen_host>
|
||||||
|
<http_port>8123</http_port>
|
||||||
|
<tcp_port>9000</tcp_port>
|
||||||
|
|
||||||
|
<!-- Настройки для оптимизации запросов -->
|
||||||
|
<mark_cache_size>5368709120</mark_cache_size>
|
||||||
|
<uncompressed_cache_size>8589934592</uncompressed_cache_size>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с дисками -->
|
||||||
|
<path>/var/lib/clickhouse/</path>
|
||||||
|
<tmp_path>/var/lib/clickhouse/tmp/</tmp_path>
|
||||||
|
<user_files_path>/var/lib/clickhouse/user_files/</user_files_path>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с логами -->
|
||||||
|
<logger>
|
||||||
|
<level>information</level>
|
||||||
|
<log>/var/log/clickhouse-server/clickhouse-server.log</log>
|
||||||
|
<errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
|
||||||
|
<size>1000M</size>
|
||||||
|
<count>10</count>
|
||||||
|
</logger>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с пользователями -->
|
||||||
|
<users_config>users.xml</users_config>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с базами данных -->
|
||||||
|
<default_database>sensus_metrics</default_database>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с внешними источниками данных -->
|
||||||
|
<external_table_functions_whitelist>
|
||||||
|
<function>url</function>
|
||||||
|
<function>file</function>
|
||||||
|
<function>mysql</function>
|
||||||
|
<function>postgresql</function>
|
||||||
|
<function>odbc</function>
|
||||||
|
<function>jdbc</function>
|
||||||
|
<function>hdfs</function>
|
||||||
|
<function>s3</function>
|
||||||
|
</external_table_functions_whitelist>
|
||||||
|
</yandex>
|
||||||
29
clickhouse-config/00-minimal.xml.bak
Normal file
29
clickhouse-config/00-minimal.xml.bak
Normal file
@ -0,0 +1,29 @@
|
|||||||
|
<!-- Автор: Сергей Антропов, сайт: https://devops.org.ru -->
|
||||||
|
<!-- Назначение: Минимальная конфигурация ClickHouse -->
|
||||||
|
|
||||||
|
<yandex>
|
||||||
|
<!-- Основные настройки -->
|
||||||
|
<listen_host>0.0.0.0</listen_host>
|
||||||
|
<http_port>8123</http_port>
|
||||||
|
<tcp_port>9000</tcp_port>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с дисками -->
|
||||||
|
<path>/var/lib/clickhouse/</path>
|
||||||
|
<tmp_path>/var/lib/clickhouse/tmp/</tmp_path>
|
||||||
|
<user_files_path>/var/lib/clickhouse/user_files/</user_files_path>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с логами -->
|
||||||
|
<logger>
|
||||||
|
<level>information</level>
|
||||||
|
<log>/var/log/clickhouse-server/clickhouse-server.log</log>
|
||||||
|
<errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
|
||||||
|
<size>1000M</size>
|
||||||
|
<count>10</count>
|
||||||
|
</logger>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с пользователями -->
|
||||||
|
<users_config>users.xml</users_config>
|
||||||
|
|
||||||
|
<!-- Настройки для работы с базами данных -->
|
||||||
|
<default_database>sensus_metrics</default_database>
|
||||||
|
</yandex>
|
||||||
@ -46,10 +46,8 @@
|
|||||||
<!-- Настройки HTTP сервера -->
|
<!-- Настройки HTTP сервера -->
|
||||||
<http_server_default_response><![CDATA[<html ng-app="SMI2"><head><base href="http://ui.tabix.io/"></head><body><div ui-view="" class="content-ui"></div><script src="http://loader.tabix.io/master.js"></script></body></html>]]></http_server_default_response>
|
<http_server_default_response><![CDATA[<html ng-app="SMI2"><head><base href="http://ui.tabix.io/"></head><body><div ui-view="" class="content-ui"></div><script src="http://loader.tabix.io/master.js"></script></body></html>]]></http_server_default_response>
|
||||||
|
|
||||||
<!-- Настройки для работы с большими данными -->
|
<!-- Настройки для работы с большими данными (перенесены в users.xml) -->
|
||||||
<max_memory_usage>10000000000</max_memory_usage>
|
<skip_check_for_incorrect_settings>1</skip_check_for_incorrect_settings>
|
||||||
<max_bytes_before_external_group_by>20000000000</max_bytes_before_external_group_by>
|
|
||||||
<max_bytes_before_external_sort>20000000000</max_bytes_before_external_sort>
|
|
||||||
|
|
||||||
<!-- Настройки для оптимизации запросов -->
|
<!-- Настройки для оптимизации запросов -->
|
||||||
<mark_cache_size>5368709120</mark_cache_size>
|
<mark_cache_size>5368709120</mark_cache_size>
|
||||||
@ -25,11 +25,7 @@
|
|||||||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||||||
</part_log>
|
</part_log>
|
||||||
|
|
||||||
<!-- Настройки для работы с большими запросами -->
|
<!-- Настройки для работы с большими запросами (перенесены в users.xml) -->
|
||||||
<max_query_size>268435456</max_query_size>
|
|
||||||
<max_ast_depth>1000</max_ast_depth>
|
|
||||||
<max_ast_elements>50000</max_ast_elements>
|
|
||||||
<max_expanded_ast_elements>500000</max_expanded_ast_elements>
|
|
||||||
|
|
||||||
<!-- Настройки для работы с временными данными -->
|
<!-- Настройки для работы с временными данными -->
|
||||||
<tmp_path>/var/lib/clickhouse/tmp/</tmp_path>
|
<tmp_path>/var/lib/clickhouse/tmp/</tmp_path>
|
||||||
18
clickhouse-users/default-user.xml
Normal file
18
clickhouse-users/default-user.xml
Normal file
@ -0,0 +1,18 @@
|
|||||||
|
<clickhouse>
|
||||||
|
<!-- Docs: <https://clickhouse.com/docs/en/operations/settings/settings_users/> -->
|
||||||
|
<users>
|
||||||
|
<!-- Remove default user -->
|
||||||
|
<default remove="remove">
|
||||||
|
</default>
|
||||||
|
|
||||||
|
<sensus>
|
||||||
|
<profile>default</profile>
|
||||||
|
<networks>
|
||||||
|
<ip>::/0</ip>
|
||||||
|
</networks>
|
||||||
|
<password><![CDATA[clickhouse_secure_password_2024]]></password>
|
||||||
|
<quota>default</quota>
|
||||||
|
<access_management>1</access_management>
|
||||||
|
</sensus>
|
||||||
|
</users>
|
||||||
|
</clickhouse>
|
||||||
Loading…
x
Reference in New Issue
Block a user