Веб-UI: темы, навигация API, статистика и доработки API
- Шапка: логотип Kubernetes, ссылка на главную, выпадающее меню API (Swagger/ReDoc/Health), переключатель светлой/тёмной темы (localStorage). - Светлая тема в синей гамме; выравнивание кнопки темы в ряду с пилюлями. - Дашборд: единая карточка ошибки health/stats, подсказка Docker/Podman, поле container_cli в GET /stats, total_workers_from_meta всегда число (0 без meta). - Правки кластеров, job_store, compose, документация и частичные шаблоны.
This commit is contained in:
Sergey Antropoff
+158
-6
@@ -1,6 +1,8 @@
|
||||
"""Хранилище фоновых заданий (создание кластера) в памяти процесса.
|
||||
"""Хранилище фоновых заданий (создание/старт/стоп кластера).
|
||||
|
||||
При перезапуске контейнера история заданий обнуляется — это ожидаемо для dev-среды.
|
||||
Снимок заданий сохраняется в JSON в каталоге ``clusters/`` (том на хосте), чтобы после
|
||||
перезапуска контейнера история не терялась. Записи ``queued``/``running`` при старте
|
||||
помечаются как ``failed`` — рабочий процесс уже не существует.
|
||||
|
||||
Потокобезопасные флаги отмены и прогресс (для worker-thread) — через ``threading.Lock``.
|
||||
|
||||
@@ -11,6 +13,7 @@
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import signal
|
||||
@@ -20,13 +23,19 @@ import uuid
|
||||
from collections import deque
|
||||
from dataclasses import dataclass, field
|
||||
from datetime import datetime, timezone
|
||||
from typing import Any, Literal
|
||||
from pathlib import Path
|
||||
from typing import Any, Literal, cast
|
||||
|
||||
from kind_k8s_paths import clusters_dir
|
||||
|
||||
logger = logging.getLogger("kind_k8s.job_store")
|
||||
|
||||
# Лимит записей в памяти (dev-инструмент; старые задания вытесняются)
|
||||
# Лимит записей в памяти и в файле (dev-инструмент; старые задания вытесняются)
|
||||
_MAX_JOBS = 200
|
||||
|
||||
# Версия формата JSON на диске
|
||||
_JOBS_FILE_VERSION = 1
|
||||
|
||||
JobStatus = Literal["queued", "running", "success", "failed", "cancelled"]
|
||||
|
||||
# --- Синхронное сопровождение задания (worker-thread и HTTP отмена) ---
|
||||
@@ -40,6 +49,19 @@ _process_lock = threading.Lock()
|
||||
_active_subprocess_by_job: dict[str, subprocess.Popen] = {}
|
||||
|
||||
|
||||
def _jobs_file_path() -> Path:
|
||||
"""
|
||||
Путь к JSON с историей заданий.
|
||||
|
||||
Переопределение: ``KIND_K8S_JOBS_JSON`` (абсолютный или относительный путь).
|
||||
По умолчанию: ``<clusters_dir>/kind_k8s_jobs.json``.
|
||||
"""
|
||||
override = (os.environ.get("KIND_K8S_JOBS_JSON") or "").strip()
|
||||
if override:
|
||||
return Path(override).expanduser().resolve()
|
||||
return clusters_dir() / "kind_k8s_jobs.json"
|
||||
|
||||
|
||||
def _max_job_log_lines() -> int:
|
||||
# Буфер в памяти: старые строки вытесняются; по умолчанию 2500 — виден почти весь типичный лог.
|
||||
raw = (os.environ.get("KIND_K8S_JOB_LOG_MAX_LINES") or "2500").strip()
|
||||
@@ -176,12 +198,135 @@ class JobRecord:
|
||||
log_lines: list[str] = field(default_factory=list)
|
||||
|
||||
|
||||
def _record_to_dict(rec: JobRecord) -> dict[str, Any]:
|
||||
return {
|
||||
"job_id": rec.job_id,
|
||||
"kind": rec.kind,
|
||||
"status": rec.status,
|
||||
"cluster_name": rec.cluster_name,
|
||||
"created_at_utc": rec.created_at_utc,
|
||||
"message": rec.message,
|
||||
"result": rec.result,
|
||||
"log_lines": list(rec.log_lines),
|
||||
}
|
||||
|
||||
|
||||
def _dict_to_record(d: Any) -> JobRecord | None:
|
||||
if not isinstance(d, dict):
|
||||
return None
|
||||
jid = d.get("job_id")
|
||||
kind = d.get("kind")
|
||||
status = d.get("status")
|
||||
if not isinstance(jid, str) or not jid or not isinstance(kind, str) or not kind.strip():
|
||||
return None
|
||||
if status not in ("queued", "running", "success", "failed", "cancelled"):
|
||||
return None
|
||||
created = d.get("created_at_utc")
|
||||
if not isinstance(created, str) or not created:
|
||||
return None
|
||||
cn = d.get("cluster_name")
|
||||
if cn is None:
|
||||
cluster_name = None
|
||||
elif isinstance(cn, str):
|
||||
cluster_name = cn
|
||||
else:
|
||||
cluster_name = str(cn)
|
||||
msg = d.get("message")
|
||||
if msg is None:
|
||||
message = None
|
||||
elif isinstance(msg, str):
|
||||
message = msg
|
||||
else:
|
||||
message = str(msg)
|
||||
result = d.get("result")
|
||||
if result is not None and not isinstance(result, dict):
|
||||
result = None
|
||||
lines = d.get("log_lines")
|
||||
log_lines: list[str] = []
|
||||
if isinstance(lines, list):
|
||||
log_lines = [str(x) for x in lines]
|
||||
return JobRecord(
|
||||
job_id=jid,
|
||||
kind=kind,
|
||||
status=cast(JobStatus, status),
|
||||
cluster_name=cluster_name,
|
||||
created_at_utc=created,
|
||||
message=message,
|
||||
result=result,
|
||||
log_lines=log_lines,
|
||||
)
|
||||
|
||||
|
||||
def _atomic_write_jobs_file(path: Path, jobs: list[dict[str, Any]]) -> None:
|
||||
"""Запись JSON атомарно (temp + replace)."""
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
payload = {"version": _JOBS_FILE_VERSION, "jobs": jobs}
|
||||
tmp = path.with_suffix(path.suffix + ".tmp")
|
||||
text = json.dumps(payload, ensure_ascii=False, indent=2, default=str)
|
||||
tmp.write_text(text, encoding="utf-8")
|
||||
tmp.replace(path)
|
||||
|
||||
|
||||
class JobStore:
|
||||
"""Потокобезопасное (asyncio) хранилище заданий."""
|
||||
"""Потокобезопасное (asyncio) хранилище заданий с персистентностью в JSON."""
|
||||
|
||||
def __init__(self) -> None:
|
||||
self._jobs: dict[str, JobRecord] = {}
|
||||
self._lock = asyncio.Lock()
|
||||
self._load_from_disk_sync()
|
||||
|
||||
def _load_from_disk_sync(self) -> None:
|
||||
path = _jobs_file_path()
|
||||
if not path.is_file():
|
||||
logger.debug("Файл истории заданий отсутствует: %s", path)
|
||||
return
|
||||
try:
|
||||
raw = path.read_text(encoding="utf-8")
|
||||
data = json.loads(raw)
|
||||
except (OSError, json.JSONDecodeError) as e:
|
||||
logger.warning("Не удалось прочитать историю заданий %s: %s", path, e)
|
||||
return
|
||||
jobs_raw = data.get("jobs") if isinstance(data, dict) else data
|
||||
if not isinstance(jobs_raw, list):
|
||||
logger.warning("Некорректный формат истории заданий (ожидался ключ jobs или массив)")
|
||||
return
|
||||
|
||||
interrupt_msg = "Прервано перезапуском сервиса (задание не было завершено)."
|
||||
loaded: list[JobRecord] = []
|
||||
for item in jobs_raw:
|
||||
rec = _dict_to_record(item)
|
||||
if rec is None:
|
||||
continue
|
||||
if rec.status in ("queued", "running"):
|
||||
rec = JobRecord(
|
||||
job_id=rec.job_id,
|
||||
kind=rec.kind,
|
||||
status="failed",
|
||||
cluster_name=rec.cluster_name,
|
||||
created_at_utc=rec.created_at_utc,
|
||||
message=interrupt_msg,
|
||||
result=rec.result,
|
||||
log_lines=rec.log_lines,
|
||||
)
|
||||
loaded.append(rec)
|
||||
|
||||
loaded.sort(key=lambda r: r.created_at_utc)
|
||||
if len(loaded) > _MAX_JOBS:
|
||||
loaded = loaded[-_MAX_JOBS:]
|
||||
self._jobs = {r.job_id: r for r in loaded}
|
||||
logger.info("Восстановлено заданий из %s: %s", path, len(self._jobs))
|
||||
|
||||
async def _persist_async(self) -> None:
|
||||
"""Сохранить текущий снимок заданий на диск (вне удержания lock во время записи)."""
|
||||
async with self._lock:
|
||||
items = sorted(self._jobs.values(), key=lambda r: r.created_at_utc)
|
||||
snapshot = [_record_to_dict(r) for r in items]
|
||||
path = _jobs_file_path()
|
||||
try:
|
||||
await asyncio.to_thread(_atomic_write_jobs_file, path, snapshot)
|
||||
logger.debug("История заданий записана: %s (%s записей)", path, len(snapshot))
|
||||
except OSError as e:
|
||||
logger.error("Не удалось сохранить историю заданий в %s: %s", path, e)
|
||||
|
||||
async def create_job(self, kind: str, *, cluster_name: str | None) -> JobRecord:
|
||||
"""Зарегистрировать задание в статусе ``queued``."""
|
||||
@@ -203,6 +348,7 @@ class JobStore:
|
||||
logger.debug("Вытеснено старое задание из хранилища: %s", oldest_id)
|
||||
begin_job_tracking(jid)
|
||||
logger.info("Создано задание %s kind=%s cluster=%s", jid, kind, cluster_name)
|
||||
await self._persist_async()
|
||||
return rec
|
||||
|
||||
async def set_running(
|
||||
@@ -217,6 +363,7 @@ class JobStore:
|
||||
self._jobs[job_id].status = "running"
|
||||
self._jobs[job_id].message = None
|
||||
set_progress_sync(job_id, stage, percent)
|
||||
await self._persist_async()
|
||||
|
||||
async def set_success(self, job_id: str, *, result: dict[str, Any] | None = None, message: str | None = None) -> None:
|
||||
logs = take_logs_finalize_sync(job_id)
|
||||
@@ -227,6 +374,7 @@ class JobStore:
|
||||
self._jobs[job_id].message = message
|
||||
self._jobs[job_id].log_lines = logs
|
||||
set_progress_sync(job_id, "Готово", 100)
|
||||
await self._persist_async()
|
||||
|
||||
async def set_failed(self, job_id: str, message: str) -> None:
|
||||
logs = take_logs_finalize_sync(job_id)
|
||||
@@ -236,6 +384,7 @@ class JobStore:
|
||||
self._jobs[job_id].message = message
|
||||
self._jobs[job_id].log_lines = logs
|
||||
logger.warning("Задание %s завершилось ошибкой: %s", job_id, message)
|
||||
await self._persist_async()
|
||||
|
||||
async def set_cancelled(self, job_id: str, message: str = "Операция отменена") -> None:
|
||||
logs = take_logs_finalize_sync(job_id)
|
||||
@@ -245,6 +394,7 @@ class JobStore:
|
||||
self._jobs[job_id].message = message
|
||||
self._jobs[job_id].log_lines = logs
|
||||
logger.info("Задание %s отменено: %s", job_id, message)
|
||||
await self._persist_async()
|
||||
|
||||
async def get(self, job_id: str) -> JobRecord | None:
|
||||
async with self._lock:
|
||||
@@ -276,7 +426,9 @@ class JobStore:
|
||||
del self._jobs[jid]
|
||||
for jid in to_remove:
|
||||
end_job_tracking(jid)
|
||||
return len(to_remove)
|
||||
n = len(to_remove)
|
||||
await self._persist_async()
|
||||
return n
|
||||
|
||||
|
||||
# Синглтон на процесс uvicorn
|
||||
|
||||
Reference in New Issue
Block a user