Document the test matrix and record the 2026-07-18 Pulumi 9150/9150 run.
Add EN/RU testing guides, link them from README and docs indexes, and drop stale native Python/Ansible/Terraform suite references.
This commit is contained in:
@@ -16,6 +16,7 @@
|
||||
| [Аутентификация](authentication.md) | Basic auth, OAuth2, сессии |
|
||||
| [Версии API](api-versions.md) | Series packs 3.x / 4.x и заголовок Version |
|
||||
| [Покрытие API](api_coverage.md) | Число операций и дельты по series |
|
||||
| [Тестирование](testing.md) | Pytest / Pulumi + последние результаты |
|
||||
| [Поверхность API](api-surface.md) | Маршрутизация, handlers, schema engine |
|
||||
| [Клиенты и примеры](clients.md) | curl, Python, Ansible, Terraform |
|
||||
| [Профили seed](seed-profiles.md) | Фикстуры `minimal` и `demo` |
|
||||
|
||||
@@ -22,5 +22,15 @@
|
||||
хосты, сети, storage, jobs, …). Остальные операции pack обслуживает schema
|
||||
engine. См. [Поверхность API](api-surface.md).
|
||||
|
||||
## Матрица Pulumi
|
||||
|
||||
`make pulumi-tests` выполняет **каждую** операцию pack по всем series плюс
|
||||
синтетический **HEAD** для каждого GET (~6 836 ops + ~2 314 HEAD = **9 150**
|
||||
вызовов).
|
||||
|
||||
**Последний прогон (2026-07-18):** **9150 / 9150** passed — методы
|
||||
GET/POST/PUT/DELETE/HEAD; HTTP 200/201/400/404/409; без `401` / `5xx`. См.
|
||||
[Тестирование](testing.md) и [`pulumi-tests/README.ru.md`](../../pulumi-tests/README.ru.md).
|
||||
|
||||
> Это измеримое покрытие контракта лабораторного симулятора — не утверждение,
|
||||
> что каждый краевой случай Engine ведёт себя идентично продакшен RHV/oVirt.
|
||||
|
||||
@@ -25,5 +25,5 @@
|
||||
register: vms
|
||||
```
|
||||
|
||||
Нативный suite (150 кейсов): `make test-ansible` / `make test-ansible-smoke` в
|
||||
[`pulumi-tests/ansible/`](../../../pulumi-tests/README.ru.md).
|
||||
Покрытие контрактов Engine API: `make pulumi-tests` — см.
|
||||
[Тестирование](../testing.md) и [`pulumi-tests/`](../../../pulumi-tests/README.ru.md).
|
||||
|
||||
@@ -29,7 +29,8 @@ export NO_PROXY='*'
|
||||
| [Python requests](python-requests.md) | Сырой HTTPS Basic / OAuth |
|
||||
| [Ansible](ansible.md) | Модуль `uri` против Engine |
|
||||
| [Terraform](terraform.md) | Заметки по IaC |
|
||||
| [Pulumi](pulumi.md) | Полное покрытие контрактов + HTML-отчёт |
|
||||
| [Pulumi](pulumi.md) | Полное покрытие контрактов + HTML-отчёт (**9150/9150** на 2026-07-18) |
|
||||
| [Troubleshooting clients](troubleshooting-clients.md) | Типичные сбои клиентов |
|
||||
|
||||
Предварительно: `make up && make seed` (или `make seed-demo`).
|
||||
Предварительно: `make up && make seed` (или `make seed-demo`).
|
||||
Полная матрица тестов проекта: [Тестирование](../testing.md).
|
||||
|
||||
@@ -2,12 +2,24 @@
|
||||
|
||||
# Pulumi
|
||||
|
||||
Лаборатория покрытия контрактов: [`pulumi-tests/pulumi/`](../../../pulumi-tests/README.ru.md).
|
||||
Лаборатория покрытия контрактов: [`pulumi-tests/`](../../../pulumi-tests/README.ru.md).
|
||||
|
||||
```bash
|
||||
make up && make seed
|
||||
make up-local # или: make up
|
||||
make seed
|
||||
make test-pulumi-smoke
|
||||
make test-pulumi
|
||||
make pulumi-tests # alias: make test-pulumi
|
||||
```
|
||||
|
||||
HTML-отчёт: `pulumi-tests/reports/pulumi-contract-coverage.html`
|
||||
HTML-отчёт: `pulumi-tests/reports/pulumi-contract-coverage.html` (в gitignore).
|
||||
|
||||
## Последний проверенный результат (2026-07-18)
|
||||
|
||||
| Метрика | Значение |
|
||||
|---|---:|
|
||||
| total / passed / failed | **9150 / 9150 / 0** |
|
||||
| методы | DELETE 1146 · GET 2314 · HEAD 2314 · POST 2230 · PUT 1146 |
|
||||
| HTTP | 200: 6739 · 404: 1514 · 201: 864 · 400: 22 · 409: 11 |
|
||||
|
||||
Все series packs `3.0`–`3.6`, `4.3`–`4.5`, `master` — зелёные. См. также
|
||||
[Тестирование](../testing.md).
|
||||
|
||||
@@ -39,5 +39,6 @@ r = requests.get(
|
||||
)
|
||||
```
|
||||
|
||||
Нативный suite: `make test-python` / `make test-python-smoke` в
|
||||
Полная матрица контрактов (общий Engine surface для всех клиентов):
|
||||
`make pulumi-tests` — см. [Тестирование](../testing.md) и
|
||||
[`pulumi-tests/`](../../../pulumi-tests/README.ru.md).
|
||||
|
||||
@@ -2,14 +2,20 @@
|
||||
|
||||
# Terraform
|
||||
|
||||
Нативный suite (150 кейсов) находится в
|
||||
[`pulumi-tests/terraform/`](../../../pulumi-tests/README.ru.md):
|
||||
Настройте providers на Engine HTTPS с лабораторными учётными данными и
|
||||
отключите проверку TLS для self-signed сертификата Compose.
|
||||
|
||||
```bash
|
||||
make up && make seed
|
||||
make test-terraform-smoke
|
||||
make test-terraform
|
||||
make up-local # или: make up
|
||||
make seed
|
||||
```
|
||||
|
||||
Направляйте провайдеры на Engine HTTPS с лабораторными учётными данными и
|
||||
отключайте проверку TLS для self-signed сертификата Compose.
|
||||
Отдельного Terraform suite в репозитории нет. Полное покрытие поверхности
|
||||
Engine — матрица Pulumi:
|
||||
|
||||
```bash
|
||||
make pulumi-tests
|
||||
```
|
||||
|
||||
См. [Тестирование](../testing.md) и [`pulumi-tests/`](../../../pulumi-tests/README.ru.md).
|
||||
**Последний прогон (2026-07-18):** **9150 / 9150** passed.
|
||||
|
||||
@@ -0,0 +1,73 @@
|
||||
**Language / Язык:** [English](../testing.md) | [Русский](testing.md)
|
||||
|
||||
# Тестирование
|
||||
|
||||
Как гонять лабораторную матрицу тестов и что показал последний полный прогон.
|
||||
|
||||
## Команды
|
||||
|
||||
| Цель | Что запускает |
|
||||
|---|---|
|
||||
| `make test` | Offline unit + contract (без живого Engine) |
|
||||
| `make test-unit` | Unit-тесты в `tests/` |
|
||||
| `make test-contract` | Проверки contract packs |
|
||||
| `make test-integration` | Интеграция Engine на PostgreSQL |
|
||||
| `make test-versions` | Seeded-ассерты по series packs |
|
||||
| `make smoke` | Auth + список ВМ на поднятом стеке |
|
||||
| `make test-pulumi-smoke` | Pulumi smoke (выборка 3.6 + 4.5) |
|
||||
| `make pulumi-tests` | Полная Pulumi-матрица (все series × ops + HEAD) |
|
||||
| `make lint` / CI critical lint | Ruff (в CI только `E9,F63,F7,F82`) |
|
||||
| `make helm-template` | Рендер Helm-чарта |
|
||||
|
||||
Полный локальный gate перед релизом:
|
||||
|
||||
```bash
|
||||
make up-local # или make up
|
||||
make seed
|
||||
make smoke
|
||||
make test
|
||||
make test-unit
|
||||
make test-contract
|
||||
make test-integration
|
||||
make test-versions
|
||||
make pulumi-tests
|
||||
```
|
||||
|
||||
HTML-отчёт Pulumi: `pulumi-tests/reports/pulumi-contract-coverage.html`
|
||||
(в gitignore — пересобирается каждым прогоном). Подробности:
|
||||
[`pulumi-tests/README.ru.md`](../../pulumi-tests/README.ru.md).
|
||||
|
||||
## Последний полный прогон
|
||||
|
||||
**Дата:** 2026-07-18
|
||||
|
||||
| Suite | Результат | Примечание |
|
||||
|---|---|---|
|
||||
| `helm lint` / `helm-template` | PASS | |
|
||||
| `make test` (offline) | PASS | |
|
||||
| `make test-unit` | PASS | |
|
||||
| `make test-contract` | PASS | |
|
||||
| `make up-local` / `seed` / `smoke` | PASS | |
|
||||
| `make test-integration` | PASS | |
|
||||
| `make test-versions` | PASS | |
|
||||
| CI critical lint | PASS | |
|
||||
| `make pulumi-tests` | PASS | **9150 / 9150** |
|
||||
|
||||
### Матрица Pulumi
|
||||
|
||||
| Метрика | Значение |
|
||||
|---|---:|
|
||||
| total | 9150 |
|
||||
| passed | 9150 |
|
||||
| failed | 0 |
|
||||
| skipped | 0 |
|
||||
|
||||
**Методы:** DELETE 1146 · GET 2314 · HEAD 2314 · POST 2230 · PUT 1146
|
||||
|
||||
**HTTP:** 200: 6739 · 404: 1514 · 201: 864 · 400: 22 · 409: 11
|
||||
(без `401`, без `5xx`)
|
||||
|
||||
Series: `3.0`–`3.6`, `4.3`–`4.5`, `master` (все зелёные).
|
||||
|
||||
> Pass значит: каждый contract-маршрут достижим с обработанным статусом Engine и
|
||||
> проверками тела — не побитовая идентичность production RHV.
|
||||
Reference in New Issue
Block a user