Document 2026-07-18 lab test results across EN/RU guides.
Record offline 161 passed, green test-vsphere probes, and full pulumi-tests 7/7 with REST matrix 1987/1987 (critical=0); note the Terraform cookbook binary mismatch separately.
This commit is contained in:
@@ -73,7 +73,7 @@ registered paths — see `.cursor/rules/durable-simulator.mdc`.
|
||||
| External systems | NSX/LDAP/SAML/OIDC/ACME do not contact real remotes; state is simulated locally |
|
||||
| TLS | Local nginx gateway with a checked-in self-signed development key only |
|
||||
| Client certification | pyvmomi/govmomi-style SOAP smoke + Ansible/Terraform/Pulumi cookbooks; not a formal certification suite for every provider version |
|
||||
| Provider smoke | The `pulumi-vsphere` suite under `pulumi-tests/` (`make pulumi-tests`) exercises SOAP-backed inventory/VM/tag resources with nonempty export checks; semantic depth still varies (deep handlers vs DB-backed stubs) |
|
||||
| Provider smoke | The `pulumi-vsphere` suite under `pulumi-tests/` (`make pulumi-tests`) exercises SOAP-backed inventory/VM/tag resources with nonempty export checks; semantic depth still varies (deep handlers vs DB-backed stubs). Latest full run (2026-07-18): **7/7** cases, REST **1987/1987**, `critical=0` — see [`pulumi-tests/README.md`](../pulumi-tests/README.md#latest-lab-run-2026-07-18) |
|
||||
|
||||
Full registry coverage at major 9 means HTTP 501 "handler pending" should not
|
||||
appear for any route in the simulator's registry. Compatibility *quality*
|
||||
|
||||
@@ -62,6 +62,16 @@ Additional cookbooks under [`examples/`](../examples/README.md) and the
|
||||
`pulumi-vsphere` lab suite under [`pulumi-tests/`](../pulumi-tests/README.md)
|
||||
(`make pulumi-tests`) are manual or CI-optional depending on the stack.
|
||||
|
||||
### Latest lab run (2026-07-18)
|
||||
|
||||
| Suite | Result |
|
||||
|---|---|
|
||||
| `make test` (offline) | **161 passed** |
|
||||
| `make test-vsphere` (pytest + surface/matrix/dump/nonempty) | **73** pytest passed; probes **0 failures** (Terraform cookbook binary mismatch only) |
|
||||
| `make pulumi-tests` (full hybrid) | **7 / 7 passed**; Layer A REST **1987 / 1987**, `critical=0` |
|
||||
|
||||
Details and report paths: [`pulumi-tests/README.md`](../pulumi-tests/README.md#latest-lab-run-2026-07-18).
|
||||
|
||||
## Known behavioural limits
|
||||
|
||||
| Area | Behaviour |
|
||||
|
||||
+3
-2
@@ -134,8 +134,9 @@ chart — see [Kubernetes / Helm](kubernetes.md).
|
||||
2. Run migrations (`make db-migrate`).
|
||||
3. Confirm `/health/ready`.
|
||||
4. Re-check `/ui/api/compatibility?major=9` and `/api/appliance/system/version`.
|
||||
5. Re-run `make test-vsphere` / `make vsphere-matrix` if you validate the
|
||||
surface after upgrading.
|
||||
5. Re-run `make test-vsphere` / `make vsphere-matrix` / `make pulumi-tests`
|
||||
if you validate the surface after upgrading. Latest recorded lab numbers:
|
||||
[Compatibility — Latest lab run](compatibility.md#latest-lab-run-2026-07-18).
|
||||
|
||||
## Resetting a lab
|
||||
|
||||
|
||||
@@ -73,7 +73,7 @@ evidence-отчётов, перегенерируется через `make evide
|
||||
| Внешние системы | NSX/LDAP/SAML/OIDC/ACME не обращаются к реальным remotes; состояние симулируется локально |
|
||||
| TLS | Локальный nginx gateway только с закоммиченным self-signed development key |
|
||||
| Сертификация клиентов | SOAP smoke в стиле pyvmomi/govmomi + cookbook'и Ansible/Terraform/Pulumi; не формальный certification suite для каждой версии провайдера |
|
||||
| Smoke провайдера | Набор `pulumi-vsphere` в `pulumi-tests/` (`make pulumi-tests`) гоняет SOAP inventory/VM/tag с проверкой непустых export'ов; семантическая глубина по-прежнему разная (deep handlers vs DB-backed stubs) |
|
||||
| Smoke провайдера | Набор `pulumi-vsphere` в `pulumi-tests/` (`make pulumi-tests`) гоняет SOAP inventory/VM/tag с проверкой непустых export'ов; семантическая глубина по-прежнему разная (deep handlers vs DB-backed stubs). Последний полный прогон (2026-07-18): **7/7** кейсов, REST **1987/1987**, `critical=0` — см. [`pulumi-tests/README.ru.md`](../../pulumi-tests/README.ru.md#последний-lab-прогон-2026-07-18) |
|
||||
|
||||
Полное покрытие реестра на major 9 означает, что HTTP 501 «handler pending»
|
||||
не должен появляться ни для одного маршрута в реестре симулятора. *Качество*
|
||||
|
||||
@@ -67,6 +67,17 @@ make vsphere-bundles # стаб-бандлы OpenAPI + журналы evidence
|
||||
[`pulumi-tests/`](../../pulumi-tests/README.ru.md) (`make pulumi-tests`)
|
||||
выполняются вручную или опционально в CI.
|
||||
|
||||
### Последний lab-прогон (2026-07-18)
|
||||
|
||||
| Набор | Результат |
|
||||
|---|---|
|
||||
| `make test` (offline) | **161 passed** |
|
||||
| `make test-vsphere` (pytest + surface/matrix/dump/nonempty) | **73** pytest passed; probes **0 failures** (только mismatch бинаря Terraform cookbook) |
|
||||
| `make pulumi-tests` (полный гибрид) | **7 / 7 passed**; Layer A REST **1987 / 1987**, `critical=0` |
|
||||
|
||||
Подробности и пути к отчёту:
|
||||
[`pulumi-tests/README.ru.md`](../../pulumi-tests/README.ru.md#последний-lab-прогон-2026-07-18).
|
||||
|
||||
## Известные поведенческие ограничения
|
||||
|
||||
| Область | Поведение |
|
||||
|
||||
@@ -138,7 +138,9 @@ Helm-чарт — см. [Kubernetes / Helm](kubernetes.md).
|
||||
4. Перепроверьте `/ui/api/compatibility?major=9` и
|
||||
`/api/appliance/system/version`.
|
||||
5. При необходимости заново запустите `make test-vsphere` /
|
||||
`make vsphere-matrix`, если проверяете поверхность после обновления.
|
||||
`make vsphere-matrix` / `make pulumi-tests`, если проверяете поверхность
|
||||
после обновления. Последние зафиксированные lab-цифры:
|
||||
[Совместимость — Последний lab-прогон](compatibility.md#последний-lab-прогон-2026-07-18).
|
||||
|
||||
## Сброс лаборатории
|
||||
|
||||
|
||||
Reference in New Issue
Block a user