Skip to content

Что считается результатом участника

Итог работы участника — воспроизводимое backend-решение, которое проходит проверку по критериям B1..B10 и, при наличии, по выбранным допфичам из части C.

D.2 Принцип проверяемости и риск нулевой оценки

Section titled “D.2 Принцип проверяемости и риск нулевой оценки”

Главный критерий оценивания — работоспособность в проверяемом сценарии.

  1. Любое заявленное требование должно быть проверяемо на демо с вашими тестовыми данными.
  2. Если жюри не может проверить критерий на предоставленных данных/сценариях, по этому критерию может быть выставлено 0 баллов.
  3. Если допфича заявлена, но не проверяется воспроизводимо, она не даёт баллов.
  4. Все спорные или упрощённые места должны быть явно зафиксированы в документации сдачи.

D.3 Формат 30-минутной проверки

Section titled “D.3 Формат 30-минутной проверки”
  1. Запуск по инструкции и проверка готовности среды.
  2. Демонстрация обязательных сценариев B1..B10.
  3. Демонстрация выбранных допфич (если заявлены).
  4. Короткие вопросы жюри по ограничениям, компромиссам и воспроизводимости.

D.4 Обязательные артефакты сдачи

Section titled “D.4 Обязательные артефакты сдачи”
АртефактКакую проблему закрываетЧто должно быть внутри
Runbook запуска и проверкиБез единой инструкции жюри не может воспроизвести запускпредусловия, переменные окружения, точные команды старта, команды проверок, expected output
Пакет тестовых данных и сценариев демоБез контролируемых данных нельзя проверить happy-path и edge-caseданные для позитивных/негативных/граничных сценариев, шаги воспроизведения, ожидаемые результаты
Архитектурный пакет диаграммБез схем сложно понять границы системы и быстро ориентироватьсяC4 Context, C4 Container, C4 Component для одного ключевого контейнера на критичный поток decide -> event -> report/guardrail без детализации до классов
Отчёт по тестированиюБез отчёта нельзя оценить полноту тестовперечень тестовых наборов, команды запуска, покрытие тестами (line/branch или эквивалент), список ограничений
Набор подтверждений наблюдаемости и эксплуатационной готовностиБез операционных артефактов нельзя оценить B9примеры структурированных логов, health/readiness проверки, метрики, команды lint/format
Матрица соответствия задание-критерий-реализацияБез трассируемости сложно быстро и однозначно оценить работузаполненная таблица по шаблону из D.6

D.5 Минимальный набор проверок по блокам критериев

Section titled “D.5 Минимальный набор проверок по блокам критериев”
БлокЧто должно быть проверяемоКакие артефакты подтверждают
B1запуск по инструкции, рабочее состояние, сквозной happy-pathrunbook, сценарий демо, тестовые данные
B2default/variant, таргетинг, детерминизм, весасценарии запросов, фиксированные входные данные, результаты повторных прогонов
B3корректные переходы статусов, ревью, блокировки запускасценарий жизненного цикла, журнал действий/аудит
B4валидация событий, дедуп, атрибуция по decision_idкаталог событий, негативные примеры, отчёт/лог атрибуции
B5настройка guardrail, срабатывание, действие, аудит, ограничение участияконфигурация guardrail, сценарий деградации, запись о срабатывании
B6отчёт по периоду и вариантам, выбранные метрики, фиксация исхода (rollout/rollback/no effect)сценарий отчётности, примеры результатов, зафиксированное решение с обоснованием
B7архитектура и ориентируемостьнейминг, границы модулей, ключевые архитектурные решения, C4 диаграммы без фанатизма, карта репозитория, ограничения/упрощения, матрица соответствия
B8тестированиенегативные тесты, интеграционные/контрактные тесты, отчёт по тестированию и покрытие (или эквивалент)
B9эксплуатационная готовность и наблюдаемостьhealth/readiness, метрики, логи, описание поведения под нагрузкой и роста данных, меры эффективности хранения/чтения
B10инженерная дисциплинакоманды lint/format, конфиги инструментов
FXрабочий сценарий и ограничения выбранной допфичидемо-сценарий допфичи, описание границ и рисков

D.6 Шаблон матрицы соответствия

Section titled “D.6 Шаблон матрицы соответствия”

Заполните таблицу и приложите её в составе сдачи. Для каждой выбранной допфичи из части C добавьте отдельные строки FX-1 и FX-2.

ID заданияID критерияПроблема/рискГде реализованоКак проверяетсяКакие данные нужныСтатус
3.4B2-1При отсутствии активного эксперимента система возвращает не default, из-за чего ломается контрольный сценарий и сравнение вариантов.backend/runtime/decide_servicePOST /decide для флага без активного эксперимента; ожидается возврат default и корректный decision_id.Фикстура: флаг с default, отсутствует активный эксперимент, тестовый субъект u-001.пример
  1. Конкретный API-дизайн, структура данных и внутренние алгоритмы определяются участником.
  2. Для спорных мест важна воспроизводимая логика и понятное обоснование, а не «единственно правильный» формат реализации.
  3. Если часть сценариев упрощается, это должно быть явно зафиксировано в документации и матрице соответствия.
  4. Где возможно, описывайте решаемую проблему и ограничения, а не только выбранную реализацию.