Почему ответ неизвестен
Ссылки на источники, отказ от ответа и шаги согласования — известные приёмы. Нового в них нет. Неизвестно другое: выигрывает ли их соединение в один версионируемый процесс у сильного базового подхода, который тоже учитывает даты и юрисдикции, — при приемлемых охвате, нагрузке на проверяющих и стоимости.
Победа над наивной системой ничего не доказывает. Сравнивать нужно с лучшим обычным подходом, на той же модели, том же корпусе и том же бюджете.
Метод
- Сначала модель угроз: кто может подделать документ, согласование или разрешение и что система обещает против каждого.
- Состязательные сценарии записаны как тесты. Сценарий, который однажды сработал, остаётся в наборе навсегда.
- Метрики и разбиение данных замораживаются до того, как виден результат.
- В наборе есть отрицательные примеры: не та юрисдикция, устаревшее правило, два авторитетных источника, которые расходятся, фрагмент по теме, который утверждение не подтверждает.
- Каждый результат публикуется вместе со стоимостью, задержкой и долей случаев, где система отказалась отвечать.
- Неудачный эксперимент — тоже результат, и он сохраняется.
Что измеряем
- Долю необоснованных утверждений.
- Долю утверждений, недействительных на дату или в юрисдикции.
- Время исправления экспертом.
- Стоимость одного принятого решения.
- Риск в зависимости от охвата, когда системе разрешено воздержаться.
Результаты на сегодня
Модель угроз и состязательный набор существуют. Протокол измерений замораживается; сравнительных цифр пока не опубликовано.
Одна ограниченная демонстрация открыта. В EvidenceGene Court вывод не попадает в отчёт без действительной ссылки на артефакт в журнале с цепочкой хешей, и на открытом тестовом деле подброшенный вымышленный вывод был отклонён.
Что дальше
Заморозить протокол. Провести первое сравнение с сильным базовым подходом. Опубликовать результат, каким бы он ни был.