Почему ответ неизвестен
Таблицы поставщиков, плохие сканы и рукописные пометки приходят неполными и противоречивыми. Языковая модель заполнит правдоподобным значением любую пустую ячейку. Там, где за документ отвечают, нужно другое: значение с источником или отсутствие значения.
Открытый вопрос — где системе остановиться. Что считать достаточным основанием для поля, классификации или кода, в каждой области своё и редко где записано.
Метод
- Процедура вместо генерации. Классификация идёт по правовому методу шаг за шагом, а не просит у модели готовый ответ.
- У каждого значения есть происхождение: какой документ, какая строка, какое правило.
- «Недостаточно данных» — нормальный исход. Он записывается и показывается проверяющему.
- Состязательная перепроверка пытается опровергнуть каждое предложение до того, как его увидит человек.
- Результат проверяется по официальной схеме: черновик либо структурно верен, либо отклонён.
- Подписывает человек с полномочиями. Система готовит, а не решает.
Что измеряем
- Долю полей, у которых есть источник.
- Как часто система останавливается и как часто ошибается, когда не остановилась.
- Время, которое проверяющий тратит на исправление одной записи.
- Поведение на примерах-ловушках, которые подталкивают к правдоподобному неверному коду.
Результаты на сегодня
Рабочий прототип для торговых документов. Неполные строки поставщиков превращаются в проверяемый реестр товаров с источниками и пробелами. Предложения по классификации ссылаются на правила, на которые опираются. Черновики деклараций проходят проверку по официальной схеме.
Показатель точности не опубликован. Он ждёт отложенного набора настоящих деклараций — это следующая работа.
Что дальше
Собрать отложенный набор. Сравнить с сильным базовым подходом на тех же входах и при том же бюджете.