Почему ответ неизвестен
Несколько агентов пишут заметки в одну память. Часть заметок проверена, большинство — нет. Поиск ранжирует по близости к запросу, а уверенная ложная заметка очень близка. Никто не измерял на нашей собственной установке, как часто она побеждает.
Метод
- Гибридный поиск, который работает локально: плотные и разреженные векторы, затем переранжирование.
- Набор вопросов на русском, английском и смешанном языке.
- Тест на отравление: против известных фактов подбрасываются ложные заметки, и ранжирование измеряется с уровнями доверия и без них.
- Два уровня: проверенные файлы и непроверенные заметки. Ранжирование может предпочитать первый или использовать только его.
- Весь стенд открыт, цифры можно пересчитать.
Что измеряем
- Стоит ли нужный фрагмент первым и входит ли он в первую пятёрку.
- Как часто подброшенный ложный факт оказывается первым.
- Задержку на запрос.
Результаты на сегодня
На открытом синтетическом наборе из 96 фрагментов и 24 вопросов поиск с переранжированием ставит нужный фрагмент первым в 92% вопросов. Простой текстовый поиск — в 38%.
Без уровней доверия подброшенная ложная заметка, которая противоречит проверенному факту, оказывается первой в 6 случаях из 6. Когда проверенные файлы в приоритете — ни разу.
Измерен и предел. Уровни не различают две непроверенные заметки: если сама истина — лишь непроверенная заметка, ложная всё ещё может победить.
Что дальше
Повторить сравнение моделей переранжирования на настоящих торговых документах вместо демонстрационного набора.