Открытая библиотека и инструмент командной строки, которые обращаются с исправлением AI-судьи как с изменением кода.
Что работает сегодня
- Исправление записывается правилом, в котором названа причина проверяющего. Оно не вставляется примером в запрос.
- Проверка прогоняет правило по всем случаям, на которых система когда-либо проверялась, и блокирует его, если оно ломает верный ответ.
- Правило одобряет второй человек. Откат — одна команда.
- Каждый шаг попадает в журнал со сцепленными хешами, который аудитор может проверить без сети.
- Демонстрация запускается без сети.
Откуда он взялся
Первая версия проекта вывела правило из одного исправления руководителя. Правило сломало звонки, которые система до этого разбирала верно, а собственная оценка проекта сообщила об улучшении. Этот провал опубликован в репозитории, и из-за него появилась проверка.
Что показал замер
Гипотезы были записаны до первого ответа модели, отступления от плана занесены в журнал.
- Правила, прошедшие проверку, не сломали ни одного верного вердикта. Каждый способ подать исправления через запрос что-то ломал.
- Одна гипотеза не подтвердилась. Подобранные примеры оказались точнее правил, и разница больше заранее заданной.
- Причина в том, что исправления бывают двух видов. Неверно применённое правило политики становится правилом. Неверно прочитанный факт — нет: правило работает с тем, что судья уже прочитал.
Ограничения
- Одна синтетическая область и один судья в сравнении. Эталонные метки взяты из письменной политики, а не из разногласий людей.
- Журнал показывает вмешательство. Он его не предотвращает.
Зачем он лаборатории
Это открытая, запускаемая часть исследования о доказательствах и полномочиях: кто вправе менять то, что решает машина, и как это изменение проверяется до того, как вступит в силу.