SCANOVICHЛаборатория прикладных исследований ИИ
Проекты/выпущен

Precedent

Исправление, которое человек внёс в решение AI-судьи, становится правилом — с названной причиной, проверкой на всех уже разобранных случаях, одобрением второго человека и возможностью отката.

Статус
выпущен · v2.2.0
Код
открытый код · MIT
Репозиторий
github.com/FUYOH666/precedent
Направление
Доказательства и полномочия для машинных решений
Обновлено
2026-11-12

Открытая библиотека и инструмент командной строки, которые обращаются с исправлением AI-судьи как с изменением кода.

Что работает сегодня

  • Исправление записывается правилом, в котором названа причина проверяющего. Оно не вставляется примером в запрос.
  • Проверка прогоняет правило по всем случаям, на которых система когда-либо проверялась, и блокирует его, если оно ломает верный ответ.
  • Правило одобряет второй человек. Откат — одна команда.
  • Каждый шаг попадает в журнал со сцепленными хешами, который аудитор может проверить без сети.
  • Демонстрация запускается без сети.

Откуда он взялся

Первая версия проекта вывела правило из одного исправления руководителя. Правило сломало звонки, которые система до этого разбирала верно, а собственная оценка проекта сообщила об улучшении. Этот провал опубликован в репозитории, и из-за него появилась проверка.

Что показал замер

Гипотезы были записаны до первого ответа модели, отступления от плана занесены в журнал.

  • Правила, прошедшие проверку, не сломали ни одного верного вердикта. Каждый способ подать исправления через запрос что-то ломал.
  • Одна гипотеза не подтвердилась. Подобранные примеры оказались точнее правил, и разница больше заранее заданной.
  • Причина в том, что исправления бывают двух видов. Неверно применённое правило политики становится правилом. Неверно прочитанный факт — нет: правило работает с тем, что судья уже прочитал.

Ограничения

  • Одна синтетическая область и один судья в сравнении. Эталонные метки взяты из письменной политики, а не из разногласий людей.
  • Журнал показывает вмешательство. Он его не предотвращает.

Зачем он лаборатории

Это открытая, запускаемая часть исследования о доказательствах и полномочиях: кто вправе менять то, что решает машина, и как это изменение проверяется до того, как вступит в силу.

Доказательства

  • 0

    верных вердиктов сломали правила, прошедшие проверку, на закрытом наборе из 320 вердиктов. Те же 20 исправлений, поданные судье примерами в запросе, сломали 19.

    Измерено 2026-11-12 · Источник: github.com · RESULTS.md
  • 293 из 320

    вердиктов верны с правилами, против 304 с подобранными примерами. Лаборатория заранее записала, что правила отстанут от лучшего метода не больше чем на два пункта. Отстали больше.

    Измерено 2026-11-12 · Источник: github.com · RESULTS.md
  • 7 из 20

    исправлений не удалось превратить в правило. В каждом из них судья неверно прочитал сказанное, а правило, построенное на ответах самого судьи, этого не чинит.

    Измерено 2026-11-12 · Источник: github.com · RESULTS.md
Как подключиться

Разбор исправлений. Пришлите выборку решений, которые ваши проверяющие отменили. Мы покажем, какие исправления безопасны как правила, а какие сломали бы то, что работало.

Обсудить этот проект