Почему ответ неизвестен
Некоторые документы и записи не могут покидать здание. Локальные модели меньше облачных, и честный ответ на вопрос «достаточно ли локального» зависит от задачи, языка и оборудования. Его приходится измерять в каждом случае отдельно.
Метод
- Построить локальную версию как настоящий инструмент, которым пользуются каждый день, и затем измерить её.
- Держать каждый сервис за стандартным интерфейсом, чтобы локальную и облачную модель можно было поменять местами и сравнить на одних входах.
- Публиковать код и стенд для измерений.
Что измеряем
- Качество относительно облачного базового уровня на тех же входах.
- Задержку на обычном оборудовании.
- Что всё ещё должно покидать периметр, если должно.
Результаты на сегодня
- Голосовой ввод, который целиком работает на Mac, выпущен с открытым кодом и локальным сервером со стандартным аудиоинтерфейсом.
- Сервисы эмбеддингов и переранжирования, которые с одной машины обслуживают несколько наших проектов.
- Эталонный стенд аналитики звонков, где аудио и расшифровки остаются на дисках владельца.
- Приватное рабочее место с чатом, которое направляет запросы в модели по выбору владельца.
Что дальше
Установка поискового стенда на Linux-машину клиента одной командой.