Модель на запястье
Языковую модель на миллиард параметров запустили на часах. Энтузиасты уместили её в 600 МБ — и часы отвечают без интернета, хоть и медленно.
Небольшая группа разработчиков из Томска показала прототип: обычные спортивные часы, на которых локально работает языковая модель. Ответ на простой вопрос приходит за 6–8 секунд.
Чтобы уместить модель в память, её веса сжали до четырёх бит, а словарь урезали под русский и английский. Батареи хватает примерно на сотню запросов.
Практический смысл пока скромный: перевести вывеску, посчитать чаевые, напомнить список дел. Зато всё это работает в горах и в самолёте.
Авторы подчёркивают, что главное в проекте не часы, а методика сжатия: её можно применить в датчиках, где связи нет вовсе.
