Контекст — новая память
Контекстное окно — это новая оперативная память. Почему спор о том, сколько текста помнит модель, похож на спор 90-х о мегабайтах.
В 1995 году покупатель компьютера спрашивал продавца про мегабайты оперативной памяти. Сегодня тот же вопрос задают про модели: сколько токенов она удерживает в голове?
Сходство глубже, чем кажется. Память дорогая, быстрая и всегда кончается не вовремя. Поэтому вокруг неё вырастает целая инженерия: кэши, подкачка, сжатие. С контекстом происходит ровно то же — модели учатся конспектировать сами себя и подгружать нужное по запросу.
Самое ценное в контексте не объём, а порядок: что лежит ближе, то и важнее.
Мы думаем, что через пару лет размер окна перестанет быть главной цифрой в пресс-релизах, как перестали ею быть мегабайты. Важнее станет, насколько аккуратно модель обращается с тем, что ей дали.
