Контекстне вікно - це все, що модель бачить у цю мить: інструкції, файли, історія розмови, результати пошуку, твоє повідомлення. Найточніший образ для нього - робочий стіл. На столі лежить те, з чим працюєш зараз; що на ньому не лежить, того для роботи не існує. Пам'яті поза столом у моделі нема: між розмовами стіл порожній, і кожна нова розмова починається з розкладання предметів заново.
Розмір стола вимірюється токенами: у робочих моделей - сотні тисяч, у флагманів - мільйон. Це багато: сотня договорів входить. Але розмір стола і зручність роботи за ним - різні речі, і далі саме про це.
Модель не читає стіл вибірково. Кожне слово відповіді обчислюється з урахуванням усього, що лежить на столі, - і кожен предмет тягне продовження в свій бік. Якщо поруч з договором лежать учорашня переписка про інший проєкт, три чернетки листа і випадково прикріплена презентація, відповідь про договір формується під впливом усього цього. Не тому, що модель "відволікається", а тому, що для неї нема різниці між потрібним і випадковим: усе на столі - однаково вхід.
Звідси типові збої довгих розмов: відповідь бере термін з іншого документа, підхоплює тон попередньої задачі, повторює правку, яку ти вже скасував. У кожному випадку причина одна: на столі лежить щось, що там лежати не мало.
Заявлений розмір і робочий розмір - різні числа. Тести показують: точність стабільна приблизно до половини заявленого вікна, а помилки частішають на матеріалі з середини. Початок стола модель тримає добре (там інструкції), кінець - теж (там свіже питання). Середина - зона, де лежить документ, завантажений годину тому, і саме звідти беруться відповіді "з пам'яті" замість відповіді з тексту.
Практичне правило: планувати половину від заявленого і не покладатися на те, що щось "уже є в розмові". Потрібний документ у довгій розмові краще покласти на стіл заново - або поставити питання в новій.
З цього випливає, як влаштована робота з моделлю: більша частина - це підготовка стола, а не формулювання питання. Одна задача - одна розмова: змішування двох справ в одній розмові дає стіл з двох столів. На стіл кладеться те, що потрібно для цієї задачі: документ, еталон, приклад результату - і не кладеться решта. Файли краще за переказ: файл лежить на столі цілком, переказ - з втратами.
Постійні інструкції і проєкти - це заздалегідь накритий стіл: інструменти вже розкладені, і кожна нова розмова починається не з порожнього місця. Саме тому налаштований асистент з тією ж моделлю працює краще за порожній чат.
Довга робота ділиться на сесії, і між сесіями стіл прибирається свідомо. Наприкінці етапу модель складає підсумок: що вирішено, що лишилося, які документи в роботі. Цей підсумок - окремий файл, і наступна сесія починається з нього, а не з усієї історії. Агентні режими роблять це самі: коли стіл наповнюється, старі кроки стискаються в короткий переказ, а місце звільняється.
Те, що має пережити прибирання, переноситься в постійні шари: рішення - в інструкції, робочі документи - у проєкт, факти про справу - у файл підсумку. На столі лишається поточне; усе інше лежить у шухляді і дістається, коли потрібне.
Відповіді підхоплюють терміни або тон з іншої задачі. Модель повертається до скасованої правки. З'являються посилання на документ, якого в поточній задачі нема. Відповіді на просте питання стають довшими і загальнішими. Кожна з цих ознак означає одне: на столі забагато. Правильна реакція - не уточнювати запит, а почати нову розмову з підсумком і потрібними файлами.