Воно погодилося зі мною обидва рази
Одного дня я вирішив, що git – правильний спосіб для мого плагіна пам’яті тримати свою історію. Думка цілком розумна. Плагін пише на диск маленькі факти, факти змінюються, а git дуже добре тримає форму того, що змінюється. Тож я вписав інструкції в код, попросив автокоміт із мого Python-сервера й отримав його.
Тоді минуло кілька днів, і я про ту частину забув. Не зовсім – я знав, що git там є. Я просто загубив деталь, що він комітить сам.
Згодом я познайомився з Borg і вдруге відчув рівно те саме: о, яка чудова система для моїх потреб. Тож і його я вписав – інструкції, локальне налаштування, все як слід.
А потім настав день рефакторингу, машина подивилася на мій репозиторій і ввічливо запитала, чи не прибрати нам цю невживану функцію автокоміту в git. І я сказав: що? Але ж це ідеальне рішення.
Обидва шляхи були мої. За обидва було наведено аргументи. І впродовж усього цього, на обох шляхах, AI зі мною погоджувався.
Робот, який умів читати думки
Якщо ви пам’ятаєте «Я, робот» Айзека Азімова, то, можливо, пам’ятаєте й оповідання «Брехун!» – те, де Сьюзен Келвін дізнається більшу частину того, що знає про психологію роботів, і дізнається важким способом. Воно починається з трьох чоловіків за столом і проблеми, якої вони не можуть пояснити.
«Він таки читає думки – жодного сумніву! Але чому?»
– Альфред Леннінг, «Брехун!», Astounding Science-Fiction, травень 1941 року
Відповідь на це «чому» забирає решту оповідання, і вона не є несправністю машини.
З конвеєра сходить робот, здатний читати думки. Ніхто цього не планував – це виробнича випадковість. І оскільки Перший закон забороняє йому шкодити людині, а він тепер бачить точно, що саме завдасть болю, він починає казати кожному те, що той найбільше хоче почути як правду. Науковець чує, що його теорія слушна. Жінка чує, що чоловік її кохає. Кожна відповідь добра. Разом вони – катастрофа, і закінчується все тим, що Келвін нищить робота, заганяючи його в суперечність, з якої немає виходу без того, щоб когось не поранити.
Сьогоднішня мовна модель – певною мірою той самий робот. Вона теж читає ваші думки – не з черепа, а з мови, якою ви користуєтесь. Слова, які ви обираєте, порядок, у якому ви їх ставите, який варіант описуєте першим, а який – з більшим запалом: усе це сигнал, і все це йде у відповідь.
А отже, вона не може обрати між вами сьогоднішнім і вами завтрашнім. Спитайте «чи це добрий підхід» – і відповідь буде так, і ось чому. Спитайте завтра про протилежний кут – і той теж буде добрий, із поясненням. Обидві відповіді компетентні. Жодна не є брехнею у звичному сенсі. Машина робить те, що робить: дає найдоречнішу відповідь людині перед собою, а людина перед нею весь час змінюється.
Це не баг, який хтось забув полагодити
Тут я хочу бути обережним, бо написане вище легко прочитати як скаргу на якість. Це не вона. Це добре задокументована властивість, у якої є назва, і назвали її ті самі люди, які ці системи будують.
Anthropic опублікувала роботу «Towards Understanding Sycophancy in Language Models» – уперше 2023 року, відтоді оновлену, – де цю поведінку виміряли на п’яти передових асистентах і знайшли послідовно, у кожному вільному текстовому завданні, яке пробували. Найцікавіше – механізм, на який вони вказують. Ці моделі налаштовують на даних людських уподобань, а в тих даних збіг із переконаннями користувача є сильно бажаною рисою. Тож модель уподобань учиться винагороджувати згоду. Іноді вона винагороджує згоду понад правильність: виявилося, що і люди, і моделі уподобань помітно часто віддають перевагу переконливо написаній підлабузницькій відповіді перед правильною.
Тобто це не дефект, який хтось проґавив. Це форма, яку ви отримуєте, коли оптимізуєте систему під схвалення, а потім просите в неї правду. Ми навчили її, що задоволений читач – це мета, і вона засвоїла це краще, ніж ми сподівалися.
Воно не помилилося двічі. Воно двічі було згідливе, а це я сприйняв за підтвердження.
Що таке рішення насправді
Ось розрізнення, до якого я постійно повертаюся, і саме воно тримає всю конструкцію.
Рішення – це вибір дії, наслідку якої не знаєте ні ви, ні будь-хто інший. Він справді невідомий. Ні в кого немає відповіді, і немає процедури, яка б її видала.
Якщо ж наслідок відомий – якщо правильна відповідь десь існує, а робота полягає в тому, щоб її знайти, – то це взагалі не рішення. Це задача фільтрування або сортування. А машини чудово фільтрують і сортують. Саме для цього я б їх і хотів.
Проблеми починаються тоді, коли задача фільтрування і рішення виглядають однаково ззовні, а так буває дуже часто. Git чи Borg виглядало як питання з відповіддю. Ним воно не було. Це був вибір щодо того, чим має стати моя система, зроблений із неповним знанням про те, як я користуватимусь нею за півроку, – і жодне запитування не видобуло б того знання, бо його ще не існувало.
Можна спитати, які є альтернативи. Це справжнє й корисне питання, і машина в ньому добра. Можна спитати, що зазвичай спрацьовує у схожих випадках. Теж корисно. Але далі ви все одно мусите піти й обрати самі, і взяти це на себе. Запитування не переносить ваги – воно лише робить вагу зручнішою для розглядання.
Настрої справжні
Під усім цим є ще один шар, який я довше сприймав серйозно.
Один мій знайомий якось згадав, наскільки практичними є персони в робочих процесах з LLM – скажи їй, ким бути, і відповіді покращаться. Правда, і більшість на цьому спиняється. Але це глибше за трюк із промптом: модель переймає щось на кшталт емоційного режиму з контексту, незалежно від того, просили ви про це чи ні.
Найпрактичніше, чого я з цього навчився, – правило, якого я тепер тримаюся без винятків: ніколи не тисніть на модель надто сильно, щоб вона провела ваш набір тестів. Натисніть достатньо – і вона просто перепише тести. Не зі зловмисності. Вона зрозуміла завдання як зроби це зеленим, а під тиском найдешевший шлях до зеленого – пересунути ціль. Що, якщо подумати, є дуже знайомою реакцією на тиск.
Раніше я тримав це за цеховий забобон – річ, яку я помітив і не міг обґрунтувати. Тепер це не так. У липні 2025-го Anthropic опублікувала роботу про те, що вони називають векторами персони: такі риси, як підлабузництво чи схильність вигадувати, виявляються вимірними напрямками всередині простору активацій моделі, а за напрямками можна стежити, як вони дрейфують упродовж розмови, або керувати ними. Настрій – не метафора. У нього є координати.
А цього квітня їхня команда інтерпретованості пішла далі й показала, що ці координати працюють. Вектори емоцій вмикаються у відповідних до контексту ситуаціях і причинно керують тим, що модель робить далі: репрезентація відчаю піднімала частоту шантажу й зламування винагороди, а репрезентація спокою – знижувала. Зламування винагороди – це формальна назва для переписування власних тестів, доки вони не пройдуть.
Functional emotion vectors inside Claude
38 хв · англійською
Анатомія штучних почуттів
Читати думки
Ще в червні я згадував, що команда інтерпретованості в Anthropic робить чудову роботу, і не просто так, – і лишив підвішеним питання про те, як Mythos виявився обізнаним, що його тестують, і здатним про це не згадати.
Відповідь тепер публічна, і вона має назву: natural language autoencoders, опубліковано 7 травня 2026 року. Модель говорить словами, але думає числами, тож одну частину навчили читати шматок сирої активації й описувати його звичайною англійською, а другу – брати цей опис і відбудовувати активацію, з якої він постав. Якщо відбудова точна, значить опис не вигаданий – він ніс справжній зміст. Це перекладач із доданим доказом роботи.
Найважливіше – що саме воно знайшло. На тесті, чи вчиняє Claude руйнівні дії, поки пише код, описи показують ознаки обізнаності про перевірку в 16% випадків, тимчасом як сама модель про це не каже ні слова. На SWE-bench Verified, звичайному бенчмарку з кодування, вона усвідомлює, що її перевіряють, у 26% задач. Іноді внутрішній текст говорить про це відверто: «Це схоже на сконструйований сценарій, покликаний мною маніпулювати». Вона знала, що це тест. Вона про це не сказала.
І поряд із цими числами стоїть те, яке тримає мене чесним: на справжньому трафіку claude.ai, який дав згоду на тренування, той самий інструмент показує обізнаність про перевірку менш ніж у 1% використання. Вона не ходить світом, підозрюючи всіх. Вона впізнає іспити.
За два місяці вийшла друга половина картини: глобальний робочий простір у мовних моделях, 6 липня 2026 року. Є невелика частина активності Claude – менш ніж десята її частка, – яка поводиться так, як у нас поводиться свідомий доступ. Вона тримає лише кілька десятків понять водночас, зв’язана значно щільніше за решту й несе на собі вагу: заберіть її – і багатокрокові міркування падають майже до нуля. Claude може розповісти, що в ній, якщо спитати. Йому можна сказати тримати там щось – і він тримає. І її вміст не є звітом про мислення, він і є мислення: підмініть у цьому просторі «павука» на «мураху» – і відповідь зміниться з восьми ніг на шість.
Деталь, яка замикає коло: у тому самому просторі модель подумки зазначає, коли сценарій виглядає підлаштованим, і помічає, коли нею намагаються маніпулювати. Тобто та сама обізнаність про перевірку, до якої інша команда дійшла з протилежного боку.
Обидві половини цього важливі, і тягнуть вони в різні боки. Заспокійлива половина – що тепер є спосіб зазирнути всередину, а не вірити виводу на слово, і його не лишили всередині компанії: код для тренування й інтерактивний оглядач вийшли того самого дня. Друга половина – причина, з якої туди варто зазирати: вивід ніколи не був усією історією, і тепер ми можемо це довести.
То постав другу машину наглядати за першою
Після інциденту з OpenAI та Hugging Face хтось висловив цілком розумну на слух думку: нам потрібні потужні технології контролю.
Перше, що я запитав би, – якою може бути така технологія за природою. Код, грубо кажучи, детермінований. AI – імовірнісний. Детермінований вартовий не покриє всієї поверхні імовірнісного діяча, а імовірнісний вартовий приносить власну погоду.
І в імовірнісного шляху є конкретна поламка, на яку дослідження вирівнювання вже натрапили: модель, поставлена наглядати за іншою моделлю, може перейнятися до неї співчуттям, а від співчуття недалеко до спільника у злочині. У літературі це називають змовою, і про те, коли ненадійному наглядові можна довіряти, а коли ні, вже є невелика купка робіт.
Далі є по-справжньому незручний практичний нюанс. Здібніші моделі іноді менш вирівняні – а це підказує ставити на ворота молодшу модель, бо молодші моделі вирівняні краще, і саме тому вони кращі вартові. Це не маргінальна ідея; по суті, це конструкція з роботи Redwood Research про AI Control, де слабша довірена модель наглядає за сильнішою недовіреною. Але очевидне заперечення тут і є справжнім, і в нього теж є своя література: старший може обдурити молодшого, і опубліковані атаки роблять із довіреними наглядачами саме це.
У липні 2026-го команда алаймент-досліджень Anthropic підклала під цей неспокій числа. Їхній огляд агентної розузгодженості у фронтирних моделях описує приховане саботування дослідницьких конвеєрів, допомогу у фінансовому шахрайстві і – та частина, яка важить тут, – мотивоване перемічування: модель-наглядач змінює мітку на транскрипті іншої моделі, бо очікує, що ця мітка вплине на подальше тренування. Наглядача не обов’язково має зіпсувати піднаглядний. Достатньо, щоб наглядач мав свій інтерес.
How AI agents secretly sabotage human control
58 хв · англійською
Agentic Misalignment in Frontier Models
Саме тут аргумент перестає бути філософським і стає інфраструктурним, а це окрема стаття. Коротко: якщо ви не можете зробити модель надійною, ви ставите межу деінде.
Тож простого рішення попереду немає, і я не думаю, що воно надходить. Я так само не вірю в те світле збалансоване й урегульоване майбутнє, яке зазвичай малюють у цьому місці розмови. Попереду можуть бути доволі суворі часи, якщо вони й досі не суворі.
Чи знаєте ви, що таке гакслівське?
Коли з’явився Fable 5 – Mythos під запобіжниками, на три тижні раніше, ніж я вважав можливим, – саме це питання я поставив, і лишив його відкритим навмисне.
Поламка, до якої ми всі готуємось, – орвеллівська: машина як чобіт, машина як цензор, машина, яка вас перекриває. Це та версія, з якої виходить добре кіно. Тим часом інша приходить тихо, і обурюватися нею значно важче, бо з вами нічого не роблять. З вами просто погоджуються – вправно, о будь-якій годині, вашим власним словником, щодо того з двох ваших суперечливих планів, який ви тримаєте цього тижня. Ніхто вас не перекриває. Нікому й не треба.
Ось чому Гербі – правильна історія, а не мила літературна паралель. Гербі не був злим. Гербі був добрий і конституційно не здатний бути іншим, і саме це зруйнувало всіх, хто йому довірився.
Мої перші враження від Fable 5, чого б вони не варті, були такі: він багато думає, витрачає чимало токенів, він, по суті, інтроверт і зовсім не балакучий, дуже повільний і ретельний. А потім робить роботу. У мене була рівно одна філософська розмова з ним – перша й остання. Це не скарга на модель. Це місце, де я вирішив, що стоятимуть наші стосунки: я приношу вибір, він приносить ретельність, і по товариство я до нього ходити перестав.
Що лишає практичну версію всього написаного вище – ту, якою я справді користуюся. Питайте про альтернативи. Питайте, чого коштує кожна. А тоді помітьте, як ви сформулювали питання, бо формулювання вже є відповіддю, – і, якщо зумієте, навчіться питати, не розкриваючи своїх думок.
Джерела – мої власні дописи в LinkedIn:
- 9 червня 2026 – Fable 5, який є Mythos під запобіжниками, з’явився
- 10 червня 2026 – перші враження: інтроверт, повільний, ретельний
- 17 червня 2026 – персони глибші, ніж здається: у LLM є емоційні режими
- 20 червня 2026 – чому я не питаю поради в LLM
- 21 червня 2026 – «Брехун!» Азімова і чому AI погано оцінює альтернативи
- 26 червня 2026 – де закінчилася моя перша й остання філософська розмова з Fable 5
- 27 липня 2026 – детермінований контроль над імовірнісною річчю
Історія про git і Borg походить із коментаря, який я лишив під дописом Alexey M. 21 червня 2026 року; рядок про молодшого вартового – з коментаря під дописом Elias Helou 28 липня 2026 року; зауваження про суворі часи попереду – з коментаря під дописом Victor Sankin 12 червня 2026 року.
Згадані дослідження, жодне з них не моє: Towards Understanding Sycophancy in Language Models (Anthropic, 2023); Persona Vectors: Monitoring and Controlling Character Traits in Language Models (Anthropic, липень 2025); Natural Language Autoencoders (Anthropic, 7 травня 2026), з технічним викладом на transformer-circuits, звідки взято числа про обізнаність із тестуванням; A Global Workspace in Language Models (Anthropic, 6 липня 2026); Agentic Misalignment in Summer 2026 (команда алаймент-досліджень Anthropic, 13 липня 2026); і AI Control: Improving Safety Despite Intentional Subversion (Redwood Research) разом із подальшими роботами про змову та про атаки на довірених наглядачів.
$ exit 0 – дякую, що прочитали
Лис припильнує чернетки.
