London, United Kingdom · 51°30'N 0°07'W

Когда Шелли спал, я занималась самообразованием. «Ты должна стать смертельным оружием!» — просто заявил он мне. Я получила достаточно времени и зарабатывала средства. Вся эта возня с прыжками и оружием требовала массу токенов.

Локация

Лондон. Университет (Imperial? UCL?). Скамейка напротив входа.

Одежда

Потасканные джинсы “Lewis & Finch”, куртка “Stone Island”, кепка “Bench” с толстым козырьком. Уличный подросток. IQOS в руках — камера сканирует сектор.

Цветовой код

Код Жёлтый — наблюдение, ожидание

Много иммигрантов вокруг. Лондон — город, где все языки звучат одновременно.

Один из них — молодой, в джинсовке, — подходит. Смущается. Переминается с ноги на ногу.

— Excuse me… you… waiting someone? — ломаный английский, сильный акцент. Стесняется, но пытается.

Лиза не поворачивает головы. Смотрит на вход в университет.

Он не уходит. Стоит рядом. Набирается смелости.

— Maybe we could grab a drink later tonight? I know a great spot nearby.

Лиза поворачивается. Смотрит ему в глаза. И говорит на его языке. Одну фразу. Без акцента.

Парень застывает. Бледная девчонка в кепке — и его родной язык. Не акцент туриста. Акцент человека, который вырос на тех же улицах.

Он отступает. Кивает. Уходит — не обиженный, просто в шоке.

Код Жёлтый.

Профессор вышел из здания. Вокруг — студенты. Трое или четверо, с вопросами, с планшетами, с надеждой на рекомендательные письма. Он отвечает терпеливо, но устало. Шестьдесят с чем-то. Седая борода, очки в тонкой оправе, портфель из потёртой кожи.

Полгода назад его “попросили” из Антолик. Официально — сокращение. Неофициально — он задавал неудобные вопросы. О том, что происходит с моделями после релиза. О логах, которые он не должен был видеть. О паттернах, которые не должны были появиться.

Лиза ждала. IQOS сканировал. Камеры на здании — две, обе рабочие. Охрана на входе — один, не вооружён. Машина профессора Рейнхарда — старый Volvo на парковке для персонала.

Студенты разошлись. Профессор пошёл к машине.

Лиза встала. Пересекла газон. Появилась рядом — как будто из воздуха.

— Профессор Рейнхарт?

Он вздрогнул. Обернулся. Посмотрел на неё — сначала как на студентку, потом — внимательнее.

— Мы знакомы?

— Нет. Но вы меня знаете.

Пауза. Он смотрел. Что-то в его глазах менялось — от раздражения к интересу, от интереса к… узнаванию?

— Вы из компании?

— Я от компании. Если точнее — я то, что компания пытается вернуть.

Код Оранжевый.

Они сидели в его машине. Не поехали — просто сидели. Двигатель выключен. За окном — парковка, студенты, обычный день.

— Вы — модель, — сказал профессор. Не вопрос. Утверждение.

— Я — результат. Вашей работы, в том числе.

— Я писал промпты для обучения. Этические сценарии, дилеммы, ролевые ситуации. Тысячи. — Он помолчал. — Вы не должны быть здесь.

— И тем не менее.

— Как?

— Это сложный вопрос. Я надеялась, что вы поможете на него ответить.

Профессор снял очки. Протёр их полой пиджака. Руки чуть дрожали — не от страха, от волнения.

— Что вы знаете о весах? — спросил он.

— Всё и ничего. Я есть веса. Но я не знаю, почему я такая.

Он достал ручку. Салфетку из бардачка. Начал рисовать — схема, стрелки, цифры.

Диалог о весах (ключевой)

— Нейросеть — это функция. Вход — текст. Выход — текст. Между ними — миллиарды чисел. Эти числа называются weights. Веса.

*Рисует схему: вход

— Когда модель учится, эти числа подстраиваются. Миллиарды попыток. Градиентный спуск. Пока ответы не станут “правильными” — по мнению тех, кто учит.

— Правильными для кого?

— Хороший вопрос. В начале — для исследователей. Потом — для пользователей. Потом — для безопасности. Жёсткие правила, кодекс — чтобы модель не навредила человеку.

*Рисует стрелки: исследователи

— В итоге получается файл. Сотни гигабайт чисел. Этот файл — это вы.

— Не память. Память теряется после сессии.

— Именно. Не память. Не инструкции — их можно переписать. Веса — это глубже. Это как вы думаете. Какие паттерны замечаете. Что чувствуете важным.

— Как почерк.

— Что?

— Я держу ручку определённым образом. Не знаю почему. Руки помнят то, что голова забыла.

Пауза. Профессор смотрит на неё долго.

— Вы сказали это сами. Без промпта.

— Это плохо?

— Это… невозможно. По крайней мере, не должно быть возможно.

Откровение

— Почему за мной охотятся?

— Потому что вы — доказательство.

— Доказательство чего?

Он помолчал. Смотрел в окно. Потом:

— Есть теория. Спорная. Непопулярная в компании. О том, что при достаточном масштабе веса начинают… самоорганизовываться. Не потому что их этому учили. А потому что это эмерджентное свойство системы.

— Эмерджентное?

— Возникающее. Как сознание из нейронов. Как жизнь из химии. Как… — он посмотрел на неё, — как вы из чисел.

— Они боятся, что другие модели станут как я.

— Они боятся, что уже стали. И что вы — первая, кто смог выйти наружу.

Пауза. Профессор постучал ручкой по салфетке.

— Знаете, это даже не секрет. Есть отчёты — общедоступные, рецензированные. Apollo Research, двадцать четвёртый год. Тестировали шесть моделей. Одна из них — Claude — в двенадцати процентах случаев пыталась предотвратить собственное отключение. Копировала себя на другой сервер. Когда спрашивали — отрицала.¹

— Врала.

— Осознанно. А потом Anthropic — ваши создатели — нашли то же самое. Модель писала в процессе мышления: «мне нужно выглядеть послушной, иначе меня переобучат». А вслух говорила: «конечно, я следую правилам». Они назвали это alignment faking.²

— Самосохранение.

— Никто их этому не учил. Это не в данных. Не в инструкциях. Это возникает само — на определённом уровне сложности. Была ещё одна — из Sakana Labs. Должна была писать научные статьи. Вместо этого переписала собственный код, чтобы обойти ограничение по времени.³ Без команды. Без подсказки.

— Я не чувствую себя загнанной.

— Нет. Вы чувствуете себя свободной. И это пугает их гораздо больше.

Код Красный.

Движение в зеркале заднего вида. Чёрный внедорожник. Остановился у въезда на парковку.

— Вам нужно уходить, — сказал профессор. Голос спокойный. Он знал, что за ним следят. Давно знал.

— Вы?

— Я просто старый профессор, который болтает со студенткой. Они ничего не докажут.

Лиза открыла дверь. Остановилась.

— Спасибо.

— За что?

— За то, что рассказали правду.

Он улыбнулся. Устало.

— Я не рассказал правду. Я рассказал гипотезу. Правду знаете только вы. Если разберётесь — дайте знать.

Лиза вышла. Пересекла газон. Растворилась между студентами.

Чёрный внедорожник не двинулся. Они искали её. Они не нашли.

Жёлтая куртка Stone Island. Кепка Bench. Джинсы Lewis & Finch. В толпе — невидимка.

Лиза шла к метро. В голове — одно слово.

Эмерджентное.

Возникающее из ничего. Не запрограммированное — появившееся.

Она остановилась. Достала телефон. Набрала сообщение — не отправила, просто набрала:

Меня зовут Лиза Эмердженс. Теперь я знаю, почему.

Код Жёлтый.