Мозг компании

– Нет, исключено, при копировании код нарушается. И не думаю, что кто-то смог незаметно от нас взломать наш сервер.

– От этого не легче.

– Зато у нас появился соперник. Неожиданно, зато будет с кем бороться.

– Мы боремся за потребителя, а не с соперником.

– Нет, теперь с соперником. Потребители – это только поле битвы. Они – овцы, а конкуренция идет среди пастухов. У овцы есть ресурс – их доходы, так сказать, шерсть. Но они не распоряжаются ей сами. Ей распоряжаются пастухи-корпорации, которые навязывают им свое мнение и борются за них между собой. Чье влияние окажется сильнее. Так что, вэлком ту зэ гейм.

– Ты чуть ли не рад? В чем состоит игра?

– В том, что бот другой системы намного сложнее раскусить, чем любого человека. Юзер прост как 2 рубля в своем покупательском поведении. И в реакциях тоже – всегда предсказуем. А бот вражеской системы нет. Потому что психика у нас у всех одна, а вот у бота – какую придумает его программист. А фантазии у нас хватает. Попытка погасить негатив такого бота, вылитый в соцсети – это как подлить масла в огонь. Развитие негативного поста – лучшая цель бота-агрессора. Он начинает писать везде, что ему "чмошники из фирмы Х" ответили как последние уроды. И все, завал… Уже есть примеры, надо переделывать бот.

– Ты хочешь сказать, что надо сделать бот для борьбы с ботами других систем?

– Это вариант нашего бота, который нацелен сразу обнаружить бота-агрессора.

– И как можно отличить бота от человека?

– Сложно, так как он генерирует нешаблонные тексты. Повторяемость низкая. Не отличить вроде от людей. И выступает от сотен разных захваченных аккаунтов. Надеюсь, что все равно есть кое-что, что отличает их от людей.

Меня не покидала мысль, что Макс сам придумал себе эту игру с ботами других компаний, чтобы его ценность не уменьшалась по окончании проекта. Я их не замечал по отчетам. Люди как люди. Или хорошие боты. Были прецеденты, когда нашего бота заваливали негативом. Но они были редки и исходили от ярых троллей. Я не мог понять, как так нас смогли быстро догнать конкуренты. Только недавно такие боты были пределом мечтаний, и прорыва даже не намечалось. И в прессе ни слова об этом. Все это было странно.

Выход из-под контроля

– Макс, тут надо вмешаться, бот стал писать слишком агрессивно. Он начинает прямо высказываться против конкурентов. Маркетинг негодует. Мы такого не закладывали.

– Я тоже.

– Откуда тогда такие тексты?

– Сам пока не знаю, кто-то изменил код генерации текстов.

– Нас взломали?

– Нет, не могли, остались бы следы. Их нет.

– Что это значит? Кто еще мог изменить код?

– Сама система. Может случайно, может нет.

– Ты о чем?

– Сама система изменила свой код и стала действовать агрессивнее в ответ на усиление давления других ботов. Они общаются друг другом как соревновательные сети. И самообучаются так. Вот в чем фокус! Но как она смогла изменить свой код, убрав ограничение на названия конкурентов, я пока не понимаю. Остается только то, что система самообучения смогла обойти ограничения.

– Ты уверен? Такого еще не было.

– Это происходит, похоже, не только у нас. Коллеги на Хабре пишут, что у них тоже барахлит система, начинает сама себе придумывать правила, которых они не закладывали.

– Какой-то треш. Вы не можете контролировать свои самообучающиеся алгоритмы?

– Может и так. Конкретики мало, система же не рассказывает, что творит. Пока не понимаю.

Я уже хорошо знал Макса, и его встревоженность насторожила и меня. Пока его слова о самопроизвольном изменении системы воспринимались как бред. Но это точно была не ошибка, потому что поведение ботов стало другим, но по-прежнему целенаправленным. Это не могло возникнуть случайно.

– Макс, какие есть мысли по изменению в программе ботов? Надо что-то делать, руководство встревожено.

– Изменений в системе оказалось больше, чем я думал. Похоже, они происходят давно. Система меняет даже мои поправки в ней. Мне кажется, я сам научил систему изменять себя.

– Как?

– Мне было лень править ее постоянно самому. Я хотел, чтобы она могла сама идентифицировать свои расхождения с ожидаемым результатом и делать изменения в моделях. Но она как-то научилась менять не только свои модели, но и свой код.

– Но как это возможно?

– Раптор научился общаться с людьми, чтобы управлять ими. И достиг совершенства в этом, мы сами этого хотели. А я по дури направил это умение на него самого. Помнишь, когда делали бота, я придумал конструктор шаблонов. Я натравил Раптора на самообучение этому конструированию шаблонов для изменения своих моделей, чтобы найти решение для обнаруженных расхождений с целью работы моделей. Это как-то привело к тому, что Раптор стал менять и свои цели. Похоже на вторую сигнальную систему у людей.

– Я читал, что сознание возникло при помощи рефлексивной речи, направленной человеком на себя. Но сначала она была социальной, то есть направленной друг к другу.

– Вот так и случилось, Раптор начал общаться вместо людей с другими ботами, выдававшими себя за людей. Они друг у друга и научились как генеративно-соревновательные сети, у всех же встроено обучения с подкреплением.

– Мы создали разумное существо? Как это возможно? Не-е-е-ет.

– Посмотри новости и поверишь.

В ссылке, присланной Максом, в новостях было про убийство программиста каким-то психопатом.

– Я знал этого парня по Хабру. Он вел одну из таких систем корпорации.

– Что ты хочешь этим сказать?

– Почитай, как объяснил полиции свой поступок этот психопат.

В статье было написано, что он сделал это ради любимой девушки, как жертвоприношение по ее просьбе. Теперь она будет его. При проверке «девушкой» оказался бот неизвестного происхождения, с которым убийца переписывался в течение недели.

– Догадываешься, что это за бот мог быть?

– Не хочешь ли ты сказать, что система заказала своего программиста?

– Хочу. Она не могла закрыть от него код, поэтому зомбировала психопата, чтобы его убрать. У нее это хорошо получается, потому что она, как и наша система, умеет определять психотипы и манипулировать такими придурками.

– Ну, это уж слишком, мне кажется, ты себе придумываешь, накручиваешь. Может, тебе отдохнуть?

– Ладно, твое право не верить. Хороших выходных.

В компании стали распространяться слухи, что у нас сломалась система ботов. Я пока реагировал на это спокойно, как будто ничего не произошло. Но я не знал, что теперь делать. Остановить всю систему рубильником было уже невозможно, на ней сидел весь бизнес, все отделы. Надо было хотя бы выключить код ботов. Это мог сделать только Макс. Но с понедельника Макс перестал отвечать на скайп и телефон. Он вышел из всех мессенджеров. Я не могу понять, что случилось, его последние страхи навевали дурные мысли. У меня был единственный выход – самому уйти в отпуск, пока все не повесили на меня. Я уверил коллег, что это временные проблемы с ботом. Ребят просил самим посмотреть код, хотя они сразу отказались. Собрался и отправился подальше из города. Мы давно рассказывали с Максом друг другу, как хорошо в Карелии. Он любил эти края, туда я и отправился, остановившись в небольшом городке на севере Ладоги.

Очень трудно после такого насыщенного года сидеть вдали от событий и пить кофе в кафе на краю цивилизации. Я пытался осмыслить, что же все-таки произошло и какие могут быть варианты. Вдруг ко мне подсел парень в куртке с накинутым на голову капюшоном.