AI меняет главную парадигму ядерного сдерживания.

В ситуации, когда у вас, и у меня хватает оружия, чтобы уничтожить друг друга десять тысяч раз, становится понятно, что соревноваться в дальнейшем совершенствовании этого оружия бессмысленно. Все системы управления сейчас переключаются понемножку на то, что называется AI против AI, потому что он быстрее. Если, как Путин говорил, будет у них две минуты на подлетное время, то за две минуты очень многое можно проанализировать и понять, что это — нападение, или отвлекающий маневр, или ошибка.
Более того, главное, на что полагались со времен Карибского кризиса, — это так называемый прямой телефон, где очень быстро успеют переговорить двое. А с AI они успеют переговорить, допустим, шестьдесят миллионов раз. Задать друг другу два миллиарда уточняющих вопросов и получить два миллиарда уточняющих ответов. Короче, система принятия решения неотвратимо переходит на то, что мы называем AI. Так же, как неотвратимо через пятьдесят лет все автомобили, если будут автомобили и будет где ездить, будут управляться AI.

Циничная мораль

— А мораль?
— Есть пресловутая дилемма.

На дорогу выскочили два маленьких ребенка, играющие в мячик. В машине едет старый, пьющий инвестиционный банкир, больной раком. У AI есть варианты: либо он уворачивается, попадает в стену и убивает владельца автомобиля, инвестиционного старого банкира, больного раком, либо он убивает двух крошек, которые случайно оказались на дороге. 
— И как он будет делать этот выбор? У него же нет морали.
— Уже известно как. Производители AI заложат обе возможности и продадут автомобиль дилеру, сказав: «Мы не берем на себя ответственность. Вы машину продаете, вы и должны поставить настройку, как автомобиль будет вести себя в этой ситуации.
— То есть все-таки у человека остается важная функция.
— Дилер говорит: «Ты что, идиот? Меня страховые компании замучают, что я убью владельца автомобиля, который застраховал автомобиль у меня. Я не возьму на себя такую ответственность». И продаст автомобиль владельцу, и скажет: «Вы его сами настройте». После этого пьющий инвестиционный банкир, больной раком, поставит: «Дави всех, ценность моей жизни наивысшая». И так оно и будет происходить.

Есть вещи, которые не имеют корректного решения, но они все равно будут сделаны. Так же и передача управления штабов командования, оценка ситуации и принятие последних решений уже сейчас потихоньку передаются на уровень AI, и в грядущие годы оно будет полностью туда выведено. Это означает, что с точки зрения доктрины взаимного уничтожения не меняется ничего. Изменения произойдут в области психологии. Если мы считаем, что наш искусственный интеллект мощнее, мы ударим. В результате, скорее всего, конец мира будет столь же ужасен, как и без искусственных интеллектов.
— Конец еще, тем не менее, не наступил…
— Понимаете какая штука, изменение психологии и передача управления будет происходить не только на военном уровне. В том, как сегодня работают мировые финансы, разбираются во всем мире несколько сотен человек. И проанализировать, как поведут себя в каком случае фондовые рынки, финансовые рынки, люди уже сами не берутся, все это делается на компьютерах. Если вы пройдетесь по хорошим брокерским конторам, то обнаружите, что вся аналитика финансовая уже лежит на AI.
— Это же очень плохо.
— Что значит плохо? Другого варианта нет. Это все равно идет, хотим мы этого или нет. Просто автомобиль самый простой пример. Он проще, чем финансовые рынки, проще, чем война. И задача понятна. Вот он, старый алкаш. Вот дети. И он подавит детей. Почему? Потому что он сам так запрограммирует, потому что никто другой не возьмет на себя эту ответственность. А чтобы человек, купивший автомобиль, себе запрограммировал «убей меня, если что»… А если женщина там будет? А если старушка? «Убей меня» — никто этого не сделает. Поэтому я говорю, это задачи, которые в принципе не имеют решения.
Одно решение: не использовать искусственный интеллект. Люди водили автомобиль, пусть сами водят, пусть сами бьются. На это вам ответят, что сейчас тридцать тысяч человек погибает в год, а с искусственным интеллектом будет погибать вчетверо меньше. Не важно, что он будет давить там детей, зато в целом же меньше? Меньше. Это звучит антиутопично, но все это только на первый взгляд касается будущего. Все это уже есть. Пока это есть в лабораториях, и я это точно знаю. Мы считаем, что, ах, в будущем… Не в будущем, это уже здесь. И на самом деле для того, чтобы это будущее оказалось нашей реальной жизнью, надо всего лишь чуть-чуть понизить цену.

Порог эволюции?

— А откуда в этом мире AI возьмется новое знание? Я сама занималась экономическим прогнозированием. Обычно мы действовали через корреляции. Перебирали большое количество корреляционных связей, находили что-то неожиданное или ожиданное. У нас рождалась какая-то гипотеза, и мы начинали с этой гипотезой работать и производить какое-то новое знание. Грубо говоря, какую область ни возьми, человек, действуя так, производил новые знания. А машина может производить новые знания? Ведь если человек перестает участвовать в этом процессе и все происходит на уровне общения искусственного интеллекта, то откуда возьмется поиск нового?
— Что такое знание? Знание — это некое понятие, которое имеет смысл, только если есть вопрос неких действий и принятия решений. Если вам не нужно принимать решения, производить действия, то все равно, есть у вас знание или нет.

Например, гистология рака. Вот картинка под микроскопом. Сегодня у искусственного интеллекта знаний по гистологии больше, чем у любого врача, потому что они определяются банальным количеством проанализированных фотографий. Человек не в состоянии просмотреть больше нескольких сотен тысяч, а у AI миллиарды этих опытов, и он еще сам генерит эти опыты, сам же и анализирует. То есть у него вероятность правильного гистологического диагноза существенно выше, чем у человека. Можно ли при этом сказать, что он сгенерил знание? Да. Более того, его действие, то есть вынесение диагноза, — это принятие решения. Потому что следующим принятием решения будет выбор схемы лечения. И опять же, он знает больше про эту тему.
— Что в этом мире будет делать человек?
— У человека масса чего.
— Чего?
— Я сегодня несколько раз упоминал слово «эмоции» и говорил, что у нас есть эмоциональная сигнальная система, и это некий более глубинный уровень, который лежит и под интеллектом, и под разумом, под подсознанием. Ведь на самом деле все дело в языке — если бы не было языка, не было бы и того развития, которое мы прошли. Но сейчас закрадывается подозрение: а могла же эволюция обойтись без языка? Обошлась же она, например, у дельфинов. И это, кстати, отдельная история, потому что интеллект, разум и сознание человека, животного и компьютера — эти вещи нужно рассматривать вместе. Более того, выясняется, что многие задачи, выходящие за рамки интеллекта, задачи понимания друг друга — это не вычислительные задачи. Потому что Debater замечательно может вычислительным образом понимать, о чем говорит человек, и даже контраргументы находить, но эмпатия и понимание на эмоциональном уровне не являются вычислительными задачами. А дельфин это делает.
В принципе, может, мы вообще некий вывих эволюции. Вот заговорили не вовремя, получилась такая ветка. А сейчас мы идем к тому, что ветка эта тупиковая, ее нужно прикрыть, вернуться туда и пойти более правильным путем, что для эволюции совершенно на раз-два.
— Спасибо. Я больше не могу задавать вопросы.
— Не можете? Не надо.

Татьяна Гурова, главный редактор журнала «Эксперт» 4-10 марта 2019 г. «Хакнуть человечество»