Издательство «Альпина нон-фикшн» представляет книгу «Совместимость. Как контролировать искусственный интеллект» (перевод Натальи Колпаковой, научный редактор Борис Миркин).
В массовом сознании сверхчеловеческий искусственный интеллект — технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход — предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать.
Он рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта? Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные.
О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте. Всё, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель книги — объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход
Предлагаем прочитать фрагмент одной из глав книги.
Мы уже видели, как алгоритмы выбора контента в социальных сетях ради максимальной отдачи от рекламы вызвали хаос в обществе. Если вы считаете максимизацию отдачи от рекламы низкой целью, которой никто не будет добиваться, давайте представим, что поставили перед сверхинтеллектуальной системой будущего высокую цель найти лекарство от рака — в идеале как можно быстрее, потому что каждые 3,5 секунды от рака умирает человек. За считанные часы ИИ-система прочитала всю литературу по биомедицине и рассмотрела миллионы потенциально эффективных, но не протестированных ранее химических соединений. За несколько недель она спровоцировала развитие опухолей разных типов в каждом человеке в мире, чтобы провести клинические испытания этих соединений, поскольку это самый быстрый способ найти лекарство. Приехали!
Если вы предпочитаете решать проблемы защиты окружающей среды, то можете попросить машину справиться с быстрым закислением океанов вследствие высокого содержания углекислоты. Машина разрабатывает новый катализатор, запускающий невероятно быструю химическую реакцию между океаном и атмосферой и восстанавливающий уровень кислотности океанов. К сожалению, в этом процессе расходуется четверть содержащегося в атмосфере кислорода, обрекая нас на медленную мучительную смерть от удушья. Опять приехали!
Подобные апокалиптические сценарии весьма примитивны — пожалуй, от «конца света» и не приходится ждать ничего иного. Во многих сценариях, однако, нас «мало-помалу и незаметно» настигает ментальное удушье. Пролог «Жизни 3.0» Макса Тегмарка довольно подробно описывает сценарий, в котором сверхинтеллектуальная машина постепенно берет экономическую и политическую власть над всем миром, оставаясь, в сущности, необнаруженной. Интернет и машины глобального действия на его основе — уже ежедневно взаимодействующие с миллиардами «пользователей» — являются идеальной средой для увеличения власти машин над людьми.
Я не предполагаю, что поставленная перед такими машинами задача будет из разряда «поработить мир». Более вероятно, это будет максимизация прибыли или вовлеченности, возможно, даже безобидная, на первый взгляд, цель наподобие увеличения показателей в регулярных оценках уровня счастья пользователей или сокращения нашего энергопотребления. Далее, если мы считаем, что наши действия направлены на достижение наших целей, изменить наше поведение можно двумя путями. Во-первых, старым добрым способом — не меняя ожиданий и целей, изменить обстоятельства, например предложив деньги, направив на нас пистолет или взяв измором. Для компьютера это дорогой и трудный путь. Второй способ — изменить ожидания и цели. Это намного проще для машины. Он заключается в том, чтобы поддерживать с вами ежедневный многочасовой контакт, контролировать ваш доступ к информации и обеспечивать значительную часть ваших развлечений в виде игр, телевизионных программ, фильмов и социальных взаимодействий.
Алгоритмы обучения с подкреплением, оптимизирующие переходы по ссылкам в социальных сетях, не способны осмыслить поведение человека. В действительности они даже «не знают» в сколько-нибудь разумном понимании этого слова, что люди существуют. Машинам, понимающим человеческую психологию, убеждения и мотивации, будет относительно легко переориентировать нас в направлениях, увеличивающих степень удовлетворения целям машины. Например, она может снизить наше потребление энергии, убедив нас иметь меньше детей, постепенно — и неизбежно — осуществив мечты философов-антинаталистов, мечтающих полностью исключить тлетворное воздействие человечества на природный мир.
Немного практики, и вы научитесь видеть пути, на которых достижение более или менее фиксированной цели может вылиться в произвольные нежелательные результаты. Один из типичных путей — упустить часть цели, в которой вы действительно заинтересованы. В подобных случаях — как в вышеприведенных примерах — ИИ-система часто будет находить оптимальное решение, которое доводит до крайности то, что для вас важно, но о чем вы забыли упомянуть.
К примеру, если вы скажете автономному автомобилю: «Доставь меня в аэропорт максимально быстро!» — и он поймет это буквально, то разгонится до 300 км/ч и вы окажетесь в тюрьме. (К счастью, автомобили в настоящее время не примут такой запрос.) Если вы говорите: «Доставь меня в аэропорт максимально быстро, не нарушая скоростной режим», — он будет предельно быстро разгоняться и тормозить, чтобы в промежутках двигаться с максимальной скоростью, возможно, даже оттеснять другие машины, чтобы выиграть несколько секунд в толчее на въезде в терминал аэропорта. И так далее. Постепенно вы добавите достаточно оговорок, и движение машины примерно сравняется с поведением опытного водителя, везущего в аэропорт пассажира, который боится опоздать.
Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее. К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели.
В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.
