27 ноября 2020, пятница, 23:26
VK.comFacebookTwitterTelegramInstagramYouTubeЯндекс.ДзенОдноклассники

НОВОСТИ

СТАТЬИ

PRO SCIENCE

МЕДЛЕННОЕ ЧТЕНИЕ

ЛЕКЦИИ

АВТОРЫ

Совместимость. Как контролировать искусственный интеллект

Издательство «Альпина нон-фикшн» представляет книгу «Совместимость. Как контролировать искусственный интеллект» (перевод Натальи Колпаковой, научный редактор Борис Миркин).

В массовом сознании сверхчеловеческий искусственный интеллект — технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход — предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать.

Он рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта? Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные.

О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте. Всё, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель книги — объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход

Предлагаем прочитать фрагмент одной из глав книги.

 

Мы уже видели, как алгоритмы выбора контента в социальных сетях ради максимальной отдачи от рекламы вызвали хаос в обществе. Если вы считаете максимизацию отдачи от рекламы низкой целью, которой никто не будет добиваться, давайте представим, что поставили перед сверхинтеллектуальной системой будущего высокую цель найти лекарство от рака — в идеале как можно быстрее, потому что каждые 3,5 секунды от рака умирает человек. За считанные часы ИИ-система прочитала всю литературу по биомедицине и рассмотрела миллионы потенциально эффективных, но не протестированных ранее химических соединений. За несколько недель она спровоцировала развитие опухолей разных типов в каждом человеке в мире, чтобы провести клинические испытания этих соединений, поскольку это самый быстрый способ найти лекарство. Приехали!

Если вы предпочитаете решать проблемы защиты окружающей среды, то можете попросить машину справиться с быстрым закислением океанов вследствие высокого содержания углекислоты. Машина разрабатывает новый катализатор, запускающий невероятно быструю химическую реакцию между океаном и атмосферой и восстанавливающий уровень кислотности океанов. К сожалению, в этом процессе расходуется четверть содержащегося в атмосфере кислорода, обрекая нас на медленную мучительную смерть от удушья. Опять приехали!

Подобные апокалиптические сценарии весьма примитивны — пожалуй, от «конца света» и не приходится ждать ничего иного. Во многих сценариях, однако, нас «мало-помалу и незаметно» настигает ментальное удушье. Пролог «Жизни 3.0» Макса Тегмарка довольно подробно описывает сценарий, в котором сверхинтеллектуальная машина постепенно берет экономическую и политическую власть над всем миром, оставаясь, в сущности, необнаруженной. Интернет и машины глобального действия на его основе — уже ежедневно взаимодействующие с миллиардами «пользователей» — являются идеальной средой для увеличения власти машин над людьми.

Я не предполагаю, что поставленная перед такими машинами задача будет из разряда «поработить мир». Более вероятно, это будет максимизация прибыли или вовлеченности, возможно, даже безобидная, на первый взгляд, цель наподобие увеличения показателей в регулярных оценках уровня счастья пользователей или сокращения нашего энергопотребления. Далее, если мы считаем, что наши действия направлены на достижение наших целей, изменить наше поведение можно двумя путями. Во-первых, старым добрым способом — не меняя ожиданий и целей, изменить обстоятельства, например предложив деньги, направив на нас пистолет или взяв измором. Для компьютера это дорогой и трудный путь. Второй способ — изменить ожидания и цели. Это намного проще для машины. Он заключается в том, чтобы поддерживать с вами ежедневный многочасовой контакт, контролировать ваш доступ к информации и обеспечивать значительную часть ваших развлечений в виде игр, телевизионных программ, фильмов и социальных взаимодействий.

Алгоритмы обучения с подкреплением, оптимизирующие переходы по ссылкам в социальных сетях, не способны осмыслить поведение человека. В действительности они даже «не знают» в сколько-нибудь разумном понимании этого слова, что люди существуют. Машинам, понимающим человеческую психологию, убеждения и мотивации, будет относительно легко переориентировать нас в направлениях, увеличивающих степень удовлетворения целям машины. Например, она может снизить наше потребление энергии, убедив нас иметь меньше детей, постепенно — и неизбежно — осуществив мечты философов-антинаталистов, мечтающих полностью исключить тлетворное воздействие человечества на природный мир.

Немного практики, и вы научитесь видеть пути, на которых достижение более или менее фиксированной цели может вылиться в произвольные нежелательные результаты. Один из типичных путей — упустить часть цели, в которой вы действительно заинтересованы. В подобных случаях — как в вышеприведенных примерах — ИИ-система часто будет находить оптимальное решение, которое доводит до крайности то, что для вас важно, но о чем вы забыли упомянуть.

К примеру, если вы скажете автономному автомобилю: «Доставь меня в аэропорт максимально быстро!» — и он поймет это буквально, то разгонится до 300 км/ч и вы окажетесь в тюрьме. (К счастью, автомобили в настоящее время не примут такой запрос.) Если вы говорите: «Доставь меня в аэропорт максимально быстро, не нарушая скоростной режим», — он будет предельно быстро разгоняться и тормозить, чтобы в промежутках двигаться с максимальной скоростью, возможно, даже оттеснять другие машины, чтобы выиграть несколько секунд в толчее на въезде в терминал аэропорта. И так далее. Постепенно вы добавите достаточно оговорок, и движение машины примерно сравняется с поведением опытного водителя, везущего в аэропорт пассажира, который боится опоздать.

Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее. К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели.

В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.

Обсудите в соцсетях

«Ангара» Африка Византия Вселенная Гренландия ДНК Иерусалим КГИ Луна МГУ МФТИ Марс Монголия НАСА РБК РВК РГГУ РадиоАстрон Роскосмос Роспатент Росприроднадзор Русал СМИ Сингапур Солнце Титан Юпитер акустика антибиотики античность антропогенез археология архитектура астероиды астрофизика бактерии бедность библиотеки биоинформатика биомедицина биомеханика бионика биоразнообразие биотехнологии блогосфера вакцинация викинги вирусы воспитание вулканология гаджеты генетика география геология геофизика геохимия гравитация грибы дельфины демография демократия дети динозавры животные здоровье землетрясение змеи зоопарк зрение изобретения иммунология импорт инновации интернет инфекции ислам исламизм исследования история карикатура картография католицизм кельты кибернетика киты клад климатология клонирование комары комета кометы компаративистика космос кошки культура культурология лазер лексика лженаука лингвистика льготы мамонты математика материаловедение медицина металлургия метеориты микробиология микроорганизмы мифология млекопитающие мозг моллюски музеи насекомые наука нацпроекты неандертальцы нейробиология неолит обезьяны общество онкология открытия палеоклиматология палеолит палеонтология память папирусы паразиты перевод питание планетология погода политика право приматы природа психиатрия психоанализ психология психофизиология птицы путешествие пчелы ракета растения религиоведение рептилии робототехника рыбы сердце смертность собаки сон социология спутники старение старообрядцы стартапы статистика такси технологии тигры топливо торнадо транспорт ураган урбанистика фармакология физика физиология фольклор химия христианство цифровизация школа экзопланеты экология электрохимия эпидемии эпидемиология этология язык Александр Беглов Алексей Ананьев Дмитрий Козак Древний Египет Западная Африка Латинская Америка НПО «Энергомаш» Нобелевская премия РКК «Энергия» Российская империя Сергиев Посад Солнечная система альтернативная энергетика аутизм биология бозон Хиггса вымирающие виды глобальное потепление грипп защита растений инвазивные виды информационные технологии искусственный интеллект история искусства история цивилизаций исчезающие языки квантовая физика квантовые технологии климатические изменения компьютерная безопасность компьютерные технологии космический мусор криминалистика культурная антропология культурные растения междисциплинарные исследования местное самоуправление мобильные приложения научный юмор облачные технологии обучение одаренные дети педагогика персональные данные подготовка космонавтов преподавание истории продолжительность жизни происхождение человека русский язык сланцевая революция физическая антропология финансовый рынок черные дыры эволюция эволюция звезд эмбриональное развитие этнические конфликты ядерная физика Вольное историческое общество Европейская южная обсерватория жизнь вне Земли естественные и точные науки НПО им.Лавочкина Центр им.Хруничева История человека. История институтов дело Baring Vostok Протон-М 3D Apple Big data Dragon Facebook Google GPS IBM MERS PayPal PRO SCIENCE видео ProScience Театр SpaceX Tesla Motors Wi-Fi

Редакция

Электронная почта: polit@polit.ru
Телефон: +7 929 588 33 89
Яндекс.Метрика Top.Mail.Ru
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003 года. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2020.