Bloomberg обратился к теме контроля над новыми технологиями. Для этого он приводит опубликованный в конце июля отчет на основе исследования, проведенного американскими учеными.
Люди пытаются контролировать свое взаимодействие, в том числе технологическое, объясняет автор ситуацию. Для этого они используют законы, общественные нормы, международные соглашения. Конечная цель этих инструментов в том, чтобы найти такие правила поведения, чтобы они обеспечили стабильность в виде стратегического равновесия, или равновесия Нэша, как это называется в теории игр.
Чтобы достичь такого равновесия, нужно, чтобы все игроки понимали последствия своих действий и действий других игроков. За счет этого, например, во время холодной войны поддерживался мир между ядерными державами. Всех участников объединяло осознание того, что любая атака может привести к всеобщему уничтожению. Аналогичным образом международные законы и переговоры можно рассматривать как постепенное исследование возможных шагов с целью установить стабильную рамку, состоящую из правил, приемлемых для каждого — так, чтобы ни у кого не было стимула эти правила нарушать.
Такого рода равновесие долгое время поддерживалось в сфере технологий. Однако сейчас его поддержание становится все более трудной задачей. Это связано с тем, что технологии становятся слишком сложными и развиваются слишком быстро, чтобы люди могли в точности просчитать последствия тех или иных новых действий. Упомянутые ученые по итогам исследования пришли к заключению, что сама концепция стратегического равновесия как организующего принципа, возможно, уже устарела.
Их выводы строятся на основе вычислений для игр со множеством игроков и множеством возможных вариантов действия. Один из главных выводов состоит в том, что следует разделять две системы — стабильную и нестабильную. Разграничение зависит от уровня сложности. Ниже определенного уровня равновесие Нэша вполне работает. Однако выше находится зона хаоса, где ни один игрок никогда не сможет найти стабильную и надежную стратегию, а будет бесконечно менять свое поведение крайне непредсказуемым образом.
В практическом смысле создание такой хаотической ситуации наиболее вероятно в сфере развивающихся технологий, касающихся вычислений, программных разработок и биотехнологий. Обычно технологические риски компенсируются регулированием. Однако технологии скоро начнут обгонять регулирование, и тогда стратегическая рамка может отказать.
СМИ в последнее время полюбили тему восстания машин. В конце июля и начале августа широко обсуждалась история о двух ботах в Facebook, якобы изобретших свой собственный (вариант: еще и секретный) язык. Вполне серьезные издания вроде The Atlantic начали публиковать лирические рассуждения о том, что мы, вероятно, стали свидетелями рождения языка будущего. Потом ситуация усугубилась тем, что Facebook отключил ботов. Это дало новый повод поговорить о могуществе и угрозе выходящего из-под контроля искусственного интеллекта.
Специфика ажиотажа была в том, что лежавшие в его основе события были гораздо более прозаичными, чем порожденные ими спекуляции. Нового языка эти боты не изобретали. По замыслу, они должны были учиться говорить в процессе взаимодействия с людьми. После того как они повзаимодействовали друг с другом, они тоже научились, но уже неправильно, потому что стали вместо совершенствования повторять ошибки друг друга. В итоге их отключили, потому что от них требовалась не генерация абсурдных сочетаний, а понятная человеческая речь.
