ИИкратия

Я или кто-то подобный мне смогли бы дать вам плоды этих знаний. Но только плоды — а не самые знания, поскольку ваш ум не вместит их. Так что вы, как ребёнок, будете отданы под опеку; вот только ребёнок, вырастая, становится взрослым, а вы уже не повзрослеете никогда. Как только высший Разум дарует вам то, чего вы постичь не сможете, он угасит ваш собственный разум.

Станислав Лем, «Голем XIV»

Отдельно сто́ит оговорить вопрос передачи власти искусственному интеллекту. Под искусственным интеллектом (ИИ) в данной книге понимается сильный искусственный интеллект — созданное человеком разумное существо, которое умнее (чтобы это ни значило) человека. С одной стороны, ИИ — это технология, а технологии не плохи и не хороши сами по себе, они лишь дают возможность, а как распорядиться этой возможностью, решает тот, кто использует технологию. Правда, ИИ, в отличие от всего ранее созданного, порождает новую, самостоятельно действующую личность, которая может пожелать действовать вопреки воле создателя. Однако бояться, что ИИ уничтожит человечество, — это примерно как бояться заводить детей, опасаясь, что они убьют своих родителей. Такое наверняка бывало, и не единожды, но из-за этого люди не перестали размножаться, а стараются быть хорошими родителями.

Вопрос передачи власти ИИ был проанализирован ещё Станиславом Лемом в его труде «Сумма технологии» [SummaTechnologiae]. Лем выявил потенциальные проблемы этого подхода, главная из которых — полная потеря контроля над происходящим, вызванная тем, что ИИ, как и естественный интеллект, может сам не знать оснований для своих решений, не может их формализовать и рационализировать, что делает затруднительной проверку правильности этих решений. Сегодняшнее состояние технологий только подтверждает правильность его анализа — набирающие популярность решения на базе нейронных сетей, которые являются наиболее вероятными предвестниками ИИ, имеют описанные им проблемы. Они не могут обосновать своё решение, т. е. не только мы, но и сам ИИ может не понимать, почему он принял такое решение. Хотя средний уровень ошибок у нейронных сетей сильно ниже, чем у даже самых лучших человеческих специалистов, они умудряются «косячить» там, где человек никогда не допустил бы промаха, и сама технология не позволяет исправить такие ошибки, исправить можно формальный алгоритм, а нейронную сеть нужно переобучать при заранее неизвестном результате. Поэтому управлять обществом индивиды должны самостоятельно, не теряя контроля, а в качестве помощников необходимо использовать формальные алгоритмы, корректность которых может быть доказана (см. «Формальные методы в ИТ») и ошибки в которых можно исправлять, а значит, итеративно улучшать качество этих алгоритмов. Ну и, как следует из эпиграфа, передача власти ИИ делает бессмысленным само существование человечества.

Понятно, что сложность вопросов, стоящих перед цивилизацией, вполне может требовать более сильного интеллекта. Один из возможных путей решения этой проблемы — усиление человеческого интеллекта как биологическими, так и техническими методами.


ОБСУДИТЬ