2.3 Создание искусственного интеллекта

Я или кто-то подобный мне смогли бы дать вам плоды этих знаний. Но только плоды - а не самые знания, поскольку ваш ум не вместит их. Так что вы, как ребенок, будете отданы под опеку; вот только ребенок, вырастая, становится взрослым, а вы уже не повзрослеете никогда. Как только высший Разум дарует вам то, чего вы постичь не сможете, он угасит ваш собственный разум.

Станислав Лем «Голем XIV»

Под искусственным интеллектом (ИИ), в данной книге, понимается сильный искусственный интеллект - созданное человеком разумное существо, значительно умнее человека. Создание ИИ - это технология, а технологии не плохи и не хороши сами по себе, они лишь дают возможность, а как распорядится этой возможностью решает тот, кто использует технологию. Правда ИИ, в отличие от всего ранее созданного, порождает новую, самостоятельно действующую личность. Однако, бояться что ИИ уничтожит человечество - это примерно как бояться заводить детей опасаясь, что они убьют своих родителей. Такое наверняка бывало и не единожды, но из-за этого люди не перестали размножаться, а стараются быть хорошими родителями.

Сложность стоящих перед разумной цивилизацией задач, скорее всего приведёт к необходимости создания новой разумной расы, лишённой недостатков, которые у человека обусловлены эволюцией (см. тут, стр. *). Проблема в том, что наследие эволюции тормозит развитие и создаёт риски самоуничтожения человечества или захода развития цивилизации в тупик (например, все убегут в виртуальные миры и развитие остановится). Технологии конечно позволят улучшить человека, но если взяться улучшать основательно, от человека, как такового, ничего не останется - по сути это и будет создание нового разумного вида.

Поэтому наиболее вероятным видится существование параллельно как минимум двух разумных видов - человека улучшенного, но сохранившего свою человеческую природу и новой разумной расы, которая продолжит дело разума, если человечество не сможет или не захочет.

Отдельно стоит оговорить вопрос о передаче власти искусственному интеллекту, вопрос этот был проанализирован ещё Станиславом Лемом в своём труде «Сумма технологии». Он выявил потенциальные проблемы этого подхода, главная из которых - полная потеря контроля над происходящим. Сегодняшнее состояние технологий только подтверждает правильность его анализа - набирающие популярность решения на базе нейронных сетей, которые являются наиболее вероятными предвестниками ИИ, имеют те самые проблемы. Они не могут обосновать своё решение, т.е. не только мы, но и сам ИИ не будет понимать почему он принял такое решение. Хотя средний уровень ошибок у нейронных сетей сильно ниже даже самых лучших человеческих специалистов, они умудряются ошибаться там, где человек никогда не ошибся бы и сама технология не позволяет исправить такие ошибки, исправить можно формальный алгоритм, а нейронную сеть нужно переобучать с неизвестным заранее результатом. Поэтому управлять необходимо самостоятельно, не теряя контроля, а в качестве помощников использовать формальные алгоритмы, корректность которых может быть доказана и ошибки в которых можно исправлять, а значить итеративно улучшать качество этих алгоритмов.