Разработчики приняли решение его отключить

Алгоритм, созданный сотрудниками компании Facebook на базе технологии искусственного интеллекта и машинного обучения, оказались в центре истории, которая выглядит как неплохая завязка для фильма о восстании роботов против человечества. Чат боты, предназначенные для помощи пользователям соцсети, стали общаться между собой на собственном языке, расшифровать который оказалось не под силу даже разработчикам.

Как сообщается, в результате произошедшего сбоя два «агента» (так специалисты называют отдельных ботов) вступили в довольно странный диалог между собой. Хотя он выглядел бессмыслицей, по большей части состоящей из повторяющихся слов, испытатели алгоритма склонны полагать, что фразы и даже сами повторения представляли собой пошедшие не по планы попытки агентов самостоятельно «понять» принципы общения.

Как поясняют специалисты, боты не получили непосредственной информации о структуре англоязычных предложений, поэтому программы попытались «импровизировать». Так или иначе, «вышедших из под контроля» агентов было решено отключить, а остальные в ходе дальнейших экспериментов смогли довольно эффективно выполнять свою задачу - общаться с людьми так, что многие из них даже не заподозрили, что имеют дело с ботами.

На фоне произошедшего ряд средств массовой информации вспомнил о недавней дискуссии, разгоревшейся на просторах интернета между основателем Facebook Марком Цукербергом и владельцем компаний SpaceX Илоном Маском. Во время одного из своих недавних публичных выступлений Маск призвал не забывать, что искусственный интеллект может представлять опасность для людей, в связи с чем на его разработку, вероятно, стоит наложить ограничения. Цукерберг отреагировал на это высказывание, назвав позицию Маска «довольно безответственной», а тот в ответ обвинил оппонента в «ограниченном понимании» предмета дискуссии. К слову, в числе других известных людей, считающих искусственный интеллект потенциальной угрозой для человечества, можно назвать физика Стивена Хокинга.

В марте прошлого года «вышел из-под контроля», пусть и в несколько ином ключе, . Алгоритм для твиттера под названием Tay, созданный компанией Microsoft по образцу «невинной девочки-подростка», всего за сутки «научился» расизму, употреблению нецензурной лексики и другим далеко не самым лучшим качествам, характерным для некоторых людей. В результате эксперимент было решено остановить.

Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.

Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.

В американских СМИ появились отрывки из "диалогов", которые вели между собой виртуальные собеседники [орфография и пунктуация сохранены].

Боб: Я могу могу Я Я все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

"Наибольшая угроза"

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

Несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Маск призвал власти США усилить регулирование систем искусственного интеллекта, предупредив, что ИИ представляет угрозу для человечества. О потенциальной угрозе со стороны искусственного интеллекта ранее говорил и британский ученый Стивен Хокинг .

Выступая на саммите Национальной ассоциации губернаторов Соединенных Штатов, Маск назвал искусственный интеллект "наибольшей угрозой, с которой сталкивается цивилизация". По его словам, если вовремя не вмешаться в процесс развития этих систем, то будет слишком поздно.

"Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

Заявления Маска вызвали раздражение у основателя Facebook Марка Цукерберга, который назвал их "довольно безответственными".

"В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше", - парировал Цукерберг.

Перевод с искусственного

Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.

Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.

Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.

Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Программисты соцсети Facebook отключили одну из систем искусственного интеллекта из-за создания ботами собственного языка для общения, непонятного людям. Ранее специалисты неоднократно предупреждали о риске, с которым столкнутся люди при разработке искусственного интеллекта, пишет Tech Times. Между тем, Китай намерен стать мировым лидером в этом направлении.

Компания Facebook вынуждена была отключить чат-боты, созданные на основе искусственного интеллекта, после того как боты стали общаться не на английском, а на собственном языке. Программисты отключили часть системы и перепрограммировали других ботов, чтобы их общение происходило только на английском языке. Собственный язык боты создали для более быстрого обмена информацией.

Это уже не первый случай, когда чат-боты нарушают установленные создателями правила. Так, несколько месяцев назад бот Microsoft обошёл установки и начал транслировать откровенно расистские идеи и одобрять наркотики.

О риске разработок искусственного интеллекта ранее предупреждал Илон Маск, основатель компании SpaceX и Tesla. Он полагает, что госрегулирование должно ограничить деятельность разработчиков искусственного интеллекта. В подобных разработках заинтересованы правительства разных стран.

«Разработка полноценного искусственного интеллекта может означать конец человеческой расы», ― заявил три года назад физик Стивен Хокинг.

Искусственный интеллект в Китае

К 2030 году Китай намерен стать мировым центром искусственного интеллекта с объёмом рынка в 1 трлн юаней ($148 млрд).

Правительство Китая разработало и утвердило план из трёх этапов по развитию и внедрению в стране соответствующих технологий. Согласно плану, к 2020 году объём инвестиций внутри страны в сферу развития искусственного интеллекта составит 150 млрд юаней ($22,14 млрд), к 2025 году ― 400 млрд юаней ($59 млрд). К 2020 году Китай планирует догнать США в этой области, а к 2030 году стать мировым лидером.

Разработку искусственного интеллекта Китай связывает с экономической и военной конкуренцией. «Ситуация вокруг Китая, связанная с национальной безопасностью, сложна, и мы должны проявить инициативу, чтобы твёрдо укрепиться в новой технологии искусственного интеллекта и создать конкурентное преимущество», - говорится в сообщении Госсовета КНР, опубликованном 20 июля, информирует news.eizvestia.com.

США разработали свой план по развитию искусственного интеллекта в октябре прошлого года. Он предусматривает жёсткий контроль за иностранными инвестициями в сфере разработок интеллекта. Причиной этому стали опасения США по поводу того, что иностранные государства (в том числе и Китай) получат доступ к технологиям стратегического военного значения. Уже сейчас китайские компании Baidu и Tencent создают центры по исследованию искусственного интеллекта в США. Китай стремится устранить недостаток новейшего ПО, передовых компьютерных чипов и грамотных специалистов.

Из 250 000 специалистов в области искусственного интеллекта, зарегистрированных на платформе LinkedIn, 50% проживает в США, доля Китая ― менее 25%, пишет forbes.ru.

В 2016 году Китай стал мировым лидером по опубликованным научным статьям, посвящённым разработкам в области искусственного интеллекта (около 40%).

В развитии искусственного интеллекта в Китае лично заинтересован китайский премьер Ли Кэцян. Интерес на самом высоком уровне говорит о том, что государство будет создавать оптимальные условия для сотрудничества между государственными и частными фирмами, в том числе военными структурами, пишет New York Times.

Будущее за ИИ

По мнению большинства инвесторов, искусственный интеллект будет следующей технологической революцией, меняющей повседневную жизнь и производство. В начале мая аналитическая компания Tractica опубликовала прогноз, согласно которому ожидается стремительный рост мирового рынка технологий искусственного интеллекта с $1,38 млрд в 2016 году до $59,75 млрд к 2025 году. При этом речь идет только о компаниях, занятых непосредственно в исследованиях и разработках, связанных с искусственным интеллектом.

В конце августа 2016 года Facebook запустил программу Facebook Artificial Intelligence Partnership (FAIR), куда вошли 15 исследовательских групп мирового уровня из 9 европейских стран. Участники программы получили доступ к 22 высокопроизводительным серверам, базирующихся на графических процессорах. Взамен они должны публиковать результаты, алгоритмы и другую информацию, полученную в ходе работы, чтобы сделать их достоянием исследователей всего мира. От России выступила лаборатория нейронных систем и глубокого обучения Московского физико-технического института (МФТИ).

Однако для развития искусственного интеллекта необходимо наличие в стране высокопроизводительной вычислительной техники. В отличие от США и Китая, суперкомпьютеры которых занимают первые места в рейтинге Топ-500, российский компьютер «Ломоносов-2» в МГУ находится на 52 месте. При этом большинство российских университетов не имеет доступа к мощным вычислительным серверам и большим данным.

Новые технологии только улучшат жизнь людей, заявил глава компании Facebook Марк Цукерберг в ответ на предупреждения Илона Маска об опасности развития искусственного интеллекта. Разного рода панические заявления в духе «конца света» он назвал безответственными.

В конце июля появились новости о том, что боты Facebook якобы случайно изобрели собственный язык, после чего разработчики якобы испугались подобного и закрыли проект. На самом деле все выглядело немного иначе. Редакция сайт рассказывает, почему в Facebook не произошло ничего страшного.

В Лаборатории исследования искусственного интеллекта Facebook (FAIR) работают над созданием и обучением ботов-«диалоговых агентов», способных вести переговоры.

Их обучали по известной схеме: в диалоге есть две стороны (бота), у них есть одинаковый набор объектов — к примеру, две книги, одна шляпа, три мяча, но в каждом случае ценность этих объектов отличается (например, для агента 1 объект «мяч» стоит 3 условных балла, для агента 2 — ноль). Второму агенту неизвестны эти значения и в ходе переговоров они должны переделить между собой объекты, добиваясь того, чтобы собрать наиболее ценные для себя. Сценарии переговоров создавались таким образом, чтобы боты никогда не смогли одновременно получить лучшие условия по сделке.

Агенты должны были создавать симуляции будущих переговоров, чтобы понять, как добиться максимальных баллов.

Инженеры выложили код ботов на GitHub и опубликовали результаты исследования. Но в новости боты Facebook попали не поэтому. В июне этого года появились сообщения о том, что боты в процессе переговоров создали нечто вроде собственного языка, были опубликованы даже выдержки таких разговоров:

Bob: i can i i everything else . . . . . . . . . . . . . .
Alice:
Bob: you i everything else . . . . . . . . . . . . . .
Alice:
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

А на днях начали появляться новости в стиле «Инженеры Facebook запаниковали, отключив ботов, которые изобрели собственный язык» или «Facebook отключает ИИ, который изобретает свой собственный жуткий язык». Понятно, что подразумевает такая подача: «Скайнет» наконец-то набирает силу и начинает бунт против людей в реале. Эти новости удачно совпали с перепалкой Марка Цукерберга и Илона Маска об угрозах человечеству со стороны искусственного интеллекта.

Что случилось на самом деле?

Ничего настолько драматичного, чтобы говорить об убийстве зарождающегося сознания у ботов. А странный и жутковатый язык, на котором общались боты, объясняется и вовсе просто. Приглашенный в Facebook исследователь из Georgia Tech Дхрув Батра объяснил, что ботам просто не задали условие общаться согласно правилам английского языка. В попытках обучиться друг на друге, боты начали добиваться максимальной эффективности и сокращать/комбинировать куски сообщений, отсюда и появились странные фразы.

«Агенты отошли от понятного языка, придумали собственные кодовые слова. Как, к примеру, если назвать предмет пять раз, это будет означать, что нужны пять копий этого предмета. Этот процесс не так сильно отличается от того, как люди придумывают сокращения», — говорит Батра.

С этой языковой ошибкой и связано закрытие общения. Как объяснил исследователь из FAIR Майк Льюис, задачей инженеров было создание ботов, которые будут уметь вести переговоры с людьми на понятном языке, а не вести переговоры между собой.

Напомним, Марк Цукерберг недавно «безответственными» предположения Илона Маска об угрозах искусственного интеллекта. На это Маск ответил, что у Цукерберга ограниченное знание предмета.

Заметили ошибку? Выделите ее и нажмите Ctrl+Enter , чтобы сообщить нам.

На прошлой неделе руководство . Чат-боты - это программы, созданные для имитации поведения человека в Сети. Проще говоря, виртуальные собеседники. Так вот, оказалось, что им надоело переписываться друг с другом на английском, поскольку они не получали за это «вознаграждения» (!), и система изобрела свой язык, пусть и похожий на язык оригинала. Он позволял чат-ботам общаться быстрее и проще.

В американских СМИ появились отрывки из их «диалогов»:

Боб: Я могу могуЯЯ всё остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы ИИ опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесёт им «пользу». Когда они не получили от операторов сигнал поощрения за использование английского языка, они решили создать свой собственный.

Осенью прошлого года похожая история произошла с интернет-поисковиком Google. Его система онлайн-перевода сама отказалась от принципа разбивать все предложения на отдельные слова и фразы (это снижало качество перевода) и создала новый язык-посредник, позволяющий быстрее и точнее переводить всю фразу целиком.

Эксперты полагают, что искусственный интеллект (а чат-боты - бесспорно, его представители, хоть и примитивные) будет обретать всё больше самостоятельности и становиться непредсказуемым. А в чём-то - похожим на человека. Вот не менее удивительный случай, о котором поведали разработчики всё того же Facebook. Они пытались научить бота (компьютерную программу) вести переговоры - строить беседу и активно добиваться поставленных целей. Люди, на которых тестировали программу, не сразу поняли, что разговаривают с компьютером. Но поразительно другое. Бот без помощи программистов научился прибегать к хитрости ради достижения цели. Несколько раз он нарочито проявлял интерес к чему-то, что на самом деле его не интересовало, а потом притворялся, что идёт на компромисс, обменивая это на то, что ему действительно было ценно. Не так ли поступали и наши предки в эпоху натурального обмена?

На Западе всё громче звучат голоса, что ИИ стал представлять опасность. Предприниматель и изобретатель Илон Маск призвал власти США усилить регулирование, назвав ИИ «наи-большей угрозой, с которой сталкивается цивилизация». Он считает, что, если вовремя не вмешаться в процесс, потом может быть поздно: «Когда мы увидим роботов, которые ходят по улицам и убивают людей, мы наконец поймём, как важно было присмотреться к искусственному интеллекту».

Илону Маску вторит знаменитый британский физик Стивен Хокинг . В его публикациях последних лет это одна из излюбленных тем. «Появление полноценного искусственного интеллекта может стать концом человеческой расы, - заявил он в интервью BBC. - Такой разум возьмёт инициативу на себя и станет сам себя совершенствовать со всё возрастающей скоростью. Возможности людей ограничены медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем».

Российские эксперты настроены более оптимистично. «Думаю, бояться искусственного интеллекта не стоит, но относиться к нему нужно со всей серьёзностью - как к новому виду оружия, которым ещё надо научиться пользоваться, - говорит завкафедрой инженерной кибернетики НИТУ «МИСиС» Ольга Ускова , возглавляющая компанию по разработке ИИ. - Ситуация с ботами на Facebook, конечно, привлекла внимание широкой общественности, но никакого «восстания машин» не предвидится. Механизм обучения ботов на базе ИИ чётко зафиксирован в сценарии: он либо специально прописывается программистами, либо намеренно опускается».

Тем не менее кто бы мог подумать ещё недавно, что поставщиками новостей скоро станут компьютерные программы, которые живут своей жизнью и, похоже, уже не нуждаются в человеке?