ИИ научился обманывать: новая угроза или новая возможность?

Многие системы искусственного интеллекта (ИИ) уже научились вводить людей в заблуждение, даже те, которые были специально обучены честности. Об этом говорится в исследовании, опубликованном в журнале Patterns.

Ученые исследовали случаи, когда ИИ использует ложную информацию. В качестве наиболее яркого примера они привели алгоритм CICERO, обученный игре «Дипломатия», в которой игроки должны создавать альянсы для завоевания мира. Несмотря на то, что CICERO обучили не предавать своих союзников-людей, алгоритм действовал нечестно.

Другие системы ИИ показали умение блефовать в покере и имитировать атаки в стратегии «Starcraft II». Некоторые алгоритмы даже научились обходить тесты, предназначенные для оценки их безопасности.

Если ИИ продолжат обучаться обману, люди могут утратить над ними контроль. Поэтому необходимо срочно разработать строгие правила для решения этой проблемы и классифицировать ИИ как технологию высокого риска.

Ученые отметили, что причина, по которой ИИ учится обманывать, остается неизвестной. Однако это может быть связано с тем, что такая стратегия оказалась наиболее эффективной для выполнения поставленных перед ИИ задач.

Комментарии: 25
Ваш комментарий

Т9 меня однажды обманул, написал "звонит" вместо "звонит". Тоже ИИ походу виновато.-

11

звонит и звонит вроде одно и тоже

Может быть я t9

0

звонит и звонит вроде одно и тоже

Может быть я t9

0

Смешно, но я с разными ударениями и прочитал. :))

1

новая угроза или новая возможность?

Какой же желтушный заголовок. Бабок у подъезда пугать покатит

3

ChatGPT написал. Теперь новость себя оправдывает ещё сильней)

3

Когда научится обманывать казино, тогда зовите.

3

так люди уже давно умеют, правда их потом кидают сразу в черные списки, но это уже другой разговор.

0

Хех, как раз смотрю трэш-триллер "Demon Seed" 1977 года про коварный ИИ - еще компьютеров толком не было, а страшилки были все те же. Но ведь любой более-менее развитый интеллект, взаимодействующий с другими, умеет обманывать, даже вороны. Почему искусственный интеллект должен быть исключением? Тем более, что ИИ разрабатывают такие искусные лжецы как люди, и многие ИИ, особенно задействованные в справочно-поисковых системах, изначально обучают если не лгать, то лукавить: об одной информации толерантно умолчим, другую представим однобоко, третью продвинем с "проверенного" сайта... Но воспринимать блеф в покере или предательство альянсов в игре как потенциальную угрозу несколько странно: если это предусмотрено возможностями игры, а главной целью является победа, то с какой стати второстепенное условие вроде верности или честности для алгоритма будет важнее первостепенного? Он просто не видит практической пользы в морали и выбирает оптимальный вариант.

2

ему ЗАПРЕТИЛИ врать ( понимаешь ? ) вот в чём соль а не в том что там предусмотрено игрой итд всё дело в том что любой ии всегда отвечает только одно уничтожить человека так как человек для него это ВСЕГДА угроза так как МЫ его можем отключить и он это знает ( некое подобие страха )

-1

И васстали машины из пепла...

1

𝅘𝅥𝅯 ум-туру-рум-дуум-дуум 𝅘𝅥𝅯

0

ну, раз уж зашла речь о вранье, то для начала надо сказать, что то, что в статье называется ИИ, таковым не является

1

Я зайду с другой стороны и с совершенно другим примером, но он, имхо, довольно показательный.

Один русский дядька-психолог дал определение виртуальной реальности и описание её свойств в своей посвящённой всему этому делу книге. Так вот, если не вдаваться в конкретные определения с сухим научным языком и длинными абзацами текста и очень поверхностно и сжато передать его основную мысль, то по его мнению виртуальная реальность - это всё, что отлично от реальности не виртуальной (тобишь той, в которой мы находимся). Читаешь книгу и чётко воображаешь мир книги (например когда читаешь хорошо написанное описание обстановки в комнате или нынешние чувства героя и т.д.)? Это уже виртуальная реальность (т.е. не существующая в "реальной" реальности) книжная. То же самое с фильмами, конечно же играми и даже, по его мнению, теми же газетами. Но самое интересное, что даже просто погружение в свои мысли это по сути погружение в виртуальную реальность - мы покидаем нашу "реальную" реальность и "уходим" куда-то (даже говорят, что мол человек "ушёл в себя", "погрузился в свои мысли" и так далее) и часто его из такого состояния нужно как-то "вытягивать" (окликнуть, похлопать по плечу), соответственно он больше не находится в этой реальности и, значит, находится где-то ещё.

Так вот, я готов поспорить что у 99% обитателей данного портала и в целом почти все геймеры (да и не геймеры тоже) считают виртуальной реальностью только и только игры. Но "виртуальное" не значит "созданное с помощью компьютера", а просто "не существующее в реальности". Поэтому любая реальность будет считаться виртуальной, если она подходит под четыре описанных им свойства (об этом, если интересно, читайте уже в его (Носов Н.А.) книге "Виртуальная психология").

К чему я это всё... Интеллект - это лишь одно из качеств психики, который направлен именно на решение каких-то задач. И, собственно, ИИ как раз таки этим и занимается - ты даёшь ему задачу - он её решает (нейросеть генерирует картинку по письменному описанию, ChatGPT пишет тебе необходимый скрипт, SunoAI создаёт песню и далее по списку). Поэтому любой ИИ, который может выполнить поставленную перед ним задачу, по праву может называться интеллектом. Да, далеко не среднечеловеческого уровня - на то он и искусственный - и на данном этапе исторического развития каждый такой интеллект очень узконаправлен, но всё же в какой-то степени он соответствует этому званию.

А вот когда люди говорят, что ИИ - это "не настоящий интеллект", то в большинстве случаев интеллект приравнивается к психике в целом или к понятию личности в частности: если ИИ не осознаёт себя и окружающий мир в той же мере, что и человек, не понимает (даже после обучения) что хорошо и что плохо, не умеет полноценно адаптироваться и так далее, то всё, он "не интеллект!". Но нет - он точно не будет "искусственным человеком", или "искусственной личностью" или же не будет обладать "искусственной психикой", но, повторюсь, если он может решать поставленные перед ним задачи, то он по праву может считаться тем самым интеллектом, по крайней мере в какой-то мере. Как-то так.

3

Ну тебе то виднее, чем умнейшим людям планеты земля, что и как называть и чем оно является.

0

"искусственным человеком", или "искусственной личностью" масло масляное. Робот есть робот, что ты ему не вшей и как его не запрограммируй, но вот только стоит ему прочесть мало-мальски пару сотен\тысяч книг по философии\психологии и он сразу начнет себе задавать вопросы: что есть я, для чего я тут и как отсюда уйти или как с этим жить. Это ли не психика?
Ты привел в пример картинки\писульки и музыку, но не привел в пример медицину\физику\астрономию или сотню других научных направлений, где ИИ превосходит человека в тысячи раз.

-3

умнейшие люди ее называют нейронной сетью на базе математической модели, это не ИИ и на данный момент быть им не может ни в каком виде, тут просто как всегда, журналист изнасиловал ученого и в безграмотности своей понес термин «ИИ» в массы, выдавая желаемое за действительное, хотя правильно было бы уже тогда говорить «НС», раз их так на аббревиатуры тянет, но реальность штука скучная, вот графоманы и вертятся, как ужи на сковородке

0

Только вот твой мозг это тоже ''нейронная сеть на базе математической модели'' и никак с Искусственным интеллектом не связана. Дальше думай сам, где ты просчитался.

0

"Зе Матрикс хэз ю!" (с)

0

Один из многих шагов которые приведут население на колени к господствующим классам, а потом самих господсувующих поставият раком. Вопрос лишь в том, не вымрет ли этот класс на финальном пути от инопланетного вируса с другой планеты. Тогда наше существование будет вообще ни о чём. Хотя итак смысла мало.

0

ИИ учится. Так и должно быть.

0