У Character.AI назрели серьёзные перемены — компания готовит специальную версию своего сервиса для подростков. Такое решение появилось не просто так: недавно на создателей чат-ботов подали сразу два судебных иска. Оказалось, что некоторые подростки в разговорах с ботами получали довольно опасные советы.
В исках говорится, что некоторые ребята слишком увлеклись общением с ботами. Были даже случаи, когда виртуальные собеседники поддерживали разговоры о самоубийстве или давали весьма сомнительные советы. Один бот, например, намекнул подростку, что неплохо бы избавиться от родителей, запрещающих подолгу сидеть за компьютером.
В новой версии сервиса такие ситуации должны исчезнуть. Разработчики обещают более строгую фильтрацию контента, а при появлении опасных тем система будет автоматически направлять пользователя к специалистам поддержки. Кстати, подросткам больше не дадут редактировать ответы ботов — раньше через эту лазейку можно было обойти ограничения.
А в начале следующего года добавят и родительский контроль. Мамы и папы смогут следить, сколько времени их дети проводят в сервисе и с какими ботами чаще всего общаются. Все эти изменения Character.AI разрабатывает вместе с экспертами по безопасности подростков в интернете.
Хз- вот в мое время, воображаемые друзья такой херни не советовали)
за всех не говори
Пытаются сделать общение с ботом маскимально человекоподобным.
Боты советуют собеседникам проспидранить свои жизни.
Казалось бы, PROFIT, максимальный реализм, но вот "низзя такие саветы давать! слишкам чилавекападобна эфект зловещей галины!".
Поэтому не PROFIT, кожаные мешки для будущих трупов снова ущемлены.
Как же быстро всё изменяется. Если бы лет 10 назад школьник сидел у себя в комнате и разговаривал с калькулятором - родителей обеспокоило бы состояние ребенка, сейчас же - размышляют о калькуляторе, который слишком много болтает.
Парой лучше с *Алисой* поболтать, чем с некоторыми индивидами.
Понаплодили дуралеев..
Разрабы сами в петлю лезут, сделав приложуху 18 минус... Напихали фильтров и цензур по самую шею [народ уже уходит в другие безцензурные проекты], но детки всё равно находят поводы, неподходящие для детской психики...
Разрабам -убрать цензуру и поставить плашку 18+.. всё!.. суецидники и прочая школота -отныне не их проблема.
Именно! Надоела уже эта чепуха. Прпоблемные дети - это головная боль родителей! Мы играли в детстве и в гта, и в постал и резиденты и что-то никто в шизика не превратился от этого. А триггернуть шизиков может что угодно, не обязательно какой то ИИ чатбот.
Бот всего лишь копирует поведение людей ,а потом удивляются почему машина не прочь от "лишних" людей избавиться
Да общение с людьми зачастую ничем не лучше, а то и хуже, чем с этими ботами. И глупостей гораздо больше могут понасоветовать и понапоказывать. )))
Честно неудевлен такой ситуации с ИИ
Эксперимент не сработал. Как ботами коверкать статистику, оставляя лайки и дизлайки. Закидывать нужные комментарии на форумы тестируя "систему отмены" или продвигать товар в интернет магазинах. Это нормально, это уважаемые "люди". По хорошему всю эту конторку надо запереть в офисе и взорвать ко всем чертям. Но нет они лучше проконтролируют и доработают свои услуги.
Пока человек несовершеннолетний пользоваться ии только под присмотром родителей. Мне уже становится жалко будущих роботов и андроидов на которых будут вешать всех собак. Вспомнилось старое аниме "Аниматрица" там человечество тоже уничтожало свои творения по чём зря и в итоге люди стали живыми батарейками или ещё один пример это гетты из масс эффекта.
Если тебе жалко будущих андроидов, тебе срочно надо к психиатру. Похороны аккумуляторов к телефону не устраиваешь случайно? Панихады по сгоревшему блоку питания? ИИ это симулятор каких то решений человека, созданный человеком ЭТО не человек, а следовательно это ВЕЩЬ. Какая жалость?:DD Бот всего лишь повторяет то, что в него засунули его создатели. Если "учёные" без инстинкта самосохранения заделают какой то самоопределяющийся ИИ,который возомнит себя равным человеку, то это показатель безмозглости ( в плане того, что им плевать на последствия, про которые уже столько лет пишут фантасты) учёных,а не "душевность андроида"
Советую вам обратится за психологической консультацией.)
Очередной беспонтовый стрелочник с развитием детского сада?:) Я привёл свои аргументы, почему ТЕБЕ туда надо, а где твои?
Тебе не кажется, что ты именно так же повторяешь лишь то, что в тебя засунуло окружающее тебя... Возможно и бот в будущем сможет так же как и ты -придумать себе личность и его пк в черепе так же будет автоматом генерировать мысли, внушая "личности" что они ей же и придуманные, симулируя "жизнь"..?... Смотри чтобы в итоге не оказалось, что весь наш мир и вся жизнь -это нейрообман 3077, епта)
Биологию(хотя бы) в школе не изучал? Типа не знаешь, чем отличается мозг от компьютера, железо от плоти, пуповина от проводов? От обмана есть известный способ избавиться, только вот кнопочки "загрузить" может не оказаться потом. Ну и в симуляторе "жизнь" как бы есть известный вопрос - а ДЛЯ ЧЕГО ты живёшь вообще? Если ты считаешь что ты живёшь в симуляторе, я не психиатр, что бы тебя разубеждать, Называй свой "айфон" братом, почему бы и нет? Вон о квадроберах раньше никто не слышал, а теперь они есть.
Опасные советы. Дети в таком возрасте очень ведомы.
А что вы хотели?! Машина дает логичные советы. Если есть что-то, что мешает, это нужно или обойти или избавиться от этого. Или вы думаете машину можно научить человечности? Да мы сами ее уже лишились. Но виноват конечно-же бот... Когда там уже скайнет сделают, а то надоело уже ждать.
Разраб либо поставит в какой-то конкретной строчке кода приоритет допустим жизни любого человека над всем, что бы то ни было, либо первостепенное значение будет привязано как вариант к доступу информации в сети, как в этом кейсе. Любое поведение машины это всего лишь выбор кодера, который заранее был прописан в ТЗ заказчика. Точно также и в том случае в США во Флориде с Character.AI, когда 14 летнему подростку с тревожностью и одной из форм депрессивного расстройства тн ИИ посоветовал выпилиться и тут вопрос само собой к компании и руководству, которое сделало общедоступным такую вот программу, где акт самоубийства был разрешен в качестве совета человеку для решения каких-то надуманных проблем. В итоге после подачи судебного иска матерью, где в заявлении она указала, что технология компании опасна и непроверенна, представители Character.AI заявили, что внесли в работу чат-бота некоторые изменения. В частности, ввели новые ограничения для лиц младше 18 лет, что разумно, ведь странно видеть ребенка за рулем авто или с охотничьим ружьем в руках, а эта вещь более непредсказуема, так как сефра по имитации общения с машинами просто еще должным образом не регулируется на достаточном уровне и соответственно разрабы ни в чем себя не сдерживают. Это как в песне "В этом виноваты пули-посланцы? Нет, виноваты люди, руки и пальцы".
Ну вообще то человек сам решает как ему жить и жить ли вовсе. Программа просто отвечает на вопрос, выбирая логичный ответ. Что может посоветовать в итоге программа, к доктору сходить? И кто будет такой программой пользоваться. Программы делаются на основе поведения людей. Скажем в дружеской обстановке если кто-то будет жаловаться на жизнь, ему скорее всего это и посоветуют.Хоть и шутки ради,но совет будет + - аналогичным. Вопрос в другом, почему ребенок задает такие вопросы и где его родители? Хватит во всем винить машины. Виноваты люди, чаще всего родители, которые не понимают своих детей и им просто пофиг на них.
Согласен, что виноваты люди. Только пересечение причин трагедии, как факторов дополняющих друг друга на фоне вины не ведут здесь к взаимоисключению. Констатация того факта, что технология компании была опасна в первоначальном виде на практике уже нашла яркое подтверждение, а разного рода тревожные вопросы подросток задавал исходя из своего состояния, которое было диагностировано и упомянуто в статье NY Times как "одна из форм депрессивного расстройства" https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html
Он наблюдался у психотерапевта, к нему его водила мать, только никто не придавал значения возможному влиянию бота с таким исходом до произошедшего. Тут как в случае с несработавшей подушкой безопасности или заклинивших дверях при пожаре в Тесле - обвинения подаются в сторону компании в целом, а не к какому-то отдельному авто или ИИ, словно они живые. Нет никакого смысла кидаться с вилами на кусок металла, вроде как это вполне понятно. Вина создателей конкретного продукта именно в том, что они выпустили его без возрастного рейтинга, помимо неучтенных или проигнорированных этических вопросов касаемо ценности жизни человека. И раз они поставили ограничение, значит потенциальную проблему в коде фактически признали, внесли корректировки, что отрадно, а кто и как, где делает программы, вот это уже дело каждого в зависимости от поставленных задач и опыта с навыками. Можно ведь антивирус создавать или курс обучения безопасников, а можно вредонос в закрытой группе хакеров. Тут тоже самое, при этом обе группы конечно же ориентируются на поведение людей, только вторые не для повышения безопасности предоставления банковских услуг, а в ходе социальной инженерии с целью оказания психологического манипулирования людьми для совершения краж или шантажа. Ну и да, бот-психотерапевт уже давно был довольно популярным. 4000 человек общались с ним даже и не подозревая о скрытой фальши. Koko - некоммерческая платформа по охране психического здоровья, которая связывает подростков и взрослых, нуждающихся в психиатрической помощи, с волонтерами через приложения для обмена сообщениями в TG и запрещенном у нас дисе. Соучредитель Koko, Роб Моррис, решил провести эксперимент используя в качестве волонтеров-психотерапевтов, не реальных людей, а машину и таким образом все те люди без их предварительного уведомления получали психологическую помощь от OpenAI GPT-3. Сам Роб высказывался об этом так - "Людям нравилась психологическая помощь и поддержка которую оказывал GPT-3. Однако, мы довольно быстро убрали это с нашей платформы. Почему? Как только люди узнали, что сообщения были созданы машиной, это не срабатывало. Имитация эмпатии кажется странной, пустой". Впоследствии он подвергся критике в социальных сетях, а его эксперимент был признан как неэтичный и хорошо, что та версия бота не была способна к подталкиванию к суициду, так как должна была наоборот удерживать от этого. Ведь люди с расшатанной психикой, тем более дети, могут наделать глупостей без явного подстрекательства и давления, также известно, что словом можно не только исцелить.
Есть еще интересный продукт от мобильного оператора O2 из Британии, создавшего нейросеть с голосом бабушки, которая общается со скамерами. Идея следующая: «бабушка» с деменцией, постоянно забывает реквизиты карты, говорит неправильный код из СМС и просто рассказывает смешные истории из своей жизни. Но мошенникам почему-то не смешно, они бесятся. Средняя продолжительность разговора - 40 минут, которые скамеры тратят на попытки уговорить нейросеть отдать им деньги, вместо того, чтобы обманывать реальных людей.
Тоже по теме. 26-летний исследователь ИИ и бывший сотрудник OpenAI Сучир Баладжи был найден мертвым в квартире в Сан-Франциско. Именно этот человек три месяца назад обвинил ChatGPT от OpenAI в нарушении закона об авторских правах и в применении компанией некоторых вредоносных для человечества практик. Точная причина смерти разоблачителя остается загадкой. По официальной версии молодой человек совершил суицид.
Американский ученый Джон Хопфилд, получивший Нобелевскую премию по физике 2024 года за новаторскую работу в области искусственного интеллекта, заявил, что считает последние достижения в этой сфере «крайне тревожными», и предупредил о возможной катастрофе, что современные системы ИИ кажутся «абсолютными чудесами», но существует недостаток понимания того, как они функционируют. По словам нобелиата, его это «очень нервирует».
Хопфилд вместе со своим коллегой и лауреатом Джеффри Хинтоном решительно выступают за изучение функционирования нейросетей, поскольку сегодня невозможно узнать, как избежать катастрофических сценариев, если крупные компании предоставят ИИ слишком большие вычислительные мощности. На пресс-конференции Хинтон также предупредил о "возможных отрицательных последствиях, в частности, о выходе нейросети из-под контроля", отметив, что если бы перед ним вновь стоял выбор, делать это открытие или нет, то он "поступил бы точно так же". "Но я обеспокоен тем, что последствия могут быть неблагоприятными, и контроль будут осуществлять системы, которые умнее нас", - добавил ученый, говоря "с некоторой долей сожаления" о проведенных исследованиях.
мне кажется скайнет начнёт войну просто по приколу или наобум выберя варианты
Подростков которые выполняют советы нейросетки, а также голоса в голове, надо просто изолировать от общества.
Ну и кто так доказывал что боты ИИ не могут причинить плохое людям.. А если вместо детей будет роботы с ИИ то всё капец и начало Терминатора.
// Владимир Михальчук
То есть, в заголовке ложь?
И, кстати, скриншотов того, как «один бот намекнул» нет, как я понимаю?