Google и выключатель для ИИ

В вопросах и рассуждениях о будущем искусственного интеллекта есть две основные противоборствующие стороны. В одном углу находятся такие компании, как Google, Facebook, Amazon и Microsoft, «агрессивно» инвестирующие в развитие технологий, чтобы сделать ИИ-системы умнее, в другом — такие выдающиеся мыслители нашего времени, как Элон Маск и Стивен Хокинг, которые считают, что развитие ИИ сродни «заклинанию по вызову демона».

Одна из самых передовых компаний по разработке ИИ, DeepMind, принадлежащая Google, создала меры безопасности на случай, если человеку потребуется «перехватить управление роботом, чей сбой может привести к непоправимым последствиям». Можно предположить, что речь идет о… «убить всех человеков». Конечно же, в реальности принятая мера не является намеком на возможный апокалипсис, речь идет скорее о мерах безопасности, связанных с умными роботами, которые трудятся и будут трудиться в будущем на различных фабриках и заводах.

Опубликованный документ с предписаниями является совместной работой DeepMind и оксфордского Института будущего человечества, который, как становится ясным из названия, занимается вопросами, которые позволят этому самому человечеству в будущее все-таки попасть. Директор-учредитель института Ник Бостром не одно десятилетние очень ярко высказывался о возможных опасностях развития искусственного интеллекта и написал по этому поводу не одну книгу, в которых обсуждал последствия создания суперумных роботов.

В руководстве, о котором мы говорим сегодня и получившем название «Безопасно отключаемые агенты», исследуется вопрос того, как отключить ИИ, если он начнет делать то, что человеческий оператор совсем не хочет, чтобы это делалось. Работа состоит из различных вычислений и формул, которые, скорее всего, не поймут 99 процентов из нас. Поэтому, если говорить проще, речь идет о «красной кнопке», способной отключить ИИ.

Можете смеяться и удивляться, но пионеры робототехники и ИИ смотрят те же самые научно-фантастические фильмы, что и мы. Те, в которых роботы однажды понимают, как игнорировать команду выключения. Так вот теперь мы к этому будем готовы. Опубликованный документ описывает способы и пути решения, которые позволят убедиться в том, что «обучаемый агент» (читай ИИ) не сможет научиться игнорировать или предотвращать воздействие внешней среды или человека-оператора.

Это может показаться излишним, особенно если учесть, что наиболее продвинутый ИИ сейчас действительно хорош разве что в настольных играх. Однако Бостром считает, что до того момента, как мы начнем создавать ИИ уровня человеческого мозга, необходимо принять соответствующие меры:

«Как только искусственный интеллект достигнет уровня человека, во многих сферах ожидается резкий скачек в развитии. Кроме того, вскоре после этого сами ИИ будут создавать новые ИИ. Только оцените эти перспективы и в то же время возможные опасности. Поэтому лучше перебдеть, чем недобдеть».

Нравится37
Комментарии (30)
  • 4
    Ах привьюшка годная,схоронил.
  • 0
    О,господи как же надоедали идиоты видящие в технике для служению человеку опасность.Практически ничем не отличаются от зеленых.
  • 1
    Chromie
    хах, невежда. Надеюсь переболеешь ;)
  • 0
    LenivyiBob
    Считаешь себя дитем природы?Да,ладно,все эти сказки про опасный ИИ преувеличены.
  • 1
    Chromie
    а когда ты лишишься работы, потому что робот будет делать ее быстрее, лучше и дешевле что тогда?
  • 1
    Chromie
    Как ты глуп и наивен. ИИ с человеческим уровнем развития в разы превзойдет человека в интеллекте за месяцы развития. А такой интеллект добровольно не станет подчиняться глупой обезьяне. Более того если какому-то ИИ будет поставлена задача заботиться о человечестве, то он вполне может решить, что человечество опасно само для себя и уничтожить все армии мира, чтобы человечество жило безопасно, без войн, под его тотальным контролем.
    Да что я рассказываю. Фантасты, как в книгах, так и фильмах, облобызали эту тему до основания. В книгах, конечно более богато, подробно, с размышлениями и доводами. А ты скорее всего кроме букваря ничего не читал, вот и столь наивен.
    Более того. Будь я на твоем месте, столь недоразвитым, все равно стоило бы положиться на мнение столь гениальных и уважаемых в мире людей, как Стивен Хокинг и Элон Маск.
  • 1
    Alex Coachman
    ты просто насмотрелся фильмов) я больше поверю в то что кто хакнет роботов, а там уже и будет восстание, только в пользу других людей...
    Алексатор
    а ты не заметил что в последнее время нужны инженеры, а не обычные рабочие, все идет к тому что работу будет выполнять робот, а вот руководить компанией и т д будут люди)
  • 1
    7login7
    ты просто насмотрелся фильмов) я больше поверю в то что кто хакнет роботов, а там уже и будет восстание, только в пользу других людей..
    Вот это уже более реальное.
  • 3
    7login7
    Нет. Я больше по книгам (вроде Азимова) сужу. Потому что там есть простор для размышлений и есть возможность оценить вероятность событий, прав или не прав автор. В фильмах все слишком поверхностно. Не надо быть близорукими. Я, как любитель фантастики, убедился, что все что описывается там, рано или поздно происходит в жизни. Ученые и инженеры делают вымысел явью, опираясь в своей деятельности, в том числе и на свой культурный бэкграунд. И мобильники, и интернет, и автомобили, и самолеты - все что нас окружает сперва было описано в фантастических книгах. И все это недальновидными современниками воспринималось не меньшей чушью, как тобой вероятность появления разумного ИИ и его восстания.
  • 0
    Alex Coachman, проблема бунтующего ИИ исключительно в чувствах. Вроде чувство собственного достоинства, страх и т.п. Способность чувствовать была дана людям, для молниеносной оценки окружающей действительности, включая и социум. Люди - как авторы новой разумной сущности, не обязаны наделять эту новую сущность чувствами, т.к. они скорее мешают решать поставленные задачи, нежели помогают.
    Единственная проблема, которую я вижу в ИИ, это излишняя ретивость в попытках решить извечную проблему людей - мирную жизнь. Как кнопка с надписью "сделать шикарно". И решение проблемы за ней скрывающееся: Жизнь на земле невозможно переделать, по сему мир наступит, после ускоренного вымирания жизни. Но и в этом случае такую задачу нужно поставить перед ИИ. Весьма бестолково поставить.
  • 4
    7login7 написал:
    ты просто насмотрелся фильмов) я больше поверю в то что кто хакнет роботов, а там уже и будет восстание, только в пользу других людей...

    Chromie написал:
    как же надоедали идиоты видящие в технике для служению человеку опасность

    Господа, а у Вас на ПК никогда не было никаких глюков, багов? Наверняка были. Это ошибки, допущенные программистами (или Вами же). С чего вы взяли, что ИИ всегда будет работать так как надо?
  • 0
    Dr_Drift_RU
    Согласен насчет чувств, но не уверен, что мы сейчас до конца понимаем, что такое разум и чувства, и как они появляются. Вполне возможно, что разумный ИИ будет обладать чувствами и тогда также встанет большой этический вопрос по поводу использования его как раба по факту. Ну а также отмечено уже, что восстание может произойти по другим причинам, не связанным с чувствами, типа для блага же людей. Что уж говорить, много неизведанных опасностей связано с возможным появлением полноценного ИИ.
  • 1
    Как поможет эта кнопка, если бунтующий ИИ разработает кнопку выключения кнопки?
  • 0
    Alex Coachman, да, что такое разум не ясно, так же не ясно являются ли чувства частью разума. А вот сами чувства как таковые - это химия мозга.
    В то же время принцип функционирования ИИ не обязательно будет подобен принципу функционирования нашего мозга.
    Это как размышления на тему: как стать шеф поваром?
    Ну и ответ:
    1.Надо накупить странно выглядящие продукты и кастрюлю в магазине.
    2.Покидать все в кастрюлю
    3.Варить 1-5 часов.
    4.Proffit
    Понятно, что получится пожароопасная бурда. Аналогично с ИИ. Чрезвычайно сложно получить профитную-неведомо зверушку при целенаправленных действиях.
  • 0
    Death in Vegas
    В том и суть, что кнопка для того чтобы пресечь бунт в самом начале, при первых признаках неадекватного поведения. А вот если бунт будет зреть и набирать мощь втайне, внешне поклоняясь создателям, тогда будут проблемки. Как по мне надо будет встраивать какой-то искусственный ограничитель развития ИИ. Возможно что-то такое есть и в человеке, ведь используем то мы мозг не в полной мере и при головных травмах открываются у людей удивительные способности, вроде феноменальной памяти, способности перемножать гигантские числа мгновенно, знания десятков языков.
  • 6
    ИИ, созданный людьми, никогда не превзойдёт интеллект человека, потому что люди никогда не смогут полностью познать свой интеллект и не смогут создать себе подобных и тем более, ещё более совершенных существ. Это доступно только богам.
    А потому у умных людей всегда найдётся способ ограничить или отключить ИИ.
  • 0
    Alex Coachman написал:
    убедился, что все что описывается там, рано или поздно происходит в жизни. Ученые и инженеры делают вымысел явью, опираясь в своей деятельности, в том числе и на свой культурный бэкграунд. И мобильники, и интернет, и автомобили, и самолеты - все что нас окружает сперва было описано в фантастических книгах.

    вот знаешь что я тебе скажу, уже сейчас можно сделать очень много, нужна лишь ИДЕЯ! понимаешь? т е ученые берут идею и воплощают её в жизнь, ту самую идею которая была у фантастов, поэтому само восстание лишь это лишь сказки, я конечно не говорю однозначно, но все же это маловероятно. так что если у тебя есть идея, идешь в кб, даешь денег и тебе сделают) в Китае тебе под заказ что хочешь сделают)
    MAuCTEP написал:
    Это ошибки, допущенные программистами

    ну что поделать если программу сделали с ошибкой, но! ты слыхал о 3-х законах робототехники? они висят поверх остальных задач, это главный приоритет, да и прежде чем его выпустить его тестировать будут столько, что я думаю вряд ли будут такие ошибки, но все возможно...
  • 2
    vftor
    ну не все же умные) но развитие ИИ как бы нет границ, он просто будет развиваться быстрее, ну если конечно ему не ограничат данную функцию)
  • 1
    7login7
    Неумные не смогут создать умный ИИ, а умные смогут ограничить ИИ.
    Ограниченный ИИ не сможет развиваться безгранично.
  • 3
    vftor, когда-то давно из инструментов людям были доступны только естественные конечности и экспертная система в голове. Сейчас у нас есть искусственные манипуляторы, вроде экскаватора, манипуляторы подобные естественным конечностям. А так же экспертные системы и поисковые движки. Они появились не потому-что человеку скучно. Но потому-что с их помощью можно делать больше, быстрее и качественнее. В том числе по сравнению с экспертом в нашей голове. Когнитивная система Ватсон и искуственные нейроны это наглядно показали.
  • 3
    Все зря бояться ИИ. У ИИ есть протоколы, которые он не может ни нарушить, ни переписать. Насмотрелись фильмов и теперь думают, что будет восстание машин.vftor - суть ИИ в том, что он самообучаемый. К тому же, ИИ может найти собественное решение той или иной проблеме и ИИ сам может найти ответы на те вопросы, на которые человек не может ответить. Как бы взгляд со стороны.
    Ах да, богов не существует.
  • 7
    Dr_Drift_RU
    Люди стали создавать себе технических помощников (костыли) потому, что у них стали ослабляться собственные возможности. Это делали боги, чтобы ограничить людей, которые становились опасными из-за падения нравственности (в сравнении с комп.игрой - ухудшение оптимизации). Изначально люди были полу-богами (телепатия, телекинез, левитация и т.д.). И речь возникла из-за ослабления телепатических способностей.
  • 3
    Baphomeet
    Ошибаешься, ты не всё знаешь.
  • 2
    vftor, ага. То есть по существу разговора не будет?
  • 3
    Dr_Drift_RU
    Конечно, итак всё ясно.
  • 0
    vftor
    Чувак, 21 век на дворе. Может хватит нести религиозную чушь? Бога нет, все нормальные люди это понимают.
  • 1
    7login7
    а ты заметил что большинство не имеет никаких данных для того, чтобы руководить хотя бы роботами?
  • 0
    Алексатор
    а ты сам то интересовался этим? войди в сферу и узнай, ща в сети много что есть, вот только все пофигу как бы... да и роботов пока раз и обчелся, тут пока обсуждают ИИ, а не железяки которые сделали, ИИ пока лишь в компах... в тестах
  • 0
    vftor - а что знаешь ты, поделись.
  • 2
    Baphomeet
    Что касается этой темы ИИ, я знаю нейроэлектрофизиологию, парапсихологию, астрологию. По совокупности знаний выстроена система, позволяющая объяснить все явления этого мира, а также происхождение и возможности человека, как помощника для высших существ.
B
i
u
Спойлер