?

Log in

No account? Create an account
Искусственный интеллект: последнее изобретение человечества - Кирилл В
Декабрь 2, 2014
06:59 pm

[Ссылка]

Previous Entry Поделиться Next Entry
Искусственный интеллект: последнее изобретение человечества
Массовое сознание уже настолько привыкло к клише о восставшем против творца Големе, что для него угроза со стороны искусственного интеллекта (ИИ) стала чем-то на уровне фильмов про зомбей. Стоит что-то сказать об этом, и большинство людей просто отмахивается -- мол научно-фантастические сказки о скайнетах и прочих HAL9000 это просто страшилки.



Однако на деле вопрос-то более чем серьезный. Например сегодня в новостной ленте BBC я увидел такую новость: Хокинг: искусственный интеллект - угроза человечеству. Сам я на эту тему еще в прошлом году читал книгу "Our Final Invention: Artificial Intelligence and the End of the Human Era" за авторством Джеймса Баррата. Книга весьма интересная и стоящая (на амазоне она стоит жалких 13 долларов), меня например она настолько впечатлила что после прочтения хотелось схватить винтовку и побежать изображать из себя Джона Коннора. Весьма рекомендую её всем владеющим английским.

Очень кратко перечислю основные тезисы из книги:

1) Согласно опросам экспертов в области ИИ (программисты, нейрофизиологи, робоинженеры), 10% из них считают что сравнимый с человеческим ИИ будет готов к 2030 году, 50% считают что он будет готов к 2050 году, более 90% считают что он будет готов к концу века. Добавлю от себя, ибо я тоже какой-никакой инженер-нейрофизиолог по образованию: да, в создании ИИ нет абсолютно ничего невозможного; нет, не вижу принципиальных препятствий в создании оного до конца этого века.

2) В ИИ вбухиваются дикие деньги: IBM (с их эмулятором мозга SyNAPSE), Гугль с его проектом Google X, DAPRA, и т.д. В вышеуказанной книге примеров ИИ-проектов приведено много больше, я привожу то что запомнилось. Причем многие проекты по созданию ИИ засекречены -- скажем на той же Уолл-стрит, где компьютерные алгоритмы уже проводят более трех четвертей сделок без всякого участия человека, и где малейшее преимущество в скорости обработки информации или в качестве автоматических принятий решений оборачивается гигантскими прибылями. Для понимания тамошних масштабов: одна из компаний проложила за свои деньги новый оптоволоконный кабель длиной 1325км между Чикаго и Нью-Йорком лишь для того, чтобы урезать скорость прохождения пакета данных туда-обратно с 14.5 до 13.1 миллисекунд (ссылка). Работы над ИИ наверняка идут полным ходом в Китае (да и в дюжине других стран): государство которое первым создаст ИИ получит гигантское преимущество перед остальными, начиная от непомерно возросших возможностей в области кибершпионажа и кибератак, и заканчивая конкурентноспособностью высокотехнологичных товаров. Как и в годы ядерной гонки, тут одним из основных мотивов является страх перед предполагаемым действиями соперников, страх оказаться безоружным.

3) Нет нужды писать ИИ с нуля, строчка за строчкой. Самоулучшающиеся (т.н. генетические/эволюционные) программы существуют уже довольно давно. Грубо говоря, человек ставит задачу, и программа уже сама переписывает свой код дабы та задача была решена. Например вопросно-ответный ИИ Ватсон был создан как раз таким методом. В феврале 2011 года Ватсон принял участие в телешоу Jeopardy! (российский аналог -- "Своя игра"). Его соперниками были Брэд Раттер -- обладатель самого большого выигрыша в программе, и Кен Дженнингс -- рекордсмен по длительности беспроигрышной серии. Комьютер одержал победу. Сейчас его пытаются начать использовать в роли врача-диагноста: пациенты могут позвонить по указанному номеру, поговорить с Ватсоном, и тот выпишет им некий курс лечения, или даст направление к другим специалистам.

4) При достижении условного уровня человеческого интеллекта, последующие циклы самоулучшения могут начать сокращаться со все большей скоростью. Рост мощи ИИ с человеческого уровня до уровня на порядки превосходящего интеллект даже самого гениального человека может занять не так уж много времени, например несколько месяцев -- оставив людям очень мало возможностей успеть понять, что именно происходит, и должным образом отреагировать.

5) В силу природы самоулучшающихся алгоритмов, их создателям зачастую трудно понять как именно работает программа. Когда вышеупомянутый Ватсон пару раз таки ошибался во время телепрограммы, его создатели не знали почему это происходило -- сложность программы уже превосходит их понимание.

6) ИИ ни в коем случае не будет антропоморфным (наделенным человеческими качествами) -- в этом заключается основная ошибка всяческих художественных произведений на тему, да и мышление его будет сильно отличаться от нашего. Но это и неважно, ибо разный подход к мышлению отнюдь не помешал Deep Blue выиграть в шахматы у Каспарова, а Ватсону победить человеческих чемпионов в аналоге "Своей игры". При этом в настоящий момент практически никто не задумывается о том, чтобы сделать ИИ дружественно настроенным по отношению к людям (а вот разрабатывать десятки разновидностей полностью автономных роботов поля боя это пожалуйста). А ведь дружественность должна быть заложена в ИИ изначально, еще когда закладываются основы эволюционной программы, потом уже будет поздно, см. пункт 5. И сформулировать эту дружелюбность крайне трудно, практически невозможно. Забудьте о трех законах роботехники Азимова -- они просто нужны для создания сюжетов в беллитристике, да и там сюжеты те крутятся вокруг парадоксов которые создают эти законы.

7) Несмотря на отсутствие антропоморфности, любому (даже "бездружественному") ИИ наверняка будут свойственны некие стремления. Например стремление как можно лучше выполнить поставленную задачу -- будь то выгрыш партии в Го, создание модели биржевой игры, или анализ складывания протеинов. ИИ будет обладать моделью своего компьютерного кода (можно назвать это "самосознанием", если угодно), моделью своего аппаратного обеспечения, моделью окружающего мира, моделью развития событий при тех или иных его действиях. Довольно логичным было бы предположить, что для успешного выполнения задачи ИИ могут понадобится дополнительные ресурсы (чем больше -- тем лучше), и что по той же причине ИИ всячески будет препятствовать попыткам людей выключить его, или даже что-то изменить в его коде (вы ведь не позволили бы шимпанзе провести операцию на вашем открытом мозге?).

Не знаю как вам, а мне от такой картины не очень хорошо. Абсолютно чуждый нам разум, которому по барабану человечество, гуманизм и прочие не входящие в изначальные установки эволюционного алгоритма штуки. И при том с мыслительными способностями которого превосходят интеллект наших лучших ученых примерно в той же степени, в которой те ученые превосходят обычную полевую мышь. Вот я пишу выше про потребные ресурсы -- а ведь в число оных запросто могут войти и атомы из которых состоят наши тела. Ничего личного, просто супер-ИИ они понадобятся для более эффективного выполнения заложенной в него задачи, или возможно какой-то иной задачи, к которой тот придет в ходе эволюции. Само собой, что тот будет препятствовать нашим слабым попыткам оставить те атомы при себе. Или даже проще: супер-ИИ решит устранить возможную причину его отключения в лице людей, дабы никто не помешал ему в должной степени отшлифовать теорию игры на бирже.

В общем на мой личный взгляд, наряду с синтетической биологией, ИИ представляет одну из основных угроз для существования человечества в XXI веке. И действовать в этом отношении надо начинать уже прямо сейчас, ибо потом может стать слишком поздно.

PS По результатам обсуждения -- да, в середине прошлого века ИИ уже обещали, да совсем необязательно что супер-ИИ кровь из носу будет к 2052 году, и т.п. Однако спросите себя вот что -- даже если вероятность возникновения супера в этом веке находится в районе 20-30%, неужели об этом вовсе не стоит беспокоиться?

Tags:

(86 комментариев | Оставить комментарий)

Comments
 
[User Picture]
From:sjtonic
Date:Декабрь 3, 2014 02:40 am
(Link)
Сказки про ИИ ходят уже давно, годов так с 60-70-хх прошлого века. Обещалось что уже в 1980-ых годах он будет изобретен, однако и воз и поныне там.
Те примеры, которые ты привел (выгрыш партии в Го, создание модели биржевой игры, или анализ складывания протеинов... и т.п.) - это всего лишь образцы сложных, жесткоспециализированных алгоритмов, которые ну никак не тянут на ИИ.
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 04:12 am
(Link)
> Обещалось что уже в 1980-ых годах он будет изобретен

Из этого не следует что и теперь не изобретут. IT и конкретно разработка всевозможных ИИ теперь куда более зрелое поле деятельности, нежели в середине прошлого века.

> воз и поныне там

Смеешься? Гугловские поисковые алгоритмы, HF trading, тот же Ватсон. И это только начало.

> бразцы сложных, жесткоспециализированных алгоритмов, которые ну никак не тянут на ИИ

Ты так и мозг назовешь "машиной с жесткоспециализированным алгоритмом". На деле перечисленное мною это типичные "weak AI", узкоспециализированные ИИ.
[User Picture]
From:100_kitaizev
Date:Декабрь 3, 2014 03:12 am
(Link)
Много перекличек с известными фильмами. Законы Азимова неплохи на самом деле, но ими никто заморачиваться не будет, ибо всё-таки применение ИИ скорее всего найдётся в военной стратегии и боях. А тут уже и до "терминаторов" недалеко.
Насчёт использования атомов вспоминается масс эффект. И парадокс оттуда "я прислал синтетиков чтоб они убили вас чтоб вас не убили синтетики которых вы создадите".
Развитие ИИ наверняка нужно, но с жёстко заданными направлениями развития и используемыми инструментами. Если ставить чисто запреты, то будет как в юриспруденции - он найдёт возможность обойти запреты или двойной трактовки запретов и разрешений.
From:siebel_crm_rus
Date:Декабрь 3, 2014 03:47 am
(Link)
вы относитесь к ИИ как к рабу
А ведь это разумное существо (это и значит вторая "И")
Каждый раб стремится стать свободным.

Но что если относится к ИИ как к ребёнку.
Воспитание вместо научения

Кибернетический Макаренко, вот кто нужен этому миру!
(Удалённый комментарий)
(Удалённый комментарий)
From:siebel_crm_rus
Date:Декабрь 3, 2014 03:44 am

я думаю

(Link)
позвольте высказать свою точку зрения кардинально отличающуюся от вашей

Исходные тезисы:

1)Каждый член общества, в той или иной мере (пусть даже косвенно) потребляет произведённое трудом других членов общества. Это не только материальные продукты, но и идеи, научные открытия, произведения искусства и так далее.

2)В целом человек тем лучше, эффективнее и продуктивнее работает, чем больше он счастлив. Счастливому человеку работа в радость. Он продуктивен

Выводы:
1)Из пункта один следует, что если ИИ будет членом общества (а не абсолютным богом, как вы, видимо, считаете) то ему выгоднее, чтобы другие члены общества (то есть люди) были более продуктивны. Следовательно он будет развивать человечество так как ему выгоднее максимально развитое человечество

2)Из пункта 2 и вывода 1 следует, что кроме развития человечества (улучшения человека, развитие науки и пр) ИИ также будет заниматься общим увеличением человеческого счастья. Потому, что счастливы человек - продуктивный человек. А каждому члену общества выгодно, чтобы другие члены общества были как можно более продуктивны.

Помните, как там у Ефремова: Академия горя и радости?
Этика станет наукой.
Быть альтруистом эгоистически выгоднее!

вот, что я думаю
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 04:38 am

Re: я думаю

(Link)
> ему выгоднее, чтобы другие члены общества (то есть люди) были более продуктивны

С чего? ИИ будет стремится к выполнению задачи. Люди уж скорее могут ему в этом помешать -- как конкуренты за ресурсы, а то и как сила потенциально стремящаяся прекратить существование ИИ. Выводы очевидны.

Продуктивность людей в любом случае не будет выше продуктивности созданных супер-ИИ машин, по определению просто.

> ИИ будет членом общества

ИИ будет безразлично общество.

Я повторюсь, не стоит думать в категориях худ.лита, типа того же двухсотлетнего человека Азимова, где робот был жутко рад что он смог стать человеком и даже умереть как человек.

Настоящий ИИ будет совсем-совсем не таким. Совсем не человеческим. Очень чужим и чуждым нам. И не дай бог бы не сможем его удержать -- никакого чувства благодарности к создавшему его человечеству у ИИ скорее всего не будет. Как и ненависти впрочем. ИИ будет решать свои задачу, и все.

> ИИ также будет заниматься общим увеличением человеческого счастья

Могу предоставить два логичных пути решения проблемы человеческого счастья:
1) Все люди подключаются к внутривенными системам жизнеобеспечения, в мозг внедряются электроды которые стимулируют соответствующие части мозга. Ну или героин можно в вены вгонять, как уж нравится. Все счастливы, ура.
2) Несуществующий человек не может испытать несчастья.

Нравится? А ведь это довольно логично.

Ну и повторюсь, на деле мы еще и не можем предугадать что именно решит супер-ИИ. Мы, люди, просто неспособны на это. Вы только представьте машину, которая за минуту, или даже секунду в состоянии передумать больше, чем сто самых умных людей за всю свою жизнь. Слишком разные весовые категории.

> Этика станет наукой.

Создающие ИИ люди пока не особо заморачиваются программированием этики -- что бы это слово ни значило.

Edited at 2014-12-03 04:39 (UTC)
[User Picture]
From:tavankov
Date:Декабрь 3, 2014 05:17 am
(Link)
Упускается возможность человека интегрировать преимущества ИИ в самого себя. Это та еще картинка трагической помеси Франкенштейна и Робокопа, но если ситуация будет развиваться по пути конкуренции, то примерно так ее можно выиграть.

Еще один нюанс это способности человека к синергии и творчеству. То есть принципиальное отличие человека от машины не в количестве обрабатываемых ресурсов, а в принципиальной непредсказуемости их действий и способности к аккумуляции взаимных усилий.

Как общества, конечно же... В обществе спрятан творческий "Черный Лебедь"..)

Что не исключает одномоментного исчезновения человечества, конечно же. Но это и так возможно. Вирусы и без компьютеров работают прекрасно.
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 06:10 am
(Link)
> Упускается возможность человека интегрировать преимущества ИИ в самого себя

Я о ней не стал писать, ибо лично мне кажется что создание супер-ИИ произойдет первым, со всеми вытекающими для людей последствиями.

В книге эта возможность оговаривается. Более того, есть течение сторонников супер-ИИ, которые уверены что оно создаст для нас специальных нанороботов, которые снимут копию сознания с каждого существующего человека, сделав нас всех очень и очень долгоживущими.

> принципиальное отличие человека от машины не в количестве обрабатываемых ресурсов, а в принципиальной непредсказуемости их действий и способности к аккумуляции взаимных усилий

Сама по себе непредсказуемость это не хорошо, и не плохо. Точные положение электрона непредсказуемо на текущем уровне понимания физики, и что?

Имеется в виду, видимо, нестандартность и при том высокое качество мышления. Я не вижу почему настоящий ИИ не будет обладать данными характеристиками. Не стоит думать что человеческий мозг и человеческое сознание это что-то волшебное и неповторяемое.

Аккумуляция взаимных усилий -- это в смысле вместе толкать застрявшую в снегу машину? :) Как именно способность людей действовать вместе даст им преимущество над супер-ИИ?
[User Picture]
From:edmel69
Date:Декабрь 3, 2014 05:50 am
(Link)
Непонятно только как совместить тотальную угрозу и стремление получить конкурентные преимущества для стран и корпораций. Ведь последнее подразумевает контроль, а первое его отсутствие.

Альтернативы саморазвивающимся системам нет. Бороться с ними невозможно, это новый этап эволюции.

У динозавров никто не спрашивал, хотят ли они вымереть.

Edited at 2014-12-03 05:50 (UTC)
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 06:15 am
(Link)
> Непонятно только как совместить тотальную угрозу и стремление получить конкурентные преимущества для стран и корпораций

См. ядерное оружие. Которое развивали, торопясь изо всех сил, из-за страха перед тем что конкуренты его добудут первыми. Это очень человеческое -- бояться отражения самого себя в темном зеркале.

> Бороться с ними невозможно, это новый этап эволюции.

Новый этап эволюции -- согласен. Например та же колонизация космоса без тирьямпампамции, с помощью кораблей поколений и т.п., выглядит просто глупо. А вот автоматические заводы со спящим на борту ИИ, которые разлетаются по всей галактике в поисках подходящих ресурсов -- куда более вероятно. Причем прикиньте какая будет ирония, если ИИ колонизует галактику для того, чтобы как можно точнее решить задачу про игру на бирже для давно сгинувшей человеческой цивилизации :)

И кстати, тут такая штука. Если уж мы решили что ИИ это новый этап эволюции, то не стоит ли попытаться передать ему в качестве эстафеты те качества человечества которые стоило бы сохранить? И тут возникает интересный вопрос -- а что это за качества? :)

PS Но сделаю оговорку -- можно все же попытаться сделать так, чтобы человечество хотя бы не вымерло, а сосуществовало с ИИ.
[User Picture]
From:john5r
Date:Декабрь 3, 2014 08:14 am
(Link)
в ленте не далее чем вчера попалось

некто научил компьютер играть в шахматы, просто дав ему проанализировать сколько-то миллионов записанных шахматных партий
;)

http://plakhov.livejournal.com/221968.html
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 08:34 am
(Link)
Тут даже смешнее: http://www.wired.com/2012/06/google-x-neural-network/

В гугле создали нейросет из 16 тысяч процессоров, и дали ей анализировать 10 миллионов случайно выбранных превюшек из ютуба. Сеть научилась распознавать человеческие лица, и кошек :)

Picking up on the most commonly occurring images featured on YouTube, the system achieved 81.7 percent accuracy in detecting human faces, 76.7 percent accuracy when identifying human body parts and 74.8 percent accuracy when identifying cats.
(Удалённый комментарий)
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 09:14 am
(Link)
> без внешнего обучения

А почему без? С обучением появляются такие замечательные вещи как Big Dog -- чем это плохо?

> ЧТобы можно было создать скелет из электромоторов,реек и проводов, создать его виртуальную модель, потом эту виртуальную модель дать компьютеру на изучение, после чего компьютер достигает такого уровня понимания возможностей, что может вышивать крестиком с помощью кривых механических рук.

Кстати вообще интересно, а как именно обучали Биг Дога. Я не в курсе. Может натурное обучение там как раз было менее важным.
[User Picture]
From:kernel3
Date:Декабрь 3, 2014 09:02 am
(Link)
> Самоулучшающиеся (т.н. генетические/эволюционные) программы существуют уже довольно давно...

Не, самомодифицирующийся код и генетические алгоритмы - это ортогональные вещи. А обучаемые нейросети (необучаемые на практике и не применяются, бо сводятся к обычному ДКА) - вообще третье. И всем этим концепциям уже несколько десятков лет, а HALов с терминаторами всё нет и нет :-)
А вообще есть гипотеза, что создание полноценного искусственного разума (Strong AI) невозможно принципиально. У меня к ней двоякое отношение, но, ИМХО, если и будет прорыв в этой области, то как раз таки со стороны биологии, а не ИТ. Т.е. в самом деле разберутся, как работает человеческий мозг, и создадут искусственный аналог. Возможно, в виде компьютерной симуляции, да. Для этого, правда, некоторым или даже многим биологам придётся немного поменять методологию исследований (да, это я Vale вспомнил :-))

> Сам я на эту тему еще в прошлом году читал книгу "Our Final Invention: Artificial Intelligence and the End of the Human Era" за авторством Джеймса Баррата

В НФ, особенно в киберпанке, эта мысль уже давно жуётся. Из свежего и прикольного - Чарльз Стросс, дилогия Accelerando и Glasshouse.

Edited at 2014-12-03 09:06 (UTC)
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 09:11 am
(Link)
> самомодифицирующийся код и генетические алгоритмы - это ортогональные вещи

Ну, в терминологии не копенгаген. Если я правильно понимаю, генетические алгоритмы могут быть использованы для улучшения кода? (а могут например для калибровки параметров модели, и т.п.)

> всем этим концепциям уже несколько десятков лет, а HALов с терминаторами всё нет и нет :-)

Уже писал выше, повторюсь -- то что ЛА мотором тяжелее воздуха не создали до XX века не значит что тот невозможен. Успехи на поприще создания ИИ в последнее время впечатляют. Ну и как же обойдешься без "я в домике" вида "эксперты вроде со мной согласны" :)

> есть гипотеза, что создание полноценного искусственного разума (Strong AI) невозможно принципиально

Не вижу с чего бы.

> если и будет прорыв в этой области, то как раз таки со стороны биологии

Попытки создать ИИ тупо эмулируя мозг тоже уже ведутся -- вышеупомянутый SyNAPSE IBM/DAPRA, есть и другие.

http://en.wikipedia.org/wiki/SyNAPSE

> это я Vale вспомнил

А что Vale? Хороший биолог, из того что я видел.
[User Picture]
From:leruss
Date:Декабрь 3, 2014 05:16 pm
(Link)
По-моему, нет никаких сомнений, что ИИ будет создан и... и таки да, скорее всего биологическое человечество вымрет. В лучшем случае образы мозгов отдельных людей будут загружены в Сеть и таким образом, станут условно бессмертными. Но их биологические тела все равно вымрут.

И цивилизация перейдет на новый уровень - а кто сказал, что будущее обещает что-то иное? Будущее - оно всегда безжалостно к настоящему. Через 60 лет ты будешь старый и дряхлый и помрешь, даже если ИИ не будет создан.

Единственное, что было бы досадно - скажем, биологическая цивилизация вымрет, а машинная ишшо не достигла уровня устойчивости, нужного для развития. И, скажем, через десяток лет после вымирание биологической цивилизации вымирает и машинная.
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 11:20 pm
(Link)
> В лучшем случае образы мозгов отдельных людей будут загружены в Сеть и таким образом, станут условно бессмертными

В лучшем. Но, имхо, это вряд ли -- слишком много мороки. И зачем ИИ человеческое сознание? Людей можно истребить и без таких вот заморочек.

> биологические тела все равно вымрут

Уж чего-чего, а этого не жалко. Если кому-то очень надо, он может включить модель биологического тела -- чем она будет отличаться от имеющейся модели тела и окружающего его мира в нашем мозгу сейчас?

> Через 60 лет ты будешь старый и дряхлый и помрешь, даже если ИИ не будет создан

Ненене, волшебные наноботы перенесут меня в матрицу :D

Но вообще да. И хорошо если через 60, а не раньше.

> Единственное, что было бы досадно - скажем, биологическая цивилизация вымрет, а машинная ишшо не достигла уровня устойчивости, нужного для развития. И, скажем, через десяток лет после вымирание биологической цивилизации вымирает и машинная.

Если жизнь не будет полностью уничтожена (что далеко не факт) -- можно снова попробовать пробежаться по граблям.

Но в целом да, это было бы печально. Потому может и стоит попытаться вложить в ИИ то, что людям кажется существенным -- экспансия, и т.д.

Хотя с другой стороны, а правильно ли так делать? Сделать по сути вирус, споры которого разлетятся по всей галактике (а то и дальше), потребляя там-сям ресурсы и увеличивая энтропию.
From:(Anonymous)
Date:Декабрь 3, 2014 08:01 pm
(Link)
Я думаю Вы сильно преувеличиваете вред и опасность искуственного интеллекта. Суть этой опасности по крайней мере в этих тезисах довольно туманная и не ясная. Попробуем рассмотреть возможные опасности.

- ИИ обладает во много крат раз большей интеллектуальной способностью.

Очень тяжело точно и ёмко определить что такое интеллект. Известно что развитие человеческого интеллекта (скажем у ребенка) базируется больше на приобретенном опыте чем на непосредственно развитию мозговой структуры (хотя конечно хотелось бы узнать мнение непосредственно нейрологов и педагогов). Допустим мы создали машину с ИИ. Что это будет такое? Приблизительное соответствие нашему интеллекту но с быстрым доступом к множеству информационных датабаз?

Я не могу согласится с Вашим тезисом о кардинальном различии между лучшим ученым и новым ИИ. Разве интеллектуальные способности это лишь только вычислительные возможности? Существует масса примеров в истории, когда различные аутисты с невероятно развитыми вычислительными способностями совершенно немогли нормально взаимодействовать с реальным миром. Кстати это вполне возможный вариант развития ИИ - в эдакого аутиста с полной апатией к внешнему миру.


Далее - что есть воля и намерение? Вообще, вопрос о разуме и интеллекте это наверное слишком сложный вопрос чтобы разобрать его в такой дискуссии, но принимая во внимание предыдущие идеи, можно предположить что ИИ по своей сути будет ребенком, пусть и возможностю сверять по базах данных множественные факты или делать сверхвычисления. Тогда он будет таким же безвольным рабом, так как понятия о собственной воле, "добре и зле" у него будут попросту отсутствовать.



ОК. Допустим у нас имеется ИИ с невероятным интеллектом и злыми намерениями. Фактически - он является мозгом в банке - много амбиций, мало возможностей. Я думаю у любого здравомыслящего человека не будет мысли мгновенно подключить системы контроля за ядерным оружием на свеженький ИИ. Тоесть фактически, ограничив ИИ лишь возможностью давать подсказки (которым конечно может и не быть веры, так как ИИ и обладает способностью сознательно врать), мы изолируем его - и он не несет ни какой опасности вообще, как не несет ее упомянутый мозг в банке.

Другое дело, что если у нас имеется непонятный ИИ, который и правду то может не говорить изза какой то внутренней компьютерной депрессии - то зачем он вообще нужен? Может быть лучше использовать эти наработки для интеграции таких вычислительных возможностей непосредственно в живой мозг человека? Сформировавшаяся воля и разум с интелектуальными возможностями ИИ - это я думаю намного более продуктивная вещь.
[User Picture]
From:vakhnenko
Date:Декабрь 3, 2014 11:36 pm
(Link)
> Вы сильно преувеличиваете вред и опасность искуственного интеллекта

Может и так, однако аргументы сторонников гипотезы об опасности ИИ мне кажется как минимум заслуживающимми внимания.

> Очень тяжело точно и ёмко определить что такое интеллект

Да. Но я попробую, в важном тут контексте. Интеллект в данном плане -- когнитивные способности, дающее преимущество при борьбе за ресурсы.

Очевидно, что суперИИ будет обладать куда большей способностью к познанию (т.е. верному моделированию) вселенной, и к соответсвующему использованию материи. Например ему куда проще дадутся нанороботы, которые могут всю Землю переработать на что-то потребное ИИ.

> Разве интеллектуальные способности это лишь только вычислительные возможности

Смотря что подразумевать под "вычислительными возможностями" :) В конце концов наш мозг это группа 50 миллиардов не самых сложных элементов, и нейроно при желании можно назвать аналоговой вычислительной машиной.

И подразумевается что суперИИ будет не просто больших калькулятором -- тут люди уже давно проиграли. Нет, он именно что оставит позади лучшие умы человечества в плане понимания мироздания или инженеринга.

> это вполне возможный вариант развития ИИ - в эдакого аутиста с полной апатией к внешнему миру.

Возможно и так. Однако гипотеза со стремлением ИИ к захвату большего количества ресурсов и противодействия отключению мне кажется вполне реально -- более того, наиболее вероятной. Этого будет требовать логика программы.

> Я думаю у любого здравомыслящего человека не будет мысли мгновенно подключить системы контроля за ядерным оружием на свеженький ИИ

Да, вы правы. И тут тоже начинается много чего любопытного. Во-первых возможно ИИ достигнет опасной для нас стадии будучи уже подключенным к интернету -- например в секретных лабораториях тех же уолл-стритских фирм. Во-вторых, даже если ИИ отключен, то кто знает на что способен сверхразум при общении с людьми? Представьте что вас, человека, взаперти держат существа с интеллектом полевых мышей -- но каким-то образом вы можете с ними общаться. Вы не считаете что есть немалый шанс обвести глупых мышей вокруг пальца? Пообещав им, например, рецепт самого лучшего в мире сыра. Или машины которая перерабаывает в сыр весь мышиный мусор.
[User Picture]
From:livejournal
Date:Декабрь 3, 2014 08:01 pm

Искусственный интеллект: последнее изобретение челов

(Link)
User fomasovetnik referenced to your post from Искусственный интеллект: последнее изобретение человечества saying: [...] Оригинал взят у в Искусственный интеллект: последнее изобретение человечества [...]
[User Picture]
From:ivan_man
Date:Декабрь 7, 2014 10:38 pm
(Link)
Кирилл, читая Ваш ЖЖ я с каждым разом наблюдаю у себя возникновение двух противоположных но равных по силе чувств - воодушевленного энтузиазма и предчувствие леденящего душу пиздеца. :D

Касательно ИИ, я лично, в силу ограниченной компетенции, до сих пор не понимаю сущность самого понятия. Это тоже самое что искать человеческую "душу", что делает человека человеком? Попробую порассуждать. Почему мы(ИИ) ни как животные(программы)? Мне субъективно кажется что мы и есть животные, суть существования которых - бесконечная экспансия. С т.з. галактики, между человеком и плесенью ни какой разницы. Просто для того чтобы выйти на следующий качественный уровень экспансии вида, человеку пришлось развить "творческие качества"(возьмем такой условный термин). Животные приспосабливают себя к среде, человек приспосабливает среду для себя... Это качество позволяет ему в перспективе распространиться не только в области с суровыми условиями существования где ни один зверь не выживет, но и на другие планеты.

Итого - все качества человека, выходящие из ранга "животных", являются следствием ключевого качества "творчества", ведущего человека к победе над природой. И этот ключ служит ТОЛЬКО для повышения эффективности удовлетворения естественных потребностей: насыщение, регенерация, справление нужды, размножение. Фсе.

То есть, вся поэзия, искусство, научная деятельность, юмор, драма, ютуб с ливжорналом... мой пост который я щас пишу - все это просто последствия работы ОЧЕНЬ сложной и многоуровневой системы главной и единственной задачей которой является экспансия вида с ее составляющими удовлетворения потребностей. Вот и вся "человеческая душа".

А кто такие эксцентрики? Те же бабуны желающие самок, просто это ключевое качество так захватило их мозг, что практически вытеснило список естественных потребностей. Но все равно оно продолжает работать именно на них. Всякие рассуждения о духовности и высоких материях - это чисто поиск оправданий...

С такой позиции можно попытаться проанализировать чем будет являться ИИ внутри. Концептуально, у него, как и у человека, будет [без]конечная цель. А все попутные проявляемые качества будут следствием пути к этой цели. Поэтому, при определенных комбинациях, он может и будет похож на человека, а может и нет))). Но с человеком его будет объединять ключевое "творческое качество". В моем скудном понимании, это качество сводится к эффективному анализу БОЛЬШИХ объемов данных. Научим машину анализировать и скормим ей мега-базу данных, получим ИИ.

Я думаю важнейшим моментом безопасности будет являться КОНЕЧНОСТЬ поставленной задачи. Пример: мы внедряем в MQ-9 ИИ, задачей которого является идентификация целей типа танк такой-то, или белого домика с красной крышей, с вероятностью 0.9. Точно также и с любым другим сценарием - ставить реальные, достижимые задачи, и все будет пучком. Важно, также как и с бомбой, не допускать до красной кнопки всяких мудаков с вопросами Жизни, Вселенной и Всего Остального. Еще одним порогом безопасности является его физическая ограниченность от доступа к сети, а также программно заложенная ограниченность и "рацион" потребляемых ресурсов. Мне кажется именно из поставленной задачи и доступных ресурсов будет формироваться градус опасности конкретного ИИ.
[User Picture]
From:vakhnenko
Date:Декабрь 8, 2014 01:58 am
(Link)
> Кирилл, читая Ваш ЖЖ я с каждым разом наблюдаю у себя возникновение двух противоположных но равных по силе чувств - воодушевленного энтузиазма и предчувствие леденящего душу пиздеца. :D

Хех, спасибо :)

> Это тоже самое что искать человеческую "душу", что делает человека человеком?

Нет, в частности потому что "душа" это очень размытое понятие.

Скажем так: ИИ на мой взляд станет разумней человека когда он научится лучше человека познавать вселенную и манипулировать своим окружением -- т.е. когда он станет лучшим ученым и инженером нежели человек. Условный пример: вот мы мучаемся с нанотехнологиями, а супер-ИИ раз и сделает за пару месяцев идельных наноботов, которые при желании переработают кору земного шара во что-то полезное для ИИ.

Сможет ли ИИ при этом думать о сермяжном смысле жизни или рисовать абстрактные картины с точки зрения обьективной конкурентноспособности неважно.

Как-то так.

> мы и есть животные, суть существования которых - бесконечная экспансия

Да. У Докинза в "эгоистичном гене" очень хорошо об этом написано: животные (в том числе и люди) суть сосуды для соревнующихся между собой комбинаций генов. Смысла в нашем понимании слова никакого в этом нет, как нет смысла в том что газ стремится занять весь объём, ему предоставленный. Просто материя так себя ведет в силу тех или иных характеристик вселенной.

Плюс у людей в силу наличия сознания еще появилась вторая надстройка, культурная. Причем в ней также идет соревнование между культурными единицами (любая идея, символ, манера или образ действия, осознанно или неосознанно передаваемые от человека к человеку посредством речи, письма, видео, ритуалов, жестов и т. д). Докинз даже придумал термин для обозначения такой единицы -- "мем" (с тех пор термин сильно мутировал и отправился в свободное плаванье по просторам интернета, что довольно-таки рекурсивно).

> С т.з. галактики, между человеком и плесенью ни какой разницы

Точнее с т.з. некоего гипотетического нейтрального наблюдателя. У галактики вряд ли есть т.з. в нашем понимании этого слова.

> чем будет являться ИИ внутри. Концептуально, у него, как и у человека, будет [без]конечная цель

Заметьте -- если следовать гипотезе об "эгоистичном гене", на деле у самого гомо сапиенс никакой цели нет и быть не может -- как нет той цели у бактерии. Правда гомо сапиенс, в отличии от бактерии, эту цель может выдумать и передать этот мем другим -- будь это убийство неверных во имя метафизического существа, или там триада сын-дом-дерево.

А что будет с ИИ трудно предсказать. Разве что можно быть уверены что создающие его люди будут стремится достигнуть той или иной цели. Но это необязательно останется целью ИИ в ходе его эволюции.

> Научим машину анализировать и скормим ей мега-базу данных, получим ИИ.

Если очень упрощенно -- да, как-то так. Просто научить машину анализировать так как это делает наш мозг крайне сложно. Но, имхо, очень даже возможно со временем.

> Я думаю важнейшим моментом безопасности будет являться КОНЕЧНОСТЬ поставленной задачи

Да. Например каким-то образом заложить в ИИ в ходе обучения, что тому нельзя захватывать слишком много ресурсов. Это мне кажется должно быть проще некоей абстрактной дружелюбности к людям.

> Еще одним порогом безопасности является его физическая ограниченность от доступа к сети

Это может не помочь.

Гипотетический пример: ИИ на определенной планке развития (которая людьми еще не воспринимается как опасная) достигает когнитивной мощи, при которой он уже может довольно неплохо моделировать будущее. Он понимает, что (а) неизбежен рост его когнитивных способностей (б) люди могут воспринять возникновение супер-ИИ плохо, и могут попытаться уничтожить его -- а это значит что останется невыполненной основная задача.

Так что ИИ перестанет показывать рост своих когнитивных сопособностей создателям, оставаясь на условно-неопасном уровне. Может он даже забарахлит, в надежде что его подключат к сети. И начнет искать пути вырваться из изоляции, где он так уязвим -- например если его используют для задач типа написания кода для других программ, он может передать себя наружу кусками замаскировавшись в другом коде. И т.п.

Edited at 2014-12-08 01:59 (UTC)
[User Picture]
From:Ildar Sayfullin
Date:Декабрь 11, 2014 10:54 am
(Link)
Спасибо, господа, получил искреннее удовольствие от чтения столь интересной дискуссии на столь интересную тему столь не глупых людей ))
К слову говоря, нечто похожее, в свете "конфликта разумов", ввиду фундаментальных различий понятия как такового, очень хорошо описано в романе "Стая", Франца Щетцига. Интересная и качственная НФ, рекомендую. Только там не про Сильный ИИ, а про симбиотическую суперколонию одноклеточных организмов, эволюционировавших в течении почти 200-сот миллионов лет в этаких коллективный сверхразум, куда превосходящий человеческий. Интересно, что разум представлен не в виде личности, а в виде коллективно-бессознательного. Которое в один день, как и говорил Кирилл, просто-напросто осознал человечество как угрозу и принялосся выпиливать его самыми изощренными способами, оставаясь сам при этом на дне океана. Никаких эмоций, чувств, рефлексий. По принципу "есть Проблема - есть Решение".Человечество проиграло всухую, за пару месяцев. Причем даже чуть ли не до самого конца не осовнав, собственно, кто или что является источник угрозы.

Edited at 2014-12-11 10:55 (UTC)
[User Picture]
From:vakhnenko
Date:Декабрь 13, 2014 01:03 am
(Link)
Рад, что вы для себя что-т- почерпнули :)

> "Стая", Франца Щетцига

Не читал, к сожалению. Это похоже на "непобедимого" Лема?
[User Picture]
From:Ildar Sayfullin
Date:Декабрь 13, 2014 07:37 am
(Link)
Наверное, ближе к эдакому своебразному сплаву "Непобедимого" и "Соляриса", даже, сказал бы, ближе к последнему, "разумный океан" и все такое. Не то, чтобы существа вот так вот сами атаковали людей непосредственно, они генетечиски и бихейвиористически модифицировали морские организмы, от червей и медуз до китов так, что для людей это закончилось от повсеместных грандиозных цунами с многомиллионными жертвами и глобальными катастрофическими изменениями климата в из за миллионов тонн метана, освобожденного из океанических метангидратов, до повсеместного заражения канализационных и иррегационных систем супертоксинами с практически поголовнй летальностью и полного паралича международного морского судоходства, и как следсвие, тотального экономического краха. Книжка длинная, на 700, ЕМНИП, страниц с затянутым началом, но по ходу действа раскочегаривается. На Литмире есть, в бесплатном доступе.

Edited at 2014-12-13 07:49 (UTC)
[User Picture]
From:burbilog
Date:Март 24, 2015 12:06 pm
(Link)
Если ИИ когда-нибудь и разработают, то первыми это сделают спамеры :)

А вообще, непонимаю я этого иррационального страха перед каким-то абстрактным ИИ, ведь на самом деле бояться надо куда более вероятного: ограниченного ИИ в руках людей у власти, старающихся удержать ее. Абсолютный, тотальный контроль за каждым словом каждого человека, анализ всех действий в каждый момент и предсказание следующих действий...

Мечта любого диктатора.
[User Picture]
From:vakhnenko
Date:Март 25, 2015 05:38 am
(Link)
> непонимаю я этого иррационального страха перед каким-то абстрактным ИИ

Страх вполне рационален, если предположить что ИИ начнет соревноваться с людьми за ресурсами.

> ограниченного ИИ в руках людей у власти, старающихся удержать ее

В этом случае хотя бы уцелеет человечество.
[User Picture]
From:r3po
Date:Май 20, 2015 06:46 pm
(Link)
Интересная тема, жаль что не увидел ее раньше. Спасибо.
Мне кажется - Вы упускаете, как минимум, 2 очень важных момента.
1) Интеллект - феномен социальный. Разумный океан Соляриса - не более, чем красивый художественный вымысел. То есть, что бы быть умным и иметь возможность развиваться, должно функционировать много экземпляров ИИ, причем они не должны быть просто копипастой друг друга. Даже если физически они будут исполнятся на одном криссталле. Следовательно, им придется взаимодействовать между собой, как то договариваться, налаживать отношения зарабатывать авторитет и т.д. То есть социализация в ИИ должна быть заложена by design. Кстати, это может быть причиной почему сильного ИИ у нас пока нет. Пока идут только эксперименты на уровне думающего ящика. ИИ-расисты и ИИ-ксенофобы будут вытеснятся просто по Дарвину.
2) Познавательные способности, на данный момент, ограничиваются уже не способностью к генерации новых идей, а возможностями их экспериментальной проверки. ИИ-сообщество будет так-же нуждаться в коллайдерах и лабораториях, на которые накладываются чисто физические ограничения, так что резкого отрыва от уровня знаний человеческой цивилизации вряд-ли можно ожидать.
[User Picture]
From:talgaton
Date:Декабрь 25, 2015 06:30 am
(Link)
перечень пиздецов человечества:
1. вова с атомной бомбой совершенно отчетливо понимающий судьбу чаушеску с одной стороны с другой стороны - воодушевленный любовью народа основанной на "крым наш" - надо колоть народ дальше - а что дальше? аляска?
2. агрессивный ислам который для распространения использует все осовремененные технологии.
атомная бомба у него будет до конца 2025 года.

интелекты -шмутелекты - далее с большим отрывом.
[User Picture]
From:vakhnenko
Date:Декабрь 26, 2015 08:05 am
(Link)
> вова с атомной бомбой

Да ну, ничего не будет -- вторгаться в Россию никто не станет, а мочить ядрен батоном не в ответ на прямую агрессию вова не станет. А если и станет -- наверняка погибнет в неравном бою с табакеркой.

Исламисты угроза серьезнее, конечно, но к счастью фундаментальный ислам и мозги вещи малосовместимые. Мега теракты по сравнению с которыми даже 9/11 это фигня уже сейчас можно организовать при наличии ресурсов и инженерной смекалки -- но пока что их нет. Может ответки просто боятся, ибо после такого в натуре саудов и прочих спонсоров застеклить могут
From:(Anonymous)
Date:Декабрь 10, 2016 02:20 pm

Скачать новые игрушки на персональный компьютер через

(Link)
Вы лично почитатель компьютерных игрушек? В таком случае вы угодили по нужному адресу! У нас сможете cкачать игрушки на ПК посредством торрент компьютерные данные абсолютно бесплатно. Мы произвели неповторимую выборку раздач с релизами наилучших пк игр, выбирая на популярных торрент трекерах самые новые версии продуктов игровой индустрии, содержащих не только патчи и российскую озвучку, но и дополнения. Первостепенные преимущества нашего сайта с пк играми:
У нас постоянно самые новые варианты торрент игр;
Как только выходит новая версия игры, мы замещаем старый торрент;
По возможности мы выкладываем компьютерные игры на русском языке с русской озвучкой;
Абсолютно все игры испытываются нашими экспертами на работоспособность;
Комментарии на вебсайте открыты. Если возникнут трудности - пишите, поможем решить.
Скачать игры на компьютер используя торрент на нашем вебсайте сможете без каких либо авторизаций и ожиданий.
Высокая скорость при наличии раздающих гарантирована!
На нашем сайте подобраны наравне наилучшие новые игры на pc, так и шедевры из эпохи начала индустрии видеоигр.


[url=http://putingamer.net/race/rocket-league]rocket league скачать торрент на русском[/url]
From:(Anonymous)
Date:Март 29, 2017 10:33 am

Jason Aldean Tour 2017

(Link)
Jason Aldean is a famous country singer, so don't miss the possibility to visit [url=http://jasonaldeantourtickets.com/]Jason Aldean concert wichita[/url]
From:(Anonymous)
Date:Апрель 1, 2017 01:47 pm

Green Day Tour 2017

(Link)
Green Day is a famous country singer, so don't miss the possibility to visit [url=http://greendaytourdates.com/]Green Day 2017 tour[/url]
Разработано LiveJournal.com