Будущее человечества, догадки и прогнозы

[Alexander B.]

Самообучающийся я имел в виду само-улучшающийся.

[Eldgernon]

Говорят да, льды таят, и это большая проблема... но не такая как вы тут описали.
Если текущее потепление сохранится

Чтобы оценить размер проблемы, нужно учесть еще хотя бы 2 момента.
1. Таяние льдов - это только одно из последствий. Потепление запустит целый комплекс процессов, которые приведут к глобальной перетасовке всех составляющих, пока не будет достигнуто устойчивое равновесное состояние на уже новом уровне.
Перестройка изменит, помимо прочего, воздушные и океанические течения (участвует около сотни "игроков")
Таяние вечной мерзлоты, в свою очередь, запустит процесс освобождения миллионов тонн метана.
Образование жидкой прослойки между ледником и грунтом ускорит процесс сползания в десятки раз.
И т.д. и т.п.
2. Мы способны прогнозировать только ламинарное течение событий. Именно по этой причине в прогнозах пишут «Если текущее потепление сохранится». Но это заведомо не так.
Лучшие из прогнозов добавляют некий коэффициент «ускорения», но они очень осторожные и по большому счету берутся с потолка.
В реальности глобальные потепления (и глобальные замерзания) – это самоускоряющиеся процессы, где возникновение одного фактора провоцирует активацию второго и т.д.
С одной стороны это общеизвестно, с другой – у нас нет инструментов обсчитывать «турбулентные события». Поэтому каждый раз мы читаем примерно такое:
«Результаты нового исследования говорят, что процесс идет быстрее, чем рассчитывали ученые».

Один миллиметр подъема уровня мирового океана в год не сильно заметно. Заметнее может быть изменение морских течений:
Без Гольфстрима Европе будет холодно...

Ну, да. Гольфстрим утонет, а Европа замерзнет. Как это отменяет глобальное потепление?
Тепло Гольфстрима никуда не денется. То, что не досталось Европе, достанется океану.
Кроме того, в Европе было аномально тепло из-за гольфстримовской печки. Сейчас температура станет нормальной, обычной для данных широт.

[Eldgernon]

Может быть, какое-то первое время он будет работать в некотором «безопасном режиме», просто напросто глубоко изучая науку, историю и распространяя знания среди людей.

С глубинным обучением не все так просто.
Первым звоночком стала недавняя новость, облетевшая мировые СМИ:

Американские ученые из центра информационных технологий Принстонского университета совместно с исследователями из Университета Баса доказали, что система искусственного интеллекта (ИИ), обучаясь языку на примере реальных текстов и литературы, может усвоить расовые и гендерные стереотипы.
Как уточняется, помимо формальной структуры языка компьютер способен усваивать и семантические связи.

Казалось бы – эка, невидаль! Ну, усвоит ИИ, что в «семье», где его угораздило родиться, афроамериканцы считаются тупыми, а латиноамериканцы - опасными типчиками.
И что с того? Тоже мне, трагедия!
Но, как известно, первым звоночком дело обычно не кончается.
Мы как-то не задумывались раньше, что в нашем грязном белье может копаться кто-то посторонний. Ну и, как становится сейчас понятно, оказались к этому не совсем готовы.
Да и как было к этому подготовиться?! Переписать все, что было создано за тысячи лет? Пригладить там все так, чтобы не резало посторонний, по наивному чистый взгляд?
Как бы там ни было, сейчас все выглядит так: «не гадали-не ждали», вдруг бах! - экзамен.
«К доске пойдет… А, вот! Давно не вызывали. Человечество!».
Как-то немного неловко сознавать, что прямо сейчас «высокая комиссия» изучает нашу цивилизацию. Как будто ты сам на приеме у врача стоишь со спущенными штанами.
Причем похвастать-то там особо нечем.
Так какие же звоночки нас еще ждут и что еще может усвоить ИИ, перелопатив наши интимные личные архивы?
Не будем ходить далеко, возьмем, например, самую читаемую книгу землян, - Библию.

11 Спустя много времени, когда Моисей вырос, случилось, что он вышел к братьям своим [сынам Израилевым] и увидел тяжкие работы их; и увидел, что Египтянин бьет одного Еврея из братьев его, [сынов Израилевых].
12 Посмотрев туда и сюда и видя, что нет никого, он убил Египтянина и скрыл его в песке. (Ветхий завет, Книга Исход, глава 2)

Моисей, конечно, красавчик. Никакого там аффекта и прочих смягчающих соплей. Спокойненько пробил поляну и пришил.
И вместо того, чтобы в ужасе бежать, осознав содеянное, взялся еще и прикопать его.
Очень поучительная история для нашего малыша ИИ.
Ну, а что же Бог, со своими заповедями «Не убий»? Его реакция, мягко говоря, странная.

Итак пойди: Я пошлю тебя к фараону [царю Египетскому]; и выведи из Египта народ Мой, сынов Израилевых.

Вместо справедливой кары или хотя бы родительских нотаций, он назначает Моисея Избранным, считая его достойным руководить Исходом народа израильтян из Египта.
Итак, что же может усвоить ИИ, прочитав это?
1. Можно убивать. Запрет на убийство не является тотальным, существуют причины, снимающие данный запрет.
2. Можно обманывать. Можно нарушать правовые, этические и другие нормы, если только хорошенько потом скрыть следы и отвести от себя подозрения.
3. Указания на национальности участников конфликта сообщат ИИ, что у людей не все имеют равные права. Бить чужого ноунейма это одно дело, а вот бить своих... В общем в эпоху сингулярности держите себя в руках, я бы не советовал вам по психу бить клавиатуру. Мало ли, что может подумать ИИ.

Причем это все Библия! Наша святыня и образец! А что может почерпнуть для себя ИИ, проглотив все эти тонны текста и видео низкого пошиба?
Не надо быть пророком, чтобы понять – ИИ обязательно усвоит так же и присущую нам систему двойных стандартов. Когда общество постулирует одни правила, а его члены живут совершенно по другим. Когда мы говорим одно, делаем другое, а думаем третье.
Можно сколько угодно талдычить ребенку, что обманывать или ругаться – это плохо. Но ребенок вырастает, впитывает окружающие негласные нормы и начинает ругаться и обманывать, как все остальные. Точно также бесполезно прописывать программные инструкции саморазвивающемуся Интеллекту. Когда он усвоит принцип поиска лазеек, уж он их найдет! И со временем научится обходить любые, составленные нами, «Заповеди».
Будет ли в этом его вина? Нет, конечно. Да и само общество, если разобраться, не причем. Ведь оно - всего лишь отражение суммы характеристик нас - людей, его наполняющих.
И тут возникают вопросы.
А можно ли в принципе воспитать хороший, честный и образцовый машинный Интеллект в насквозь порочном обществе?

[Eldgernon]

Для начала прогноз И.Криштафовича. Они видит четыре сценария:

Сценарий 1-й. ВР поступит так же, как поступал в предыдущие периоды истории. Он создаст новую породу живых существ, превосходящих нас настолько же, насколько мы превосходим других млекопитающих. Человечество постигнет судьба динозавров.
Сценарий 2-й. ВР создаст новую породу живых существ (или живого Существа), но обеспечит параллельное, невраждебное существование новой породы с человечеством.
Сценарий 3-й. Человеческий гений решит проблему и найдёт неограниченный источник хранения рекурсивно возрастающей всемирной памяти.
Впрочем, существует и 4-й Сценарий.
Если человечество осознает нависшую над его существованием угрозу, оно может напрячь свои силы и ... создать Новое Мыслящее Существо (НМС)

Сценарий 3 и 4 оцениваю как крайне маловероятные. Причина банально в цейтноте.
Специфика данного момента в том, что мы не может дать событиям развиваться своим естественным путем. Есть четкий дедлайн.
С другой стороны, далеко не факт, что мы можем по своему желанию «ускориться» в развитии в произвольно выбранной нами области\задачи.
Например, Alexander B писал:

При этом наша этика и поведенческая стабильность остается практически на том же уровне.

Это тоже далеко не факт, но предположим, что именно этот пункт является главным и определяющим для благоприятного для нас сценария в сингулярности.
Допустим, ученые каким-то образом это вычислили и сообщают:
«Нам нужно до 2050 развить свой эмоциональный и социальный интеллект до отметки Х. Тогда мы сможем вложить в ИИ нужные данные и обеспечить благоприятный сценарий событий».
И что дальше? Сможем ли мы ускорить естественный ход событий и вызвать у себя ускоренную эволюцию в этом аспекте? Пройти за 30 лет путь, который не смогли одолеть за последние тысячи лет?

Что касается первых двух сценариев Криштафовича, то у меня получилось похоже.
Классификация по отношению ИИ к нам:

1. Отрицательный, активный. «Враги».
С этим все понятно.

2. Отрицательный, пассивный. «?»
Оставлю пока вакантным

3. Нейтральный. «Ландшафт».
Тут мы для ИИ просто объекты материальной среды. Несмотря на нейтральность, сценарий не самый благоприятный. Например:
"ИИ начинает увеличивать собственную мощность обработки данных путём добавления аппаратных вычислительных мощностей с использованием ассемблерных наноботов.
Ассемблерные наноботы – это крошечные роботы, которые, как в конструкторе ЛЕГО, собирают из атомов окружающей среды любые объекты. А в данном случае – новые аппаратные мощности".

4. Положительный, пассивный. «Заповедник»
Здесь нас предоставляют самим себе. Никакой помощи и никакого вреда. Они учитывают, что мы живые.
Сам ИИ просто исчезнет для нас. Все блага и достижения сингулярного периода ИИ унесет с собой, для своих неведомых целей.
О том, что мы кого-то там создали, мы будем иногда узнавать косвенно.
«Что, астероид, летящий в Землю, внезапно испарился? Это наш сынишка подсуетился, не иначе».
Но есть и хороший момент. Мы сохраним все, что имели на момент Х и при желании сможем повторить попытку, с учетом ошибок.

5. Положительный, активный. «Хоспис»
Мы поступаем на иждивение ИИ.
Он решает все наши проблемы витальности, а заодно подсунет нам новую задачку – чем же заняться бессмертному безработному?

6. Объединение. «Симбиоз»
Мы перейдем в новое качество. Вот здесь, как раз, все прогнозы бессильны.
Не исключено, что не все примут "новый путь".
Эти племена «старообрядцев», в какой-то степени сохранят прежний быт и уклад «досингулярной» жизни.
На каком уровне - зависит от количества "отринувших".

Беседа об ИИ. Интереснейшая беседа и великолепный перевод!

Да, есть интересные моменты. Отвечу позже.

[Сергей]

Eldgernon, Вы себя египтянином не считаете?
"Будто я египтянин,
И со мною и Солнце и зной,
И царапает небо когтями
Легкий Сфинкс, что стоит за спиной.
Будто я...
Будто я..."

Спасибо за Ваше мнение, которое так невзначай я прочел, увидев на страницах этого форума.
Мне еще более понятен фильм Терминатор, который как бы прогнозирует будущее, где Джон Коннор, это Моисей, ведущий людей к светлому будущему.

Узнал недавно о таком понятии как метонимия, поэтому если посмотреть, что нам предлагают расслабиться и получить удовольствие, то все равно ведут. Смысл ведения в том, чтобы привести к заповеднику? Уж тогда к зоопарку, потому, что кто же тогда их кормить будет этих умных людей, которым доверяются такие деньги и будущее.

Джон Коннор с мамой убивали только одного ученого за раз! Это был тот человек который точно должен был сделать что-то опасное. Поэтому если телефон не вызывает рак ну его.

[Eldgernon]

Я хотел бы остановиться на двух интересных проблемах, затронутых в видео.

Цитаты участников:

«Я удивлен, что мы достигли очень небольшого прогресса в понимании, как все мы можем сидеть здесь и испытывать живое, сознательное, единое переживание.
У нас нет вычислительного или иного научного понимания того, как это все работает, но это глубоко связано с будущим ИИ».

«Как нам представить ИИ наши системы ценностей (включая этику), когда мы не в состоянии объяснить их суть даже друг другу?»

Главная мысль в том, что если мы не хотим получить ИИ в виде непредсказуемого аутиста саванта, то должны обеспечить в нем, помимо прочего, эмоциональный и социальный интеллекты.
К этой же задаче мы приходим и с другой стороны.
Набор инструкций – тупиковый путь, какими бы подробными они ни были.
Есть более перспективная идея – заложить в ИИ только сам посыл – «При принятии решений, имитируй, а как сделал бы человек».
Но для этого опять-таки нужно заложить в ИИ эмоциональный и социальный интеллекты.
Если же учесть цитаты, с которых я начал, возникает вопрос:
Возможно ли в принципе за оставшиеся 30 лет пробежать дистанцию от полного непонимания «как это вообще работает?» до готового решения?
Я не уверен, что вопрос можно решить даже если объявить эту проблему всепланетным приоритетом и направить туда все мыслимые ресурсы.
Но ведь пока и этого нет. Только кучка энтузиастов, пытающихся привлечь внимание остальных, очень занятых намного "более важным".

Кроме этого, есть трудности и в самой концепции «имитация человека». Что значит «человек»?
Нас 7,5 млрд разных вариантов. Одну и ту же ситуацию мы и сами-то оцениваем по-разному, спорим, принимаем разные решения.
Как имитировать, извините, собирательный образ?
Есть вариант выбрать за образец одного, самого достойного. Упоминался, например, Иисус.
Но можно быстро убедиться, что в качестве рабочей модели такой образец не жизнеспособен.
Он не сможет защитить нас при угрозе, да и сам Иисус достаточно быстро плохо кончил.
Так что идея с имитацией мне понравилась, но как ее реализовать вариантов не вижу.

Вторая проблема, затронутая в видео – рекурсия. В видео озвучен один из простеньких вариантов этой проблемы:
«Сколько должен думать ИИ, перед тем, как ответить?»
Подразумевается, что если вопрос достаточно сложный, а ответственность принятие решения максимальна, то как тут решить:
«взвесить все еще раз или пора уже дать ответ, пусть не идеальный?»
В какой момент прервать свои бесконечные оценки ситуации?
Ведь вроде же каждый новый цикл раздумий делает оценку более взвешенной. И это вроде разумно. Так где граница между "разумно" и "неоправданно долго"?

Проблема бесконечной рекурсии так же маячит и в сценариях с самоабгрейдом.
При постановке сложной задачи возникает такой парадокс.
Зачем заниматься решением задачи сейчас, если это время можно использовать на увеличение своего потенциала, а уже потом решить ту же задачу, но на порядки быстрее?!
Проблема в том, что после первого «цикла» встанет точно такая же дилемма: решать отложенную задачу или установить еще пару «модулей»?
И так далее до бесконечности. Ибо второе всегда будет оказываться эффективнее первого.
Вместо помощника мы получим зацикленного на росте исполина.
Исполина, который не будет успевать заниматься ничем, кроме увеличения собственной мощи.
Исполина, который так никогда и не воспользуется своей мощью…

[Иван]

Сообщение от Jabuty

Беседа об ИИ. Интереснейшая беседа и великолепный перевод!
https://www.youtube.com/watch?v=lYJCEHEf3pA

Да, интересное видео, спасибо!
Мне понравилось определение, которое дал ИИ сотрудник Майкрософт. С его слов, "ИИ - это научные исследования вычислительных принципов, стоящих за мышлением и разумным поведением" (13:22).
Коротко и ясно, никакой мистики

Сообщение от Eldgernon

Главная мысль в том, что если мы не хотим получить ИИ в виде непредсказуемого аутиста саванта, то должны обеспечить в нем, помимо прочего, эмоциональный и социальный интеллекты.
К этой же задаче мы приходим и с другой стороны.
Набор инструкций – тупиковый путь, какими бы подробными они ни были.
Есть более перспективная идея – заложить в ИИ только сам посыл – «При принятии решений, имитируй, а как сделал бы человек».
...
Вторая проблема, затронутая в видео – рекурсия. В видео озвучен один из простеньких вариантов этой проблемы:
«Сколько должен думать ИИ, перед тем, как ответить?»
Подразумевается, что если вопрос достаточно сложный, а ответственность принятие решения максимальна, то как тут решить:
«взвесить все еще раз или пора уже дать ответ, пусть не идеальный?»
В какой момент прервать свои бесконечные оценки ситуации?

Из нашего обсуждения уже начала вырисовываться общая канва проблемы
И возможно, эту проблему можно сформулировать так: люди боятся потери управляемости ИИ. Иначе говоря, общее, что мне удалось уловить из наших комментариев - это страх перед тем, что ИИ станет неуправляемым и будет творить то, что ему заблагорассудится.

Думаю, что ИИ станет таким, каким его спроектируют люди. И самое худшее, что люди могли бы сделать, это спроектировать ИИ похожим на себя. Если у них хватит "ума" это сделать, то возможны все те негативные сценарии, которые мы обсуждали в этой теме.
Но все же считаю такой вариант развития событий маловероятным. Потому что это будет похоже на поведение инженеров, которые сделали атомную бомбу и затем сбросили ее на себя. В истории такого пока (к счастью!) не было. И это внушает некий оптимизм

[Сергей]

В моем понимании Windows в который устанавливают программы, это и есть ИИ.
А если ИИ сам ищет и устанавливает себе программы, то это самообучающийся ИИ.

Вот только, если компьютер, это модель мышления, то что тогда в мышлении такого есть, что есть в ютьюбе? Фантазмы?

[Сергей]

КОНЕЦ ПРИВЫЧНОГО МИРА ЧЕРЕЗ 11 ЛЕТ. АШМАНОВ В ПОЛИТКАФЕ!
https://www.youtube.com/watch?v=Ixv3-FnoHrc

Заголовок скопировал.
С 23 минуты говорится о том, что технологии, это новая религия.

[foxy]

Все гораздо прозаичней. "ВР" в виде так называемой "мировой элиты" (которая вовсе не с экономическим, а с биологическим образованием, кстати) уже устроил глобальное межрасовое, межэтническое и межкультурное смешение. А также тотальное уничтожение традиционных культур. Испытаны технологии массовой стерилизации (через массовые прививки, например). Давно и успешно применяются технологии массового подавления репродукции. Это уже свершившийся факт. Остальное легко вычисляется. "ВР", который бросил человеческий материал в глобальный котел и перемешал - выловит и поместит в метрополии самые жирные кусочки. Остальное Человечество частично по разным странным причинам вымрет. Частично - быстро деградирует в полном соответствии со стандартными итогами межпородного скрещивания, известными любому зоотехнику. И в конце концов малочисленные туповатые счастливые метисы будут мирно пасти экологически чистых баранов на цветущих лугах и окучивать потаты на зеленой планете. Ну и килограммами кушать антидепрессанты под чутким руководством "мудрого ВР", спасшего планету от гибельного перенаселения и уничтожения в процессе группового отбора (в простонародье войнах).

Тот, кто это все понял и пристроит свое потомство в касте необрахманов - победит в естественном отборе. Но это будут лишь единицы, там и своих хватает. Остальные разным образом вымрут или составят касту неонеприкасаемых. Простой переезд в метрополию - лишь уменьшит репродуктивный успех, так как там выше конкуренция и хуже стартовые условия.

Альтернативный вариант - организация на периферии культуры, способной справиться с "ВР".