Проект “Дафния”. (Нейросети)

[talash]

Сообщение от Alexander B.

Но... по прошествии недели вижу что возможно я обращу детальное внимание на твою дафнию всё-таки рано или поздно(что в бесконечное число раз быстрее, чем думал ранее). Ибо имеющиеся виртуальные пространства в основном заточены под deep learning, что есть тупиковая ветвь imho.

А почему ты считаешь deep learning тупиковой веткой? Вроде же нервная система это нейросеть, обучаемая с подкреплениями.

Сообщение от Alexander B.

Твое пространство мне на первый взгляд нравится, подходящее. Единственная проблема в его малой популярности, соответственно при получении каких-либо результатов, люди будут сомневаться в их чистоте.

Для наглядности всегда можно показывать несколько этапов обучения, типа поведение Дафнии после миллиона квантов времени, после 10 миллионов и т.д. Думаю сомнений не возникнет.

Я сейчас работаю над возможностью запускать несколько Дафний во вселенную и чтобы они друг друга видели.

Затем планирую сделать на Юнити минимального клиента, который коннектится к серверу и кнопками управляет Дафнией. Чтобы юнитисты имели возможность легкого старта для написания нейросети. Для питона тоже бы неплохо сделать минимальный клиент...

Если нужны подробности, чтобы убедиться подойдёт ли эта вселенная для твоих целей, всегда на связи, в том числе голосовой.

[Alexander B.]

Сообщение от talash

А почему ты считаешь deep learning тупиковой веткой? Вроде же нервная система это нейросеть, обучаемая с подкреплениями.

Обучаемая с подкреплениями? в Русском языке мне больше нравится термин обучаемая с учителем. Ну в общем это когда нейросеть тренируют на наборе данных с ответами, а она в результате учится давать ответы в будущем. Должен быть учитель, который правильные ответы изначально поставит.

Во первых не понимаю где ты видел в нейросети дафний или младенца такой вид обучения.
А во вторых энтот их диплернинг и "графы" даже нейросетью с трудом язык поворачивается назвать, скорее уравнения с множеством переменных, где переменные выбираются через другие уравнения.

[talash]

Сообщение от Alexander B.

Обучаемая с подкреплениями? в Русском языке мне больше нравится термин обучаемая с учителем. Ну в общем это когда нейросеть тренируют на наборе данных с ответами, а она в результате учится давать ответы в будущем. Должен быть учитель, который правильные ответы изначально поставит.

Во первых не понимаю где ты видел в нейросети дафний или младенца такой вид обучения.
А во вторых энтот их диплернинг и "графы" даже нейросетью с трудом язык поворачивается назвать, скорее уравнения с множеством переменных, где переменные выбираются через другие уравнения.

Это разное:
обучение с учителем link
обучение с подкреплением link

Дафния должна сначала двигаться хаотически, случайно есть крошки. Поедания крошки это подкрепление. Она должна запоминать поведение, приведшее к подкреплению и повторять его постепенно совершенствуя. На словах легко, а как сделать? Затем можно сделать, допустим красные крошки, чтобы были невкусные, то есть отрицательное подкрепление. И Дафния должна будет их огибать.

[Alexander B.]

"поэтому такое обучение является частным случаем обучения с учителем"
В статье про обучение с подкреплением.
Я смотрел как обучение "с подкреплением" реализуют, когда обучают ИИ играть в компьютерные игры. Фактически это чистое обучение с учителем + эволюционные алгоритмы (тысячи повторений).
Я просто не хочу в сортах говна разбираться, так сказать, как по мне это всё "обучение с учителем" в разных формах(что и написано в приведенной цитате из википедии).

Нужно делать обучение без учителя в принципе. Так что-бы в качестве поведенческой цели в ходе всего процесса было само по себе эффективное обучение.

Строим модель окружающего мира, и ведем себя так, что-бы максимально быстро эту модель проверять, улучать, отшлифовывать.
А когда модель будет готова, можно уже и заранее поставленных "целей подкрепления" достигать.

[talash]

Сообщение от Alexander B.

Нужно делать обучение без учителя в принципе. Так что-бы в качестве поведенческой цели в ходе всего процесса было само по себе эффективное обучение.

Строим модель окружающего мира, и ведем себя так, что-бы максимально быстро эту модель проверять, улучать, отшлифовывать.
А когда модель будет готова, можно уже и заранее поставленных "целей подкрепления" достигать.

Даже на словах непонятно, что ты хочешь сделать.
Но практика критерий истины, пробуй. Нервная система полностью на клиенте, ему и все карты в руки.
Моя планируемая нервная система наверное будет подходить под категорию "обучение с подкреплением".

[talash]

В апреле продолжил:
Этап 2. Сверхбыстрая физика.

1. Теперь сервер поддерживает множество клиентов. Две дафнии впервые увидели друг друга.
2. На сервере реализован TCP/IP протокол для администратора. Он нужен для красивых демонстраций происходящего на сервере на графике Unreal Engine. Сейчас UE4 клиент уже умеет закачивать с сервера состояние вселенной (положение шариков корма), но пока он видит только собственную дафнию, что делают другие дафнии не видно.
3. Разработан минимальный клиент на WinApi, который коннектится к серверу, отображает состояние глаза Дафнии, а также даёт команды моторным нейронам с клавиатуры.
4. Создан ютуб-канал и записан демонстрационный ролик. https://youtu.be/VyoSWdGh6Rg

Сервер https://github.com/talashby/DaphniaServer
Клиент UE4 https://github.com/talashby/Daphnia
Клиент WinApi https://github.com/talashby/DaphniaWinApi

В планах сделать минимальные клиенты на Unity и на Python, для лёгкого старта желающих участвовать в проекте. Далее сам буду разрабатывать нервную систему на WinApi-клиенте.

Преимущества научно-исследовательского проекта Дафния перед другими ИИ-проектами:
- упрощённая физика с чёткими законами
- распараллеливаемость физики

На мой взгляд реальная физика слишком сложна для компьютерного моделирования, как в плане быстродействия, её трудно распараллелить по ядрам, так и в плане качественной реализации. Обычно приходится обходить множество нюансов, что является препятствием для усложнения мира, где существует ИИ.

[Alexander B.]

Привет talash! Проект свой продолжаю активно пилить уже месяц на питоне.
Вступил в стадию когда кажется что вот еще три дня еще и будет первая бета версия, которая, пусть с багами и глюками и зацикливаниями, но будет уже худо-бедно работать.
Стадия эта длится уже неделю....

Кстати вот случайно наткнулся на нечто подобное твоей дафнии, не вдавался в подробности особо, если хочешь зацени конкурентов.
http://aaitestbed.us-west-2.elasticbeanstalk.com/AAI/

Напиши в личку с координатами как сейчас с тобой связаться. Вайбер- ватсап - телеграм предпочтительно, скайп не пользую уже давненьно, но можно откапать если что.
Если я всё-таки до бета версии дойду то нужно будет и в твоем мире дафнии опробовать.
Может просто созвонимся, постараюсь объяснить концепцию, мне будет полезно. Когда объясняешь сам больше понимать начинаешь.

ps назвал, под влиянием твоей дафнии, проект "амеба"

[talash]

Сообщение от Alexander B.

Привет talash! Проект свой продолжаю активно пилить уже месяц на питоне.
Вступил в стадию когда кажется что вот еще три дня еще и будет первая бета версия, которая, пусть с багами и глюками и зацикливаниями, но будет уже худо-бедно работать.

Вау! Рад слышать.
Я сейчас в поездке, сегодня вернусь в свою деревню, скину координаты.
Я уже почти доделал минимального клиента на питоне.

[talash]

В мае продолжил:
Этап 2. Сверхбыстрая физика.

1. Демонстрационный клиент теперь умеет графически отображать других дафний.
2. Разработаны минимальные клиенты на Unity и на Питоне для лёгкого старта участия в проекте специалистов в этих платформах. В этих клиентах дафния управляется с клавиатуры кнопками-стрелочками. Задача написать нейросеть и научить дафнию поедать шарики-крошки самостоятельно.
3. На ютуб-канал залит отчёт за май: https://www.youtube.com/watch?v=6j_CDeVwp2s В нём рассказываю про перспективы развития проекта:
В планах найти участников и устроить соревнование дафний. Каждый участник обучает дафнию простому поеданию шариков корма на своём оборудовании. Далее периодически будем запускать полуфинальные сервера, где будут соревноваться дафнии, прошедшие первоначальное обучение. Победители будут попадать на финальный сервер, который будет работать постоянно. План примерный и может меняться в зависимости от обстоятельств.

Сервер https://github.com/talashby/DaphniaServer
Клиент UE4 https://github.com/talashby/Daphnia
Клиент WinApi https://github.com/talashby/DaphniaWinApi
Клиент-Python https://github.com/talashby/DaphniaPython
Клиент-Unity https://github.com/talashby/DaphniaUnity

[Сергей]

talash, а дафнии поддаются дрессировке?
Например, какие у нее потребности и как ею можно управлять?
Может быть что-то общее между дрессировкой собак и управлением дафнией?