Этологический форум  

Вернуться   Этологический форум > Гайд Парк
Имя
Пароль
Справка Пользователи Календарь Поиск Сообщения за день Все разделы прочитаны

Ответ
 
Опции темы Поиск в этой теме Опции просмотра
  #11  
Старый 13.04.2020, 22:55
talash talash вне форума
эрудит
 
Регистрация: 21.01.2010
Адрес: Belarus, Minsk
Сообщения: 2,242
По умолчанию

Цитата:
Сообщение от Alexander B.
Но... по прошествии недели вижу что возможно я обращу детальное внимание на твою дафнию всё-таки рано или поздно(что в бесконечное число раз быстрее, чем думал ранее). Ибо имеющиеся виртуальные пространства в основном заточены под deep learning, что есть тупиковая ветвь imho.

А почему ты считаешь deep learning тупиковой веткой? Вроде же нервная система это нейросеть, обучаемая с подкреплениями.

Цитата:
Сообщение от Alexander B.
Твое пространство мне на первый взгляд нравится, подходящее. Единственная проблема в его малой популярности, соответственно при получении каких-либо результатов, люди будут сомневаться в их чистоте.

Для наглядности всегда можно показывать несколько этапов обучения, типа поведение Дафнии после миллиона квантов времени, после 10 миллионов и т.д. Думаю сомнений не возникнет.

Я сейчас работаю над возможностью запускать несколько Дафний во вселенную и чтобы они друг друга видели.

Затем планирую сделать на Юнити минимального клиента, который коннектится к серверу и кнопками управляет Дафнией. Чтобы юнитисты имели возможность легкого старта для написания нейросети. Для питона тоже бы неплохо сделать минимальный клиент...

Если нужны подробности, чтобы убедиться подойдёт ли эта вселенная для твоих целей, всегда на связи, в том числе голосовой.
Ответить с цитированием
  #12  
Старый 13.04.2020, 23:56
Аватар для Alexander B.
Alexander B. Alexander B. вне форума
Super Moderator
 
Регистрация: 05.06.2006
Сообщения: 1,516
Отправить сообщение для  Alexander B. с помощью ICQ
По умолчанию

Цитата:
Сообщение от talash
А почему ты считаешь deep learning тупиковой веткой? Вроде же нервная система это нейросеть, обучаемая с подкреплениями.
Обучаемая с подкреплениями? в Русском языке мне больше нравится термин обучаемая с учителем. Ну в общем это когда нейросеть тренируют на наборе данных с ответами, а она в результате учится давать ответы в будущем. Должен быть учитель, который правильные ответы изначально поставит.

Во первых не понимаю где ты видел в нейросети дафний или младенца такой вид обучения.
А во вторых энтот их диплернинг и "графы" даже нейросетью с трудом язык поворачивается назвать, скорее уравнения с множеством переменных, где переменные выбираются через другие уравнения.
Ответить с цитированием
  #13  
Старый 14.04.2020, 19:42
talash talash вне форума
эрудит
 
Регистрация: 21.01.2010
Адрес: Belarus, Minsk
Сообщения: 2,242
По умолчанию

Цитата:
Сообщение от Alexander B.
Обучаемая с подкреплениями? в Русском языке мне больше нравится термин обучаемая с учителем. Ну в общем это когда нейросеть тренируют на наборе данных с ответами, а она в результате учится давать ответы в будущем. Должен быть учитель, который правильные ответы изначально поставит.

Во первых не понимаю где ты видел в нейросети дафний или младенца такой вид обучения.
А во вторых энтот их диплернинг и "графы" даже нейросетью с трудом язык поворачивается назвать, скорее уравнения с множеством переменных, где переменные выбираются через другие уравнения.
Это разное:
обучение с учителем link
обучение с подкреплением link

Дафния должна сначала двигаться хаотически, случайно есть крошки. Поедания крошки это подкрепление. Она должна запоминать поведение, приведшее к подкреплению и повторять его постепенно совершенствуя. На словах легко, а как сделать? Затем можно сделать, допустим красные крошки, чтобы были невкусные, то есть отрицательное подкрепление. И Дафния должна будет их огибать.
Ответить с цитированием
  #14  
Старый 15.04.2020, 00:23
Аватар для Alexander B.
Alexander B. Alexander B. вне форума
Super Moderator
 
Регистрация: 05.06.2006
Сообщения: 1,516
Отправить сообщение для  Alexander B. с помощью ICQ
По умолчанию

"поэтому такое обучение является частным случаем обучения с учителем"
В статье про обучение с подкреплением.
Я смотрел как обучение "с подкреплением" реализуют, когда обучают ИИ играть в компьютерные игры. Фактически это чистое обучение с учителем + эволюционные алгоритмы (тысячи повторений).
Я просто не хочу в сортах говна разбираться, так сказать, как по мне это всё "обучение с учителем" в разных формах(что и написано в приведенной цитате из википедии).

Нужно делать обучение без учителя в принципе. Так что-бы в качестве поведенческой цели в ходе всего процесса было само по себе эффективное обучение.

Строим модель окружающего мира, и ведем себя так, что-бы максимально быстро эту модель проверять, улучать, отшлифовывать.
А когда модель будет готова, можно уже и заранее поставленных "целей подкрепления" достигать.
Ответить с цитированием
  #15  
Старый 15.04.2020, 10:24
talash talash вне форума
эрудит
 
Регистрация: 21.01.2010
Адрес: Belarus, Minsk
Сообщения: 2,242
По умолчанию

Цитата:
Сообщение от Alexander B.
Нужно делать обучение без учителя в принципе. Так что-бы в качестве поведенческой цели в ходе всего процесса было само по себе эффективное обучение.

Строим модель окружающего мира, и ведем себя так, что-бы максимально быстро эту модель проверять, улучать, отшлифовывать.
А когда модель будет готова, можно уже и заранее поставленных "целей подкрепления" достигать.
Даже на словах непонятно, что ты хочешь сделать.
Но практика критерий истины, пробуй. Нервная система полностью на клиенте, ему и все карты в руки.
Моя планируемая нервная система наверное будет подходить под категорию "обучение с подкреплением".
Ответить с цитированием
  #16  
Старый 07.05.2020, 01:50
talash talash вне форума
эрудит
 
Регистрация: 21.01.2010
Адрес: Belarus, Minsk
Сообщения: 2,242
По умолчанию

В апреле продолжил:
Этап 2. Сверхбыстрая физика.

1. Теперь сервер поддерживает множество клиентов. Две дафнии впервые увидели друг друга.
2. На сервере реализован TCP/IP протокол для администратора. Он нужен для красивых демонстраций происходящего на сервере на графике Unreal Engine. Сейчас UE4 клиент уже умеет закачивать с сервера состояние вселенной (положение шариков корма), но пока он видит только собственную дафнию, что делают другие дафнии не видно.
3. Разработан минимальный клиент на WinApi, который коннектится к серверу, отображает состояние глаза Дафнии, а также даёт команды моторным нейронам с клавиатуры.
4. Создан ютуб-канал и записан демонстрационный ролик. https://youtu.be/VyoSWdGh6Rg

Сервер https://github.com/talashby/DaphniaServer
Клиент UE4 https://github.com/talashby/Daphnia
Клиент WinApi https://github.com/talashby/DaphniaWinApi

В планах сделать минимальные клиенты на Unity и на Python, для лёгкого старта желающих участвовать в проекте. Далее сам буду разрабатывать нервную систему на WinApi-клиенте.

Преимущества научно-исследовательского проекта Дафния перед другими ИИ-проектами:
- упрощённая физика с чёткими законами
- распараллеливаемость физики

На мой взгляд реальная физика слишком сложна для компьютерного моделирования, как в плане быстродействия, её трудно распараллелить по ядрам, так и в плане качественной реализации. Обычно приходится обходить множество нюансов, что является препятствием для усложнения мира, где существует ИИ.
Ответить с цитированием
  #17  
Старый 02.06.2020, 22:12
Аватар для Alexander B.
Alexander B. Alexander B. вне форума
Super Moderator
 
Регистрация: 05.06.2006
Сообщения: 1,516
Отправить сообщение для  Alexander B. с помощью ICQ
По умолчанию

Привет talash! Проект свой продолжаю активно пилить уже месяц на питоне.
Вступил в стадию когда кажется что вот еще три дня еще и будет первая бета версия, которая, пусть с багами и глюками и зацикливаниями, но будет уже худо-бедно работать.
Стадия эта длится уже неделю....

Кстати вот случайно наткнулся на нечто подобное твоей дафнии, не вдавался в подробности особо, если хочешь зацени конкурентов.
http://aaitestbed.us-west-2.elasticbeanstalk.com/AAI/

Напиши в личку с координатами как сейчас с тобой связаться. Вайбер- ватсап - телеграм предпочтительно, скайп не пользую уже давненьно, но можно откапать если что.
Если я всё-таки до бета версии дойду то нужно будет и в твоем мире дафнии опробовать.
Может просто созвонимся, постараюсь объяснить концепцию, мне будет полезно. Когда объясняешь сам больше понимать начинаешь.

ps назвал, под влиянием твоей дафнии, проект "амеба"

Последний раз редактировалось Alexander B., 02.06.2020 в 22:20.
Ответить с цитированием
  #18  
Старый 03.06.2020, 12:10
talash talash вне форума
эрудит
 
Регистрация: 21.01.2010
Адрес: Belarus, Minsk
Сообщения: 2,242
По умолчанию

Цитата:
Сообщение от Alexander B.
Привет talash! Проект свой продолжаю активно пилить уже месяц на питоне.
Вступил в стадию когда кажется что вот еще три дня еще и будет первая бета версия, которая, пусть с багами и глюками и зацикливаниями, но будет уже худо-бедно работать.
Вау! Рад слышать.
Я сейчас в поездке, сегодня вернусь в свою деревню, скину координаты.
Я уже почти доделал минимального клиента на питоне.
Ответить с цитированием
  #19  
Старый 07.06.2020, 17:04
talash talash вне форума
эрудит
 
Регистрация: 21.01.2010
Адрес: Belarus, Minsk
Сообщения: 2,242
По умолчанию

В мае продолжил:
Этап 2. Сверхбыстрая физика.

1. Демонстрационный клиент теперь умеет графически отображать других дафний.
2. Разработаны минимальные клиенты на Unity и на Питоне для лёгкого старта участия в проекте специалистов в этих платформах. В этих клиентах дафния управляется с клавиатуры кнопками-стрелочками. Задача написать нейросеть и научить дафнию поедать шарики-крошки самостоятельно.
3. На ютуб-канал залит отчёт за май: https://www.youtube.com/watch?v=6j_CDeVwp2s В нём рассказываю про перспективы развития проекта:
В планах найти участников и устроить соревнование дафний. Каждый участник обучает дафнию простому поеданию шариков корма на своём оборудовании. Далее периодически будем запускать полуфинальные сервера, где будут соревноваться дафнии, прошедшие первоначальное обучение. Победители будут попадать на финальный сервер, который будет работать постоянно. План примерный и может меняться в зависимости от обстоятельств.

Сервер https://github.com/talashby/DaphniaServer
Клиент UE4 https://github.com/talashby/Daphnia
Клиент WinApi https://github.com/talashby/DaphniaWinApi
Клиент-Python https://github.com/talashby/DaphniaPython
Клиент-Unity https://github.com/talashby/DaphniaUnity
Ответить с цитированием
  #20  
Старый 07.06.2020, 20:53
Сергей Сергей вне форума
эрудит
 
Регистрация: 20.10.2016
Сообщения: 428
По умолчанию

talash, а дафнии поддаются дрессировке?
Например, какие у нее потребности и как ею можно управлять?
Может быть что-то общее между дрессировкой собак и управлением дафнией?
Ответить с цитированием
Ответ


Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB-коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT +4, время: 04:29.


Русский vBulletin v3.5.1, Copyright ©2000-2020, Jelsoft Enterprises Ltd.
Перевод сделал zCarot