новых ожиданий… мы можем найти ключ к симуляции интеллектуальной мотивации». См. Minsky,
Steps Toward Artificial Intelligence. 491
См. Sutton, Integrated Architectures for Learning, Planning, and Reacting Based on Approximating Dynamic Programming и Reinforcement Learning Architectures for Animats. Лесли Пэк Кэлблинг из Массачусетского технологического института разработала подобный метод, основанный на идее измерения «доверительных интервалов» вознаграждения за определенные действия; см. Kaelbling, Learning in Embedded Systems. Чем шире доверительный интервал, тем сильнее не уверен агент в своем действии; идеей Кэлблинг было вознаграждать агента, когда он делает вещи, в которых наиболее не уверен. См. также работу Strehl and Littman, An Analysis of Model-Based Interval Estimation for Markov Decision Processes, следующую в том же ключе.
492
Berlyne, Conflict, Arousal, and Curiosity.
493
Если в каждой клетке может быть Х, О или пусто, это дает верхнюю граничную оценку количества вариантов в 93 или 19 683. Действительное количество, разумеется, может быть меньше, так как некоторые позиции невозможны (например, на доске не может быть сразу 9 крестиков).
494
Bellemare et al., Unifying Count- Based Exploration and Intrinsic Motivation. Работа отчасти вдохновлена статьей Strehl and Littman, An Analysis of Model-Based Interval Estimation for Markov Decision Processes. См. также последовавшую работу Ostrovski et al., Count-Based Exploration with Neural Density Models. Информацию о похожем подходе, использующем функции хеширования, см. в Tang et al., # Exploration. О другом подобном подходе, использующем экземпляры моделей, см. Fu, Co-Reyes, and Levine, EX2.
495
Marc G. Bellemare, The Role of Density Models in Reinforcement Learning (лекция), DeepHack.RL, 9 февраля 2017.
496
В переходе от вероятности к псевдоподсчетам существует один существенный нюанс. Больше об этом см. в Bellemare et al., Unifying Count-Based Exploration and Intrinsic Motivation.
497
Berlyne, Conflict, Arousal, and Curiosity.
498
Gopnik, Explanation as Orgasm and the Drive for Causal Knowledge.
499
Компьютерную точку зрения о разнице между новизной и удивлением можно найти в Barto, Mirolli, and Baldassarre, Novelty or Surprise?
500
Schulz and Bonawitz, Serious Fun.
501
Curiosity and Learning: The Skill of Critical Thinking, Институт семьи и работы.
502
Ellen Galinsky, Give the Gift of Curiosity for the Holidays— Lessons from Laura Schulz, https://www.huffpost.com/entry/give-the-gift-of-curiosit_n_1157991. Более исчерпывающий обзор последней научной литературы по теме см. в Schulz, Infants Explore the Unexpected.
503
Bonawitz et al., Children Balance Theories and Evidence in Exploration, Explanation, and Learning.
504
Stahl and Feigenson, Observing the Unexpected Enhances Infants’ Learning and Exploration.
505
Johns Hopkins University Researchers: Babies Learn from Surprises, 2 апреля 2015 года.
506
Berlyne, Conflict, Arousal, and Curiosity. Берлайна вдохновила работа Shaw et al., A Command Structure for Complex Information Processing.
507
Schmidhuber, Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990–2010).
508
Jurgen Schmidhuber, Universal AI and a Formal Theory of Fun (лекция), Зимняя конференция по искусственному интеллекту 2011 года в Оксфордском университете.
509
Schmidhuber, Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990–2010).
510
Напряжение между этими двумя составляющими идеально иллюстрирует концепция инь и ян, которую Джеймс Карс из Нью-Йоркского университета описывает через понятия «конечных» и «бесконечных» игр. Конечную игру ведут для того, чтобы достичь финального состояния равновесия. Бесконечную – до тех пор, пока накопленный игровой опыт позволяет ее продолжать. В конечной игре игрок действует против неожиданностей, а в бесконечной – ради них. По словам Карса: «Неожиданности заставляют конечную игру завершиться, и они же являются причиной, по которой продолжается бесконечная».
Это напряжение, возникающее между двумя фундаментальными стремлениями – навстречу неожиданностям и прочь от них, – среди других отмечал и знаменитый мотивационный спикер Тони Роббинс. Он развивал эту мысль так: «Я полагаю, что у человека есть шесть потребностей… Позвольте рассказать вам о них. Первая – это определенность… И хотя все мы стремимся к ней по-разному, подумайте: если мы будем в чем‐то абсолютно уверены, что мы получим? Что вы чувствуете, когда все предрешено? Вы точно знаете, что случится, когда случится и как именно. Что вы тогда ощутите? Скуку. Так что Господь в своей безграничной милости дал нам вторую потребность – потребность в неопределенности. Нам необходимо разнообразие. Мы хотим удивляться». Tony Robbins, Why We Do What We Do (лекция), февраль 2006, Монтерей, Канада, https://www.ted.com/talks/tony_robbins_asks_why_we_do_what_we_do.)
Люди явно подвержены обоим этим стимулам. И, пожалуй, неслучайно, что все эффективные универсальные агенты обучения с подкреплением – будь то живые существа или машины – тоже ими обладают.
511
Модель внутреннего любопытства в действительности немного тоньше и сложнее, потому что она разработана исключительно для предсказания контролируемых пользователем аспектов экрана, для которых используется другая модель «обратной динамики». Все детали см. в Pathak et al., Curiosity-Driven Exploration by Self-Supervised Prediction. Некоторые другие связанные подходы, стимулирующие исследование, вознаграждая «накопление информации», см. в Schmidhuber, Curious Model-Building Control Systems, Stadie, Levine, and Abbeel, Incentivizing Exploration in Reinforcement Learning with Deep Predictive Models и Houthooft et al., VIME.
512
Burda et al., Large-Scale Study of Curiosity-Driven Learning.
513
См. Burda et al., Exploration by Random Network Distillation.
514
Отметим, что появившаяся в то же время статья Choi et al., Contingency-Aware Exploration in Reinforcement Learning исследователей из Мичиганского университета и компании Google Brain также сообщает о прорыве в Montezuma’s Revenge при использовании основанного на новизне подхода к исследованию.
515
В течение нескольких недель после объявления OpenAI команда из Uber AI Labs объявила о создании семейства алгоритмов, получившего название Go-Explore, где сохранение списка состояний «новизны» (в виде зернистых изображений экрана с низким разрешением) для приоритета повторных посещений позволило пройти первый уровень Montezuma’s Revenge на 65 % быстрее. См. пресс-релиз на https://eng.uber.com/go-explore/, а также статью Ecoffet et al., Go-Explore. Используя те же самые
