запрограммированные вручную знания людей об игре, агент сумел пройти все уровни сотни раз подряд, набрав в процессе миллионы очков. Достоверность некоторых из этих результатов вызвала разногласия – см. обсуждение в статье Alex Irpan,
Quick Opinions on Go-Explore, Sorta Insightful, https://www.alexirpan.com/2018/11/27/go-explore.html. Пресс-релиз самой команды позднее был дополнен некоторыми из перечисленных в статье мнениями, а также другими точками зрения на проблему.
516
Ostrovski et al., Count-Based Exploration with Neural Density Models.
517
Больше информации об обсуждениях этой темы см. в Ecoffet et al., Go-Explore.
518
Burda et al., Large-Scale Study of Curiosity-Driven Learning.
519
Исключение – игры со сложной анимацией смерти игрока. Агент умирает, чтобы посмотреть на нее. (Юрий Бурда в личной переписке с автором, 9 января 2019.)
520
Юрий Бурда в личной переписке с автором, 9 января 2019.
521
Singh, Lewis, and Barto, Where Do Rewards Come From?
522
Там же. Больше информации см. в Oudeyer and Kaplan, What Is Intrinsic Motivation?
523
По этим причинам исследователи экспериментировали с так называемыми «залипающими действиями», когда, функционируя произвольно, агент вынужден повторять нажатие последней клавиши в одном кадре. Это альтернативный источник вариации эпсилон-жадных действий, где агент нажимает случайные клавиши в произвольно выбранное время. Таким образом, свойственная людям хаотичность, с их неидеальными реакциями, моделируется точнее. Агенту проще добиться таких действий, как длинный прыжок – долгое нажатие клавиши. См. Machado et al., Revisiting the Arcade Learning Environment.
524
Более ранние работы по теме см. Malone, What Makes Computer Games Fun? и Toward a Theory of Intrinsically Motivating Instruction, а также Malone and Lepper, Making Learning Fun.
525
Хофштадтер Д. Гёдель, Эшер, Бах: эта бесконечная гирлянда = Gödel, Escher, Bach: an Eternal Golden Braid. – Пер. М. Эскиной. – Самара: Бахрах-М, 2001, с. 596.
526
Каспаров Гарри Кимович – иностранный агент, содержащийся в реестре иностранных агентов. – Прим. ред.
527
Orseau, Lattimore, and Hutter, Universal Knowledge-Seeking Agents for Stochastic Environments.
528
См. Orseau, Universal Knowledge-Seeking Agents. Как позднее выяснилось в работе Orseau, Lattimore, and Hutter, Universal Knowledge-Seeking Agents for Stochastic Environments, избавить агента от тяготения к хаотичности можно, если он на фундаментальном уровне поймет, что мир состоит из случайностей, что сделает его «устойчивым к неинформативному шуму».
529
Skinner, Reinforcement Today.
530
См. Kakade and Dayan, Dopamine, где предлагается основанная на новизне интерпретация, явно заимствованная из литературы по обучению с подкреплением, чтобы объяснить, почему стремление к новизне может быть полезно для организмов. См. также Barto, Mirolli, and Baldassarre, Novelty or Surprise?, где приводится основанная на удивлении интерпретация этих результатов. Обзор см. в Niv, Reinforcement Learning in the Brain, автор которого отмечает: «Давно известно, что новые стимулы вызывают фазовые всплески в дофаминовых нейронах». Экспериментальную работу по новизне при принятии решений у людей см. Wittmann et al., Striatal Activity Underlies Novelty-Based Choice in Humans. Более современные работы по унификации предсказывающей вознаграждение ошибки и удивлении в функционировании дофамина см. в Gardner, Schoenbaum, and Gershman, Rethinking Dopamine as Generalized Prediction Error.
531
Интервью автора с Дипаком Патаком, 28 марта 2018.
532
Интервью автора с Марком Беллемаре, 28 февраля 2019.
533
Интервью автора с Лорен Орсо, 22 июня 2018.
534
Интервью автора с Лорен Орсо, 22 июня 2018.
535
Ring and Orseau, Delusion, Survival, and Intelligent Agents.
536
Платон. Протагор // Собр. соч. в 4‐х томах. – Том 1. – Пер. Вл. С. Соловьева. – М.: Мысль, 1990. В тексте Платона Сократ говорит эти слова Протагору в вопросительной форме, но дает понять, что это действительно его точка зрения.
537
Egan, Axiomatic.
538
Интервью Сары Лэйси с Илоном Маском A Fireside Chat with Elon Musk, Санта-Моника, 12 июля 2012 года, https://pando.com/2012/07/12/pandomonthlypresents-a-fireside-chat-with-elon-musk/. Автомобиль не только не был застрахован, так еще и Питер Тиль не пристегнул ремень. «Чудо, что никто из нас не пострадал», – сказал Тиль. См. Dowd, Peter Thiel, Trump’s Tech Pal, Explains Himself.
539
Этот вопрос очень подробно обсуждается в Visalberghi and Fragaszy, Do Monkeys Ape?
540
Romanes, Animal Intelligence.
541
Visalberghi and Fragaszy, Do Monkeys Ape? См. также Visalberghi and Fragaszy, ‘Do Monkeys Ape?’ Ten Years After. Отмечу, что работа Ferrari et al., Neonatal Imitation in Rhesus Macaques, где имеются свидетельства подражания у макак, представляет «первый известный нам подробный анализ неонатальной имитации у видов приматов, не относящихся к человекообразным приматам».
542
Tomasello, Do Apes Ape? См. также Whiten et al., Emulation, Imitation, Over-Imitation and the Scope of Culture for Child and Chimpanzee, авторы которой стремятся произвести переоценку этой идеи.
543
Хотя супруги Келлог с осторожностью говорили о причинах, по которым прервали свой эксперимент, ходили слухи, что главным поводом стало отсутствие у Дональда человеческой речи. См. Benjamin and Bruce, From Bottle-Fed Chimp to Bottlenose Dolphin.
544
Meltzoff and Moore, Imitation of Facial and Manual Gestures by Human Neonates и Meltzoff and Moore, Newborn Infants Imitate Adult Facial Gestures. Отмечу, что эти результаты недавно стали выглядеть противоречивыми. Например, см. Oostenbroek et al., Comprehensive Longitudinal Study Challenges the Existence of Neonatal Imitation in Humans. Но см. также и встречные аргументы в Meltzoff et al., Re-examination of Oostenbroek et al. (2016).
545
Интервью автора с Элисон Гопник, 19 сентября 2018.
546
Haggbloom et al., The 100 Most Eminent Psychologists of the 20th Century.
547
Piaget, The Construction of Reality in the Child. Впервые опубликована под заголовком La construction du reel chez l’enfant в 1937 году.
