United.
426
Цитируется по Ng, Harada, and Russell, Policy Invariance Under Reward Transformations, а также по разговорам с авторами.
427
Randlov and Alstrom, Learning to Drive a Bicycle Using Reinforcement Learning and Shaping.
428
Рассел рассказал мне, что эта идея появилась из его размышлений в 1990‐х годах о «метаосмыслении» – правильном мышлении о самом процессе мышления. Когда вы играете в игру, например в шахматы, вы побеждаете благодаря ходам, которые делаете. Но именно ваши мысли позволяют выбирать эти правильные ходы. Действительно, иногда мы анализируем партию и думаем: «Ага, я ошибся, потому что запер своего коня. Мне нужно держать его подальше от края доски». Но порой мы мыслим иначе: «Ага, я ошибся, потому что не доверился своим инстинктам и начал сомневаться. Нужно играть более естественно и полагаться на интуицию». Вопрос о том, как начинающий шахматист (или любой ИИ-агент) должен извлекать уроки из самого процесса мышления, кажется куда более важным (и сложным), чем просто обучение правильным ходам. Возможно, здесь может помочь метод формирования навыков.
«Напрашивается очевидный ответ… Если твои расчеты меняют твое мнение о том, какой ход будет хорошим, значит, эти расчеты кажутся целесообразными, – рассуждал Рассел. – И ты можешь поощрять сам процесс вычислений за то, как он меняет ход твоих мыслей».
Он добавляет: «И тут начинается самое сложное. Ты можешь так изменить ход своих мыслей, что найдешь второй по силе ход, и в реальности это окажется даже лучше, чем держать в запасе первоначально выбранный „наилучший“ ход.
Так ты получаешь дополнительную награду. Допустим, ты оценивал ходы: „наилучший“ стоил 50 очков, а второй за ним – 48. И вдруг 48 превращается в 52. Переход от 50 к 52 – это тоже положительное изменение. А что, если ты думал о ходе на 50 очков, а потом понял, что он принесет только 6? Тогда лучшим ходом становится ход на 48 очков – тот, что был на втором месте. Это положительное или отрицательное подкрепление? Казалось бы, ты должен получить положительно подкрепление: ты все обдумал, размышления оказались не напрасными, и ты понял, что первоначальный план плох. Ты спас себя от катастрофы! Ты ведь похвалишь себя за это, так? Получается, ты всегда будешь давать себе положительное подкрепление. Но чему ты в итоге научишься? Не тому, как выигрывать в игру, а тому, как постоянно менять свое мнение.
Значит, во всем этом кроется какая‐то ошибка. Это наталкивает меня на мысль, что нужно организовать эти внутренние псевдонаграды так, чтобы в процессе они приводили к тому же результату, что и объективная истина. Нужно свести баланс». (Интервью автора со Стюартом Расселом, 13 мая 2018.)
429
Andrew Ng, The Future of Robotics and Artificial Intelligence (лекция), 21 мая 2011 года.
430
См. Ng et al., Autonomous Helicopter Flight via Reinforcement Learning, а также Schrage et al., Instrumentation of the Yamaha R‐50/RMAX Helicopter Testbeds for Airloads Identification and Follow-on Research. Последующие работы см. Ng et al., Autonomous Inverted Helicopter Flight via Reinforcement Learning и Abbeel et al., An Application of Reinforcement Learning to Aerobatic Helicopter Flight.
431
Ng, Shaping and Policy Search in Reinforcement Learning. См. также Wiewiora, Potential-Based Shaping and Q-Value Initialization Are Equivalent, где автор утверждает, что возможно использовать формирование навыков для установки первоначального состояния агента, оставив нетронутыми реальные награды, и при этом достичь тех же результатов.
432
Ng, Shaping and Policy Search in Reinforcement Learning. Та же мысль дословно повторяется в работе Ng, Harada, and Russell, Policy Invariance Under Reward Transformations.
433
«Потенциальное поле означает, что, если вы выберете любой путь, возвращающий вас к тому же состоянию, в итоге интеграл v · ds равен нулю». (Интервью автора со Стюартом Расселом, 13 мая 2018.)
434
Рассел С., Норвиг П. Искусственный интеллект: современный подход, 2‐е изд. – Пер. с англ. К. А. Птицына. – М.: Издательский дом «Вильямс», 2006, с. 79.
435
Ng, Harada, and Russell, Policy Invariance Under Reward Transformations.
436
Spignesi, The Woody Allen Companion.
437
Точку зрения эволюционных психологов см. в Al-Shawaf et al., Human Emotions: An Evolutionary Psychological Perspective и Miller, Reconciling Evolutionary Psychology and Ecological Psychology.
438
Интервью автора с Майклом Литтманом, 28 февраля 2018. Статья – Sutton, Learning to Predict by the Methods of Temporal Differences.
439
Ackley and Littman, Interactions Between Learning and Evolution.
440
Системы обучения, которые оптимизируют (или могут оптимизировать) некую «внутреннюю» функцию вознаграждения, – источник беспокойства и активных исследований для многих современных ученых, занимающихся безопасностью ИИ. См. Hubinger et al., Risks from Learned Optimization in Advanced Machine Learning Systems.
441
Интервью автора с Эндрю Барто, 9 мая 2018.
442
См. Singh, Lewis, and Barto, Where Do Rewards Come from?, а также Sorg, Singh, and Lewis, Internal Rewards Mitigate Agent Boundedness.
443
Sorg, Singh, and Lewis, Internal Rewards Mitigate Agent Boundedness. Ответ на этот вопрос «да», но только при очень сильных допущениях. В частности, при условии, что у нашего агента не ограничены время и вычислительная мощность. Это в некотором роде парадокс. В наших же собственных интересах сказать агенту заняться чем‐то другим.
444
Singh et al., On Separating Agent Designer Goals from Agent Goals.
445
Больше информации о проблеме оптимального вознаграждения см. в Sorg, Lewis, and Singh, Reward Design via Online Gradient Ascent, а также в диссертации Сорга на соискание докторской степени The Optimal Reward Problem: Designing Effective Reward for Bounded Agents. Больше информации о современных успехах в изучении оптимальных вознаграждений для агентов обучения с подкреплением см. в Zheng, Oh, and Singh, On Learning Intrinsic Rewards for Policy Gradient Methods.
446
См. Workplace Procrastination Costs British Businesses – 76 Billion a Year, Global Banking & Finance Review, https://www.globalbankingandfinance.com/workplace-procrastination-costs-british-businesses‐76‐billion-a-year/#_ftn1. Более широкий взгляд на стоимость и причины прокрастинации см. в Steel, The Nature of Procrastination.
