Side Effects Using Stepwise Relative Reachability. Для Краковны помещение проблемы в рамки «побочных эффектов», а не воздействия самого по себе, уничтожает по крайней мере один из парадоксов. «Если робот несет коробки и врезается в вазу, – говорит она, – разлетевшаяся на осколки ваза – это побочный эффект, потому что робот с легкостью мог ее обойти. С другой стороны, робот-повар должен разбить яйца для того, чтобы приготовить омлет, так что разбитые яйца нельзя назвать побочным эффектом». См. также Victoria Krakovna,
Measuring and Avoiding Side Effects Using Relative Reachability, 5 июня 2018, https://vkrakovna.wordpress.com/2018/06/05/measuring-and-avoiding-side-effects-using-relative-reachability/.
746
Leike et al., AI Safety Gridworlds.
747
Интервью автора с Викторией Краковной, 8 декабря 2017.
748
Идея поэтапных параметров была предложена Александром Тернером на https://www.alignmentforum.org/posts/DvmhXysefEyEvXuXS/overcomingclinginess-in-impact-measures. Идея относительной достижимости исследовалась в статьях Krakovna et al., Penalizing Side Effects Using Stepwise Relative Reachability, Krakovna et al., Designing Agent Incentives to Avoid Side Effects, Deep-Mind Safety Research (блог), https://medium.com/@deepmindsafetyresearch/designing-agent-incentives-to-avoid-side-effects-e1ac80ea6107.
749
Turner, Hadfield-Menell, and Tadepalli, Conservative Agency via Attainable Utility Preservation. См. также последовательность Тернера Reframing Impact: https://www.alignmentforum.org/s/7CdoznhJaLEKHwvJW и продолжение обсуждения в его Towards a New Impact Measure, https://www.alignmentforum.org/posts/yEa7kwoMpsBgaBCgb/towards-a-new-impact-measure. Тернер пишет: «У меня есть теория, что сохранение достижимой полезности, возможно, сработает для продвинутых агентов не из-за того, что содержание достижимого набора подсистем в действительности имеет значение, а потому что там существует валюта достижения общей полезности – мощность». См. Turner, Optimal Farsighted Agents Tend to Seek Power. Больше о понятии мощности в контексте безопасности ИИ, в том числе информационно-теоретическую оценку «наделения полномочиями», см. в статье Amodei et al., Concrete Problems in AI Safety, которая, в свою очередь, ссылается на Salge, Glackin, and Polani, Empowerment: An Introduction и Mohamed and Rezende, Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning.
750
Интервью автора с Александром Тернером, 11 июля 2019.
751
Wiener, Some Moral and Technical Consequences of Automation.
752
Согласно Полу Кристиано, «возможность внесения правок» как основное положение безопасности ИИ началось с Института исследования машинного интеллекта Элиезера Юдковского, а само название ввел в оборот Роберт Майлс. См. Christiano, Corrigibility, https://ai-alignment.com/corrigibility‐3039e668638.
753
Dadich, Ito, and Obama, Barack Obama, Neural Nets, Self-Driving Cars, and the Future of the World.
754
Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.
755
Turing, Can Digital Computers Think?
756
Рассел С. Совместимость. Рассел сформулировал эту проблему ранее, но другими словами в статье Should We Fear Supersmart Robots? За добрый десяток лет до Рассела Стив Омохундро в The Basic AI Drives отметил, что «почти все системы [будут] защищать свои служебные программы от изменений».
757
Soares et al., Corrigibility. См. также связанную работу Armstrong, Motivated Value Selection for Artificial Agents. Другие подходы к интересным проблемам, возникающим, когда агентов ИИ пытаются изменить или прерывают, см. Orseau and Armstrong, Safely Interruptible Agents и Riedl and Harrison, Enter the Matrix. Исследования роботов, которые действительно просили людей их не выключать, и о том, соглашались ли люди на их просьбу, см. Horstmann et al., Do a Robot’s Social Skills and Its Objection Discourage Interactants from Switching the Robot Off?
758
См. работу Nate Soares et al., Corrigibility, презентация на конференции AAAI‐15, 25 января 2015, https://intelligence.org/wp-content/uploads/2015/01/AAAI‐15‐corrigibilityslides.pdf.
759
Russell, Should We Fear Supersmart Robots?
760
Dylan Hadfield-Menell, The Off-Switch (лекция), Серия коллоквиумов по устойчивости и полезности ИИ (Colloquium Series on Robust and Beneficial AI, CSRBAI), Институт исследования машинного интеллекта, Беркли, Калифорния, 8 июня 2016.
761
Milli et al., Should Robots Be Obedient?. Другие работы по случаям, когда системе, возможно, было бы лучше не подчиняться команде человека, см. Coman et al., Social Attitudes of AI Rebellion и Aha and Coman, The AI Rebellion.
762
Smitha Milli, Approaches to Achieving AI Safety (интервью), Мельбурн, Австралия, август 2017.
763
Больше о возможности внесения правок и ошибке спецификации модели с использованием этой парадигмы см. также Carey, Incorrigibility in the CIRL Framework.
764
Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.
765
Рассел С. Совместимость.
766
Hadfield-Menell et al., Inverse Reward Design.
767
О схожей интерпретации проблемы Томом Эвериттом и его коллегами из DeepMind и Австралийского национального университета см. в Everitt et al., Reinforcement Learning with a Corrupted Reward Channel.
768
Hadfield-Menell et al., Inverse Reward Design.
769
Prümmer, Handbook of Moral Theology.
770
Руссо, Жан-Жак. Эмиль, или О воспитании. – Пер. с фр. М. А. Энгельгардта // Жан-Жак Руссо. Избранное. – Книговек, 2018.
771
В действительности создается ощущение, что практически все имевшие место исторические споры касались случаев, когда оспаривалось, греховно ли то или иное действие, но не тех случаев, когда речь шла о том, возможно ли не совершать греховных действий. Больше информации по теме см. Sepielli, ‘Along an Imperfectly-Lighted Path’.
772
Первоначально это часто цитируемое выражение появилось на редакторской странице San Diego Union 20 сентября 1930 года: «Торговцы ювелирными изделиями уверяют, что человек должен носить две пары часов. Но человек, у которого есть одни часы, знает точное время, человек, у которого две пары часов, никогда в нем не уверен».
773
См. Prümmer, Handbook of Moral Theology, § § 145–56.
774
См. Connell, Probabilism.
775
См. Prümmer, Handbook of Moral Theology.
776
Один из философов, ответственных за то, что на эти вопросы снова обратили внимание в наши дни, – это Тед Локхарт из Мичиганского технологического университета. См. Lockhart, Moral Uncertainty and Its Consequences. Как он подытоживает, «так что я должен делать, когда не уверен, как мне поступить с точки зрения морали? Философы обращают мало внимания
