Based Image Classification и Simonyan, Vedaldi, and Zisserman,
Deep Inside Convolutional Networks. В 2018 и 2019 годах внутри Clarifai возникло внутреннее противоречие: может ли их программное обеспечение для распознавания изображений применяться для военных нужд. См. Metz,
Is Ethical A. I. Even Possible? 281
Этим подходом была вдохновлена работа Erhan et al., Visualizing Higher-Layer Features of a Deep Network, а также другие исследования, которые проходили до нее и вместе с ней; см. Olah, Feature Visualization, где приведены более полные история и библиография. На практике только оптимизация этики категории не дает доступных для восприятия изображений без каких‐либо дальнейших ограничений и изменений цели. Это благодатная почва для исследований; см. обсуждение проблемы в Mordvintsev, Olah, and Tyka, Inceptionism и Olah, Mordvintsev, and Schubert, Feature Visualization.
282
Mordvintsev, Olah, and Tyka, DeepDream.
283
См. Mordvintsev, Olah, and Tyka, Inceptionism и Mordvintsev, Olah, and Tyka, DeepDream.
284
См. Olah, Mordvintsev, and Schubert, Feature Visualization; Olah et al., The Building Blocks of Interpretability и Carter et al., Activation Atlas. Более современные работы, включающие детальное рассмотрение фундаментальных моделей глубокого обучения, таких, как AlexNet, см. https://microscope.openai.com/models/alexnet.
285
Интервью автора с Крисом Ола, 4 мая 2020 года. Больше информации см. в его совместной работе с Circuits: https://distill.pub/2020/circuits/.
286
Журнал называется Distill, он доступен по адресу https://distill.pub. Мысли Ола по поводу основания Distill см. https://colah.github.io/posts/2017–03-Distill/ и https://distill.pub/2017/research-debt/.
287
Olah et al., The Building Blocks of Interpretability.
288
Интервью автора с Бин Ким, 1 июня 2018.
289
См. также Doshi-Velez and Kim, Towards a Rigorous Science of Interpretable Machine Learning, и Lage et al., Human-in-the-Loop Interpretability Prior.
290
См. Poursabzi-Sangdeh et al., Manipulating and Measuring Model Interpretability.
291
См. https://github.com/tensorflow/tcav.
292
Kim et al., Interpretability Beyond Feature Attribution.
293
Получаются векторы понятий, чем‐то схожие с тем, что мы наблюдали во время разговора о Word2vec в главе 1. Родственный метод также можно найти в Fong and Vedaldi, Net2Vec.
294
Been Kim, Interpretability Beyond Feature Attribution (лекция), MLconf2018, Сан-Франциско, 14 ноября 2018.
295
Been Kim, Interpretability Beyond Feature Attribution.
296
См. Mordvintsev, Olah, and Tyka, Inceptionism и Mordvintsev, Olah, and Tyka, DeepDream.
297
См. https://results.ittf.link.
298
Stock and Cisse, ConvNets and Imagenet Beyond Accuracy.
299
Skinner, Reinforcement Today.
300
Ханна Арендт. Vita activa, или О деятельной жизни. – Москва: Ad Marginem Press, 2017.
301
Американская писательница, оставившая след в модернистской литературе, теоретик литературы. – Прим. пер.
302
О студенческих изысканиях Стайн см. Solomons and Stein, Normal Motor Automatism. Отзыв, связывающий знаменитую книгу Стайн с ее ранними психологическими исследованиями, автором которого был никто иной как Б. Ф. Скиннер, см. в Skinner, Has Gertrude Stein a Secret? Краткие размышления Стайн об этом периоде ее жизни см. в Стайн Г. Автобиография Элис Би Токлас. – СПб: Азбука-Классика, 2006. Больше о жизни Стайн и ее творчестве см. в Brinnin, The Third Rose.
303
Jonçich, The Sane Positivist. См. также Brinnin, The Third Rose.
304
Jonçich
305
Thorndike, Animal Intelligence.
306
Thorndike, The Psychology of Learning.
307
Разумеется, у Торндайка были предшественники и последователи; более раннее предвестие закона эффекта можно найти в работе шотландского философа Александра Бейна, обсуждавшего обучение «на ощупь» и «великий процесс проб и ошибок» (последнее теперь стало устойчивым выражением) в своей работе 1855 года «Чувства и интеллект». Конвей Ллойд Морган всего за пару лет до начала работы Торндайка в Гарварде в своем «Введении в сравнительную психологию» (1894) писал о «пробах и ошибках» в контексте поведения животных. Краткую историю обучения животных с точки зрения подкрепления см. в Саттон Р. С., Барто Э. Дж. Обучение с подкреплением: Введение. 2‐е изд. – Пер. с англ. А. А. Слинкина. – М.: ДМК Пресс, 2020.
308
См. Thorndike, A Theory of the Action of the After-Effects of a Connection upon It и Skinner, The Rate of Establishment of a Discrimination соответственно. Обсуждение см. в Wise, Reinforcement.
309
Tolman, The Determiners of Behavior at a Choice Point.
310
Jonçich, The Sane Positivist, а также Cumming, A Review of Geraldine Jonçich’s The Sane Positivist: A Biography of Edward L. Thorndike.
311
Thorndike, A Theory of the Action of the After- Effects of a Connection upon It.
312
Turing, Intelligent Machinery.
313
Heuristics.
314
Samuel, Some Studies in Machine Learning Using the Game of Checkers.
315
McCarthy and Feigenbaum, In Memoriam. Показ машины Сэмюэла на телевидении состоялся 24 февраля 1956 года.
316
Эдвард Торндайк, письмо Уильяму Джеймсу, 26 октября 1908, обнаружено в книге Jonçich, The Sane Positivist.
317
Rosenblueth, Wiener, and Bigelow, Behavior, Purpose and Teleology. «Оксфордский словарь английского языка» разграничивает значение «возвращение части выходного сигнала» и значение «модификация, приспособление или управление процессом или системой… с помощью результата или воздействия процесса» и цитирует Розенблюта, Винера и Биглоу как первое печатное упоминание выражения в последнем значении.
318
Сейчас слово «кибернетика» напоминает и о будущем, и о давно ушедших временах; на ум приходит Флеш Гордон и фантастика эпохи бэби-бума. Однако оно не настолько далеко от нас, как кажется. Винер искал термин для того, чтобы передать идею саморегуляции и обратной связи в живых и механических системах. «Мы долго обсуждали этот вопрос, – писал Винер, – и пришли к выводу, что вся существующая терминология так или иначе слишком однобока и не помогает развитию
