неопределенными – даже если разные люди поставили разные метки, мы не знаем, насколько они не уверенны или колебались.
Помимо данных и подписей, стоит задуматься о целевой функции. Системы распознавания изображений часто обучаются с помощью функции потерь перекрестной энтропии. Если опустить технические детали, она штрафует за любое неправильное отнесение к категории. С точки зрения этой функции, ошибочно назвать кухонную плиту автомобильным грилем, перепутать зеленое яблоко с грушей и принять английского бульдога за французского стоит так же дорого, как ошибочно классифицировать человека как гориллу. Но в реальности некоторые ошибки в тысячи или миллионы раз серьезнее других [799]– хотя бы с точки зрения политики Google, не говоря уже о чувствах людей, которых отнесли к другой категории.
Во второй части главы 1 мы говорили о векторном представлении слов и его способности работать как аналогия. За внешней простотой скрывалась сложная проблема выравнивания.
Что такое аналогия? Например, прямое сложение векторов (метод «параллелограмма» или алгоритм 3CosAdd) часто дает слово, которое оказывается собственной лучшей аналогией. Выражение «врач – мужчина + женщина» порождает вектор, ближайшим словом к которому оказывается просто врач [800].
Группа исследователей Толги Болукбаси и Адама Калаи сочла такой результат неудовлетворительным: для аналогии важно, чтобы два объекта хотя бы в чем‐то различались. Поэтому они предложили иной подход. Они определили «радиус сходства» вокруг слова «врач», включив в него «медсестру», «акушерку», «гинеколога», «медика», «ортопеда», но исключив «фермера», «секретаря» и «правоведа». Затем они искали внутри этого радиуса ближайшее слово, отличное от «врача».
Есть и другие подводные камни. Геометрия векторов слов (представление слов как точек в математическом пространстве) делает аналогии симметричными, что не всегда соответствует человеческому восприятию. Например, люди говорят, что эллипс похож на круг, но не что круг похож на эллипс, или что Северная Корея похожа на Китай, но не что Китай похож на Северную Корею [801].
Так какой же алгоритм позволит создать репрезентацию слов, которая будет ближе к человеческим аналогам [802]?
Может возникнуть мысль: зачем специалистам по информатике, лингвистам и когнитивным психологам спорить об этом и разрабатывать новые алгоритмы? Почему бы не обучить машину на примерах человеческих аналогий, включив асимметрию и нюансы, и позволить ей найти приемлемый способ определять, что такое аналогия?
Мешает проблема выравнивания. Человеческое понятие «аналогии» столь же расплывчато и неопределенно, как и многие другие. В результате приходится использовать тот же набор инструментов для выравнивания, который применяется в других контекстах.
Справедливость
В главе 2 мы рассматривали все более широкое применение инструментов оценки риска в системе уголовного правосудия. Здесь возможен серьезный вред, и некоторые его проявления мы уже обсудили.
«Эталонная истина», на которой обучаются модели, связана не с тем, совершит ли обвиняемый преступления в будущем, а с тем, будет ли он вновь арестован и получит ли приговор. Если у представителей разных групп систематически различаются показатели рецидивов после арестов и задержаний, то мы, в лучшем случае, ищем оптимальные решения для искаженных данных о рецидивизме – а не работаем с проблемой рецидива как таковой. Это крайне важная мысль, которой часто не придают должного значения.
Кроме того, стоит задуматься: ради обучения модели мы делаем вид, будто знаем, как поступит обвиняемый, если его освободят. Но откуда мы можем об этом знать?
Обычный подход заключается в том, чтобы изучить первые два года его криминальной истории человека после полного отбытия наказания и использовать эти данные как приближенные к тому, что произойдет в течение двух лет после досрочного освобождения. Такой метод косвенно предполагает, что возраст и опыт тюремного заключения не влияют на поведение человека после возвращения в общество.
Однако на практике возраст в ряде случаев оказывается фактором с наибольшей предсказательной силой. Более того, допущение о том, что тюремное заключение никак не влияет на поведение, не только неверно, но и отражает печальный взгляд на систему, которая, по крайней мере формально, призвана реабилитировать преступников.
Если, как свидетельствуют некоторые данные, тюремный опыт действительно повышает вероятность преступной деятельности у тех, кто его пережил, то повторные правонарушения среди отбывших наказание становятся обучающими данными для модели. Эта модель затем предполагает, что такие люди будут столь же опасны при досрочном освобождении [803]. В результате она рекомендует более длительные сроки заключения, что может привести к новым преступлениям.
Таким образом, прогнозы становятся самореализовывающимися: людей лишают свободы без необходимости, а общественная безопасность страдает еще сильнее.
Во многих областях машинного обучения значительную роль играет так называемое обучение с переносом: систему сначала обучают для одной задачи, а затем перенастраивают на другой. Однако такой перенос не всегда осуществляется разумно и обоснованно.
Например, инструмент COMPAS изначально разрабатывался не для вынесения приговоров, но в некоторых юрисдикциях его используют именно в этой роли. Аналогичная ситуация наблюдается и с моделями векторного представления слов, которые применяют для принятия решений о найме сотрудников.
Системы, созданные для прогнозирования, нередко начинают использоваться для выполнения того самого действия, которое они должны предсказывать. В корпоративной культуре с долгой историей сексизма модель, корректно прогнозирующая, что женщин будут принимать на работу реже, может неосознанно усилить это неравенство – и в результате женщин действительно станет намного меньше.
Чтобы модели не просто воспроизводили и подтверждали прошлое, а предлагали что‐то новое, к их разработке нужно подходить вдумчиво и осознанно.
Мы также видели, что для понятия «справедливости» предлагается множество формальных определений, которые кажутся интуитивно понятными и приемлемыми. Однако математически доказано: ни одна система принятия решений – будь она человеческой или машинной – не способна учесть их все одновременно.
Некоторые исследователи предлагают отказаться от попыток согласовать эти разнородные формальные системы вручную. Вместо этого они советуют обучать модель на примерах того, что люди считают «справедливым» и «несправедливым», и позволить алгоритму самостоятельно сформировать рабочее определение справедливости [804].
Однако такой подход, вероятно, породит новую проблему выравнивания – столь же трудно обнаружимую, как и другие подобные проблемы.
Прозрачность
В главе 3 мы обсуждали перспективные направления работы над преимуществами простых моделей, а также рост возможностей поиска оптимальной простой модели. Но эта прозрачность может быть двусмысленной. Исследования показывают, что люди склонны больше доверять прозрачным моделям, даже если те ошибочны и доверять им нельзя [805].
Существует и другой парадокс: крайне трудно объяснить, почему конкретная простая модель оптимальна. Полноценный ответ на этот вопрос, скорее всего, будет узкоспециализированным и весьма объемным.
Кроме того, если взять любую простую модель, можно задать закономерные вопросы: откуда взялся набор ее возможных параметров и какой человеческий процесс привел к созданию этого инструмента [806]. Эти вопросы связаны с прозрачностью и естественны для
