Полиция графств Эйвон и Сомерсет ввела в эксплуатацию обширную систему сбора данных и алгоритмической оценки рисков. В распоряжении властей оказались сведения о полумиллионе граждан, которые использовались для прогнозирования вероятных угроз — от совершения преступлений до исчезновения без вести. Однако, как выяснилось, минимум две из моделей искусственного интеллекта пришлось отключить из-за их низкой точности и невозможности независимой оценки. Об этом сообщает расследование Wired.
🔵 База данных на полгорода. В центре внимания — база Think Family Database, созданная в 2016 году городским советом Бристоля совместно с полицией. База содержала чувствительные данные, включая отчеты о жилье, психическом здоровье, подростковых беременностях и многое другое. На основе этой информации были разработаны модели машинного обучения, оценившие риски для взрослых и детей. Журналистам известно о 23 таких моделях, включая прогнозы краж и домашнего насилия.
🔵 Данные без ведома граждан. Детали разработки этих инструментов долгое время оставались загадкой. Активист Джон Пиграм узнал о существовании базы только в 2023 году. На его запрос о применении его данных полиция сначала отказалась отвечать, а позже подтвердила факт без раскрытия подробностей. Пиграм так и не узнал, какую оценку риска присвоила ему система и как это влияло на его взаимодействие с властями.
🔵 Ненадежные модели. Wired выяснил, что две модели, связанные с рисками сексуальной и криминальной эксплуатации детей, перестали использовать из-за их ненадежности. Оказалось, что алгоритмы не смогли точно определить уязвимых детей, а их результаты оставались непрозрачными.
🔵 Ошибки и недочеты. Полиция передала Wired данные о 13 моделях, использовавшихся с 2017 по 2024 год. Независимая компания Eticas обнаружила, что многие из них имели низкую точность, ошибочно помечая людей как рискованных. Одна из моделей, прогнозировавшая кражи, показывала точность ниже 10% в течение трех лет. Полиция утверждает, что некоторые модели не были внедрены, а проблемные инструменты обновлялись или отключались.
🔵 Контекст. В 2025 году The Guardian сообщил, что Минюст Великобритании разрабатывает программу по «предсказанию убийств», используя алгоритмы для выявления потенциальных преступников среди уже осужденных. Правозащитники назвали проект антиутопией, опасаясь дискриминации этнических меньшинств и бедных.
