Содержание статьи:
Специалисты из Пенсильванского государственного университета выяснили, что результаты исследования показывают: пользователи доверяют проверке фактов, выполненной алгоритмами искусственного интеллекта, примерно так же, как и проверке, проведенной живыми специалистами. При этом у каждого подхода есть свои сильные и слабые стороны, которые формируют отношение аудитории. Исследователи подчеркивают, что нет однозначного лидера между двумя системами: люди выбирают того или иного проверяющего в зависимости от сложности задачи.
Как проводилось сравнение проверяющих систем
Для начала исследователи провели предварительный тест, чтобы отобрать шесть новостных заголовков с разной степенью достоверности. Затем они привлекли 291 жителя США, которым показывали эти заголовки в виде постов в социальных сетях через специальное приложение, разработанное для эксперимента.
Часть постов помечали как проверенные автоматической системой, часть — как проверенные живыми экспертами. Участникам демонстрировали один из трех вариантов пояснений к результату проверки:
- Основанное на доказательствах: система помечала пост как ложный и приводила ссылку на информацию, которая противоречит его содержанию;
- Ориентированное на признаки: система отмечала подозрительные формулировки или необычные обороты речи;
- Чёрный ящик: система не давала никаких пояснений, почему пост помечен как ложный.
Всего в эксперименте использовали три типа пояснений, чтобы понять, как наличие и тип обоснования влияет на доверие пользователей.
Особенности работы алгоритмов и людей
Анализ результатов показал четкое разделение сильных сторон двух подходов. Алгоритмы искусственного интеллекта пользователи чаще доверяют задачам масштабного сканирования: например, поиск «красных флагов» в постах социальных сетей. Живым специалистам отдают предпочтение при проверке сложных ситуаций, требующих сопоставления доказательств или интерпретации контекста.
Алгоритмы хорошо справляются с базовыми лингвистическими признаками, например, выявляют маркеры недостоверности текста. Люди же лучше умеют подтверждать информацию из нескольких независимых источников.
Это различие связано с тем, что машины лучше распознают типичные признаки лжи в тексте, а люди способны учитывать контекст, который не всегда отражен в самих словах. Для простых проверок на соответствие шаблонам алгоритмы подходят лучше, для глубокого анализа сложных тем нужен человек.
Что влияет на доверие пользователей
Исследователи проанализировали так называемые машинные эвристики — ментальные упрощения, которые люди используют при оценке работы алгоритмов, опираясь на стереотипы о технике. Выяснилось, что участники эксперимента считали автоматические системы объективными и точными, но при этом не доверяли им из-за отсутствия человеческого суждения.
Эти два противоположных мнения уравновешивали друг друга, из-за чего общего лидера в доверии не возникло. Первый автор работы, Мэнци Ляо, отметила, что прошлые исследования часто просто сравнивали, кому пользователи доверяют больше, и получали противоречивые результаты. В новой работе ученые предположили, что позитивные и негативные взгляды на обе системы могут сосуществовать и взаимно гасить друг друга.
Также выяснилось, что пользователи предпочитают любое пояснение его отсутствию, то есть варианту с чёрным ящиком. Ключевые особенности восприятия автоматических систем можно сформулировать так:
- пользователи признают объективность и высокую скорость обработки данных алгоритмами;
- аудитория сомневается в способности машин учитывать контекст и тонкие смыслы;
- люди склонны доверять живым экспертам при работе со сложными, многосоставными темами.
Противоречивые результаты прошлых работ были связаны именно с тем, что исследователи не учитывали двойственное отношение пользователей к технике. Люди одновременно ценят скорость и объективность алгоритмов и боятся их ошибок в сложных ситуациях, где нужна человеческая этика или здравый смысл.
Важность объяснения решений систем
Мэнци Ляо подчеркивает, что разработчики инструментов проверки фактов должны не только давать точные результаты, но и объяснять, как они были получены. Пользователям нужно достаточно информации, чтобы понимать логику системы: это поможет им корректировать собственный уровень доверия.
Люди не должны слепо полагаться на решение алгоритма или человека. Они могут делать собственные выводы, основываясь на том, как именно проверяющий пришел к итоговому результату. Программы проверки фактов, по мнению исследователей, должны помогать аудитории разбираться в возможностях техники, а не опираться на устаревшие или наивные представления о том, на что способны машины.
Перспективы автоматизации проверки информации
С. Шьям Сундар отмечает, что вопрос автоматизации проверки фактов становится всё более актуальным. Живые специалисты не справляются с объемом недостоверной информации, которая ежедневно появляется в социальных сетях. По оценкам ученых, объем дезинформации в сети растет экспоненциально, и даже крупные команды профессиональных фактчекеров не успевают проверять все сомнительные публикации.
Идеальным вариантом была бы совместная работа человека и алгоритма, но на практике у экспертов не всегда есть возможность вмешиваться и проверять доказательства из нескольких источников. Алгоритмы могут обрабатывать тысячи постов в минуту, что недоступно человеку.
В итоге, по мнению ученого, общество придется полностью автоматизировать процесс проверки, полагаясь на искусственный интеллект. Несмотря на опасения пользователей, алгоритмы гораздо эффективнее людей справляются с быстрым поиском и сопоставлением данных из множества источников.
Результаты работы помогут создателям сервисов проверки информации учитывать ожидания пользователей. Разработчики смогут делать инструменты более прозрачными, опираясь на данные о том, как аудитория воспринимает работу алгоритмов и живых экспертов.