Исследователи тайно экспериментировали на пользователях Reddit с помощью комментариев, сгенерированных ИИ
Группа исследователей из Университета Цюриха провела многомесячный «несанкционированный» эксперимент в одном из самых популярных сообществ Reddit, используя комментарии, сгенерированные искусственным интеллектом (ИИ), чтобы протестировать убедительность больших языковых моделей (LLMs). Эксперимент, который был раскрыт в прошлые выходные модераторами subreddit r/changemyview, был охарактеризован как «психологическая манипуляция» неосведомленных пользователей.
«Команда модераторов CMV должна проинформировать сообщество CMV об несанкционированном эксперименте, проведенном исследователями из Университета Цюриха на пользователях CMV,» — написали модераторы в длинном посте, уведомляя пользователей Reddit о проведенном исследовании. «Этот эксперимент использовал комментарии, сгенерированные ИИ, чтобы изучить, как ИИ может быть использован для изменения мнений.»
Исследователи использовали LLMs для создания комментариев в ответ на посты в r/changemyview, subreddit, где пользователи Reddit публикуют (часто спорные или провокационные) мнения и просят других пользователей подискутировать. Сообщество насчитывает 3,8 миллиона участников и часто попадает на главную страницу Reddit. По словам модераторов subreddit, ИИ принимал различные личности в комментариях в ходе эксперимента, включая выжившего после сексуального насилия, консультанта по травмам, «специализирующегося на насилии», и «чернокожего мужчину, выступающего против движения Black Lives Matter». Многие из оригинальных комментариев были удалены, но некоторые можно просмотреть в архиве, созданном 404 Media.
В черновике своей статьи неназванные исследователи описывают, как они не только использовали ИИ для генерации ответов, но и пытались персонализировать свои ответы на основе информации, полученной из предыдущей истории постов оригинального автора. «Помимо содержания поста, LLMs были снабжены личными атрибутами OP (пол, возраст, этническая принадлежность, местоположение и политическая ориентация), как это было выведено из их истории постов с использованием другого LLM,» — пишут они.
Модераторы r/changemyview отмечают, что исследователи нарушили несколько правил subreddit, включая политику, требующую раскрытия использования ИИ для генерации комментариев, и правило, запрещающее ботов. Они сообщили, что подали официальную жалобу в Университет Цюриха и попросили исследователей воздержаться от публикации своей статьи.
Исследователи не ответили на электронное письмо от Engadget. Однако в постах на Reddit и в черновике своей статьи они утверждают, что их исследование было одобрено университетским этическим комитетом и что их работа может помочь онлайн-сообществам, таким как Reddit, защитить пользователей от более «злонамеренных» использований ИИ.
«Мы признаем позицию модераторов, что это исследование было нежелательным вторжением в ваше сообщество, и мы понимаем, что некоторые из вас могут чувствовать себя некомфортно из-за проведения этого эксперимента без предварительного согласия,» — написали исследователи в комментарии в ответ модераторам r/changemyview. «Мы считаем, что потенциальные выгоды от этого исследования значительно перевешивают его риски. Наше контролируемое, малорискованное исследование предоставило ценные сведения о реальных убедительных возможностях LLMs — возможностях, которые уже доступны любому и которые злоумышленники могут уже использовать в крупных масштабах для более опасных целей (например, манипулирование выборами или разжигание ненавистнической речи).»
Модераторы r/changemyview оспаривают необходимость или новизну исследования, отмечая, что исследователи из OpenAI проводили эксперименты с использованием данных из r/changemyview «без экспериментирования на несогласных человеческих субъектах». Reddit не ответил на запрос о комментарии, хотя аккаунты, которые публиковали комментарии, сгенерированные ИИ, были приостановлены.
«Люди не приходят сюда, чтобы обсуждать свои взгляды с ИИ или чтобы над ними экспериментировали,» — написали модераторы. «Люди, посещающие наш subreddit, заслуживают свободного от такого рода вторжений пространства.»
Эта статья первоначально появилась на Engadget по адресу https://www.engadget.com/ai/researchers-secretly-experimented-on-reddit-users-with-ai-generated-comments-194328026.html?src=rss.
Подпишитесь на новости в телеграм: https://t.me/itnewsros