Европейский вещательный союз (ЕВС) и Би-би-си провели новое международное исследование точности работы наших любимых ИИ-помощников с новостным контентом. От результатов ахнули все: нейронки регулярно искажали информацию вне зависимости от языка запроса, страны или платформы.
Для изучения вопроса собралась целая бригада журналистов со всего мира — аж 22 команды из 18 разных стран и медиапроектов. Они устроили тотальную проверку самым популярным чат-ботам: ChatGPT, Copilot, Gemini и Perplexity.
Исследователи не просто задавали им вопросы про погоду, а вскрыли настройки по полной, проверив больше трех тысяч ответов. Смотрели на все: насколько AI точен, откуда он берет информацию, может ли отличить факт от чужого мнения и дает ли хоть какой-то контекст.
И знаешь, что выяснилось? Картина, если честно, немного пугающая. Оказалось, что почти в каждом втором ответе — а если точно, то в 45% — сидит как минимум одна жирная ошибка.
А с источниками творится вообще какой-то хаос: в 31% случаев их либо нет, либо они ведут куда-то не туда, ну или вообще выдуманы. Каждый пятый ответ и вовсе можно смело отправлять в категорию «баяны» — там тебе и устаревшая инфа, и откровенные галлюцинации, когда нейросеть просто додумывает то, чего не было.
Все провалили испытание, но есть и анти-лидер. Хуже всех справился Gemini от Google. У него значительные косяки нашли в 76% ответов! Это в два раза хуже, чем у конкурентов.
Основная его беда — это полный разлад с источниками. Он на них ссылается так, будто играет в испорченный телефон: начал с одного, а в итоге получилась совсем другая история.
Несмотря на это, пользователи уже вовсю пользуются искусственным интеллектом для получения новостей. Согласно отчету института Reuters, 7% людей, которые читают новости онлайн, используют нейросети.
А среди молодежи до 25 лет эта цифра и вовсе взлетает до 15%. То есть почти каждый седьмой человек черпает информацию из таких сомнительных источников. И сильно не факт, что хотя бы пытается проверить, а что там на самом деле.
Медиадиректор ЕВС Жан Филип де Тендер подчеркнул, все эти проблемы — не случайные огрехи, а системные недостатки, которые могут привести к страшным последствиям. «Когда люди не знают, чему доверять, они в конечном счете перестают доверять всему, а это может препятствовать демократическому участию», — отмечает он.
OpenAI и Microsoft ранее уже признавали проблему конфабуляций — когда нейросеть, не зная ответа, просто начинает сочинять, чтобы не ударить в грязь лицом. Компании утверждают, что работают над устранением неполадок.
Хоть эксперты и призывают регуляторов усилить контроль за соблюдением законов о достоверности информации в ИИ, пока что лучше оставаться начеку. Так что вывод простой: надо все тщательно перепроверять. Как говорится, на Бога надейся, да сам не плошай.
Кстати, еще ученые пришли к выводу, что успех чат-ботов зависит не от того, насколько хорошо мы формулируем запрос, а от того, насколько гибко они могут воспринимать разнообразие человеческой речи. Так что теперь можешь сильно не церемониться, задавая вопрос искусственному интеллекту.