Каждая десятая выдача от искусственного интеллекта Gemini при поиске в Google содержит ложную информацию. К такому выводу пришли журналисты The New York Times и представители стартапа Oumi по итогам исследования.
Для проверки использовался тест SimpleQA 2024 года, созданный OpenAI и содержащий более 4 тыс. проверенных фактов. В итоге модель Gemini 3 показала результат в 91% правильных ответов, что на 6% больше, чем у предыдущей версии Gemini 2.5. В частности, нейросеть неверно назвала дату превращения дома музыканта Боба Марли в музей, а также отрицала существование Зала славы классической музыки.
По словам представителей Google, результаты исследования NYT и Oumi нельзя считать объективными. Они отметили, что для большей точности стоит использовать бенчмарк SimpleQA Verified, а не обычный. Кроме того, в поиске Gemini не всегда использует самую совершенную модель — для ускорения загрузки он часто применяет быстрый, но менее точный алгоритм Gemini Flash.
При этом сама Google, согласно собственному тестированию базовых моделей, оценивает точность нейросетей в диапазоне от 60 до 80%. Чтобы не вводить пользователей в заблуждение, любая выдача Gemini сопровождается сноской, что ИИ может ошибаться и информация нуждается в дополнительной проверке.
