Программное обеспечение для обнаружения искусственного интеллекта призвано определить, была ли та или иная информация (текст, изображение, видео или аудио) создана с использованием искусственного интеллекта (ИИ). Данные программы часто бывают ненадёжными и имеют высокий процент ложных срабатываний.
Проблемы с точностью Большинство программ для обнаружения ИИ оказались ненадёжными при распознавании текста, сгенерированные ИИ. В исследовании 2023 года, исследователи оценили 14 инструментов обнаружения ИИ, такие как Turnitin и GPTZero, и обнаружили, что «все они показали точность ниже 80%, и только 5 - выше 70%». Они также обнаружили, что эти инструменты, склонны классифицировать тексты скорее как написанные человеком, нежели искусственным интеллектом, и что точность этих инструментов ухудшается при перефразировании.
Ошибки первого рода Ошибкой первого рода (ложноположительный результат) является ошибочное определение контента, созданного человеком, как сгенерированного с помощью ИИ. Большинство платформ для обнаружения ИИ заявляют о минимальном уровне ложных срабатываний, например Turnitin сообщает о частоте ложных срабатываний в 1%. Газета The Washington Post сообщила о гораздо более высоких показателях, до 50%, хотя в исследовании использовался меньший размер выборки. Ложные срабатывания в академической среде часто приводят к обвинениям в академической недобросовестности, что может серьёзно повлиять на успеваемость студента. Кроме того, исследования показали, что многие модели обнаружения на основе ИИ склонны давать ложные срабатывания работам, написанным людьми, для которых английский не является родным языком, а также людям с нейроотличиями.
Ошибки второго рода Ошибкой второго рода (ложноотрицательный результат) является ошибочное определение ИИ-контента как созданного человеком. Подобные ошибки часто возникают из-за уровня чувствительности обнаружения или из-за использования обходных методов при создании текста, чтобы он звучал более естественно. Ложные результаты представляют меньшую проблему в академической среде и, как правило, не приводят к серьёзным последствиям. Turnitin заявила об уровне ложных отрицательных результатов в 15%.
Обнаружение ИИ в медиаконтенте Существуют программы, предположительно предназначенные для обнаружения изображений, созданных с помощью генеративного ИИ. Они также не имеют высокой надёжности. В отраслевых анализах отмечается, что системы распознавания ИИ часто испытывают трудности при работе с фотографиями и видео, показывающие реальный мир, где непостоянное освещение, шум и нестабильные визуальные данные снижают качество обнаружения; эта проблема, подчеркивается, в частности, в современных исследованиях контроля качества сельскохозяйственной продукции.
Примечания
Категория:Искусственный интеллект