Методология
Как устроен тест, откуда материалы и по какой формуле рассчитывается индекс ИИ-зоркости.
Как устроен тест
Каждое прохождение состоит из 8 раундов — по 2 на каждую категорию (текст, изображения, видео и аудио).
- Механика: в каждом раунде показываются два объекта. Задача — определить автора (Человек или ИИ) для каждого из них по отдельности. В паре могут оказаться два текста от ИИ или два видео от человека. Логика исключения здесь не работает.
- Таймер: на размышления дается фиксированное время (45 секунд на текст, 30 — на изображение, 60–150 — на видео, 50 — на аудио). Если время истекло, неотмеченные варианты засчитываются как неверные. Вернуться назад нельзя.
- Уникальность: система собирает каждый тест случайно из общей базы, поэтому набор заданий в каждом тесте отличается.
Откуда контент
В базе теста содержатся материалы, созданные реальными авторами и нейросетями.
- ИИ-контент сгенерирован в различных нейросетях.
- Человеческий контент взят из открытых источников или записан авторами специально для проекта.
- Верификация: все единицы контента заранее размечены авторами исследования. Разметка перепроверена независимо.
Как считается балл AIQ
Система случайно выбирает 16 единиц контента для оценки (8 раундов × 2 объекта в каждом). Итоговый балл AIQ — это процент правильных ответов, округленный до целого числа.
Помимо общего балла, система определяет ваш профиль восприятия. Он зависит от того, в какую сторону вы ошибались чаще:
- Сбалансированный — вы одинаково хорошо (или ошибочно) воспринимаете и человека, и машину. Ошибки распределены поровну.
- Мнительный — вы склонны видеть след робота во всем. Чаще ошибались, принимая реальное творчество человека за генерацию ИИ.
- Доверчивый — вы очеловечиваете технологии. Чаще ошибались, принимая качественную генерацию нейросети за работу человека.
Профиль определяется по тому, каких ошибок было больше: принимали ИИ за человека или человека за ИИ. Если разница больше двух, то это перекос в одну из сторон, если меньше — баланс.
Контакты для прессы
По вопросам публикаций результатов исследования и комментариев экспертов: pr@kokocgroup.ru