KOKOC GROUP

Методология

Как устроен тест, откуда материалы и по какой формуле рассчитывается индекс ИИ-зоркости.

Как устроен тест

Каждое прохождение состоит из 8 раундов — по 2 на каждую категорию (текст, изображения, видео и аудио).

  • Механика: в каждом раунде показываются два объекта. Задача — определить автора (Человек или ИИ) для каждого из них по отдельности. В паре могут оказаться два текста от ИИ или два видео от человека. Логика исключения здесь не работает.
  • Таймер: на размышления дается фиксированное время (45 секунд на текст, 30 — на изображение, 60–150 — на видео, 50 — на аудио). Если время истекло, неотмеченные варианты засчитываются как неверные. Вернуться назад нельзя.
  • Уникальность: система собирает каждый тест случайно из общей базы, поэтому набор заданий в каждом тесте отличается.

Откуда контент

В базе теста содержатся материалы, созданные реальными авторами и нейросетями.

  • ИИ-контент сгенерирован в различных нейросетях.
  • Человеческий контент взят из открытых источников или записан авторами специально для проекта.
  • Верификация: все единицы контента заранее размечены авторами исследования. Разметка перепроверена независимо.

Как считается балл AIQ

Система случайно выбирает 16 единиц контента для оценки (8 раундов × 2 объекта в каждом). Итоговый балл AIQ — это процент правильных ответов, округленный до целого числа.

Помимо общего балла, система определяет ваш профиль восприятия. Он зависит от того, в какую сторону вы ошибались чаще:

  • Сбалансированный — вы одинаково хорошо (или ошибочно) воспринимаете и человека, и машину. Ошибки распределены поровну.
  • Мнительный — вы склонны видеть след робота во всем. Чаще ошибались, принимая реальное творчество человека за генерацию ИИ.
  • Доверчивый — вы очеловечиваете технологии. Чаще ошибались, принимая качественную генерацию нейросети за работу человека.

Профиль определяется по тому, каких ошибок было больше: принимали ИИ за человека или человека за ИИ. Если разница больше двух, то это перекос в одну из сторон, если меньше — баланс.

Контакты для прессы

По вопросам публикаций результатов исследования и комментариев экспертов: pr@kokocgroup.ru