Создатели Sora-генерированного видео раскрывают сильные и слабые стороны систем ИИ

Революционная система генерации видео Sora от OpenAI в феврале поразила сообщество искусственного интеллекта своими плавными и реалистичными видеороликами, намного опередив конкурентов. Однако тщательно срежиссированная премьера оставила много вопросов без ответа. Эти пробелы теперь восполняет канадская продакшн-студия Shy Kids, которой OpenAI предоставила ранний доступ для создания короткометражки «air head» на базе Sora.

В интервью ведущему СМИ о визуальных эффектах fxguide, художник-постпродакшена Патрик Цедерберг раскрыл детали «реального использования Sora». Ключевой вывод таков: вопреки видимости, что ролики как бы появились полностью сформированными из системы Sora, на самом деле это были профессиональные производства с серьезной проработкой сюжета, монтажом, цветокоррекцией и визуальными эффектами на постпродакшене.

Цедерберг отметил, что наибольшее желание вызывает контроль над генерируемым контентом, но именно он и остается самой большой проблемой. Даже такие базовые вещи, как выбор цвета одежды персонажа, требуют сложных трюков в системах генерации, поскольку каждый кадр создается независимо. Модель также постоянно генерирует нежелательные артефакты вроде лица на воздушном шаре вместо головы героя.

Точное управление тайминга и движений объектов или камеры пока невозможно — оно остается приблизительным. По словам Цедерберга, «исследователи не думали как режиссеры», когда подходили к подобным художественным задачам.

В итоге команда сгенерировала сотни роликов по 10-20 секунд, но использовала лишь несколько, с соотношением около 300 к 1. Еще один интересный нюанс — Sora отказывается генерировать клипы, связанные с охраняемыми авторским правом франшизами, распознавая подобные попытки пользователей.

Хотя Sora — мощный и полезный инструмент, она пока не предназначена для создания фильмов «с нуля». Впрочем, как однажды сказал один знаменитый злодей: «Это придет позже».

Ссылки: techcrunch.com