Создатели Sora-генерированного видео раскрывают сильные и слабые стороны систем ИИ
![Создатели Sora-генерированного видео раскрывают сильные и слабые стороны систем ИИ 1 Кинематографист за ноутбуком в студии видеомонтажа](https://neuralbeat.blog/wp-content/uploads/2024/04/video-product.webp)
Революционная система генерации видео Sora от OpenAI в феврале поразила сообщество искусственного интеллекта своими плавными и реалистичными видеороликами, намного опередив конкурентов. Однако тщательно срежиссированная премьера оставила много вопросов без ответа. Эти пробелы теперь восполняет канадская продакшн-студия Shy Kids, которой OpenAI предоставила ранний доступ для создания короткометражки «air head» на базе Sora.
В интервью ведущему СМИ о визуальных эффектах fxguide, художник-постпродакшена Патрик Цедерберг раскрыл детали «реального использования Sora». Ключевой вывод таков: вопреки видимости, что ролики как бы появились полностью сформированными из системы Sora, на самом деле это были профессиональные производства с серьезной проработкой сюжета, монтажом, цветокоррекцией и визуальными эффектами на постпродакшене.
Цедерберг отметил, что наибольшее желание вызывает контроль над генерируемым контентом, но именно он и остается самой большой проблемой. Даже такие базовые вещи, как выбор цвета одежды персонажа, требуют сложных трюков в системах генерации, поскольку каждый кадр создается независимо. Модель также постоянно генерирует нежелательные артефакты вроде лица на воздушном шаре вместо головы героя.
Точное управление тайминга и движений объектов или камеры пока невозможно — оно остается приблизительным. По словам Цедерберга, «исследователи не думали как режиссеры», когда подходили к подобным художественным задачам.
В итоге команда сгенерировала сотни роликов по 10-20 секунд, но использовала лишь несколько, с соотношением около 300 к 1. Еще один интересный нюанс — Sora отказывается генерировать клипы, связанные с охраняемыми авторским правом франшизами, распознавая подобные попытки пользователей.
Хотя Sora — мощный и полезный инструмент, она пока не предназначена для создания фильмов «с нуля». Впрочем, как однажды сказал один знаменитый злодей: «Это придет позже».
Ссылки: techcrunch.com