Зараз вже нікого не здивувати короткими роликами, створеними з допомогою відеогенеративних ШІ-інструментів. Вони дійсно можуть генерувати фотореалістичні кліпи прийнятної якості тривалістю декілька секунд з текстових описів. Але індійський стартап Intelliflicks Studios вирішив піти далі та випробувати технології генеративних алгоритмів на межі їхніх можливостей. Він планує випустити повнометражний фільм, повністю згенерований ШІ, до кінця 2025 року. А поки що студія презентувала трейлер фільму, який отримав назву «Магараджа в джинсах»: це адаптація однойменної новели Хушванта Сінґха.

Intelliflicks Studios – це стартап з міста Чандігарх, створений новелістом Хушвантою Сінґхаом та Гурдіпом Паллом, президент відділу ШІ-стратегій компанії Qualtrics та колишнього віцепрезидента так званого «ШІ-інкубатора» при Microsoft. Ця молода студія працює над екранізацією новели Сінґха «Магараджа в джинсах» 2014 року, що розповідає історію молодика, який вірить, нібито він є реінкарнацією Махараджи Ранджита Сінґха – засновника Сикхської імперії. За словами автора, боси в Боллівуді вже двічі купували права на екранізацію його книги. На жаль, через складний сюжет та історію, що охоплює декілька часових періодів історії Індії, фільм так і не побачив екрани. Тому, коли Палл – друг дитинства Хушванта – розповів йому про стрімкий розвиток генеративних ШІ-технологій, вони вирішили об’єднати зусилля та спробувати створити перший в історії повнометражний ШІ-фільм. Так їм вдалося б вбити одразу двох зайців: нарешті створити екранізацію новели Сінґха та яскраво продемонструвати світу можливості сучасних технологій.

 Палл повідомив, що для створення унікальної кінокартини їхня команда використовує цілий набір ШІ-інструментів – комерційних та з відкритим кодом, а також поступово створює власне програмне забезпечення для організації всіх процесів. Так, для розробки дизайну персонажів, сцен та об’єктів в сценах команда Intelliflicks Studios покладається на моделі для генерації зображень. Згодом результати їхньої роботи «згодовують» моделям для генерації відео. Додатковий комплекс ШІ-інструментів потрібен для генерації аудіо, синхронізації діалогів з відео та покращення якості зображень. До того ж працівники студіо використовують звичні програми обробки відеопродукції для простіших завдань, як то контроль неперервності кольорів та освітлення між послідовними сценами.

Варто зазначити, що більшість ШІ-моделей, залучених в процесі, мають «класичну освіту», тобто їхня робота базується на загальних базах даних, однак деякі інструменти довелося тренувати індивідуально, аби вони краще «розуміли» індійський контекст. Втім, іноді навіть цього недостатньо. Наприклад, в одній зі сцен дівчина танцює версію катгаку – традиційного індійського танцю, що є типовою для північних регіонів країни. Протестувавши роботу алгоритмів, Палл дійшов висновку, що їм просто не вдасться надати ШІ достатньо прикладів, аби він зміг згенерувати танець. Тому в Intelliflicks Studios вирішили піти на поступки та просто зняти на відео справжню танцівницю, а потім замінити її обличчя згенерованим ШІ персонажем.

Очікувано, найбільшою проблемою в процесі створення повнометражного ШІ-фільму стала послідовність кадрів. Важливою особливістю генеративних моделей є ймовірністність, тобто на ідентичний текстовий опис вони можуть відреагувати створенням абсолютно різного контенту. Це значно ускладнює сценарій, в якому ШІ має генерувати персонажа, що повинен бути незмінним протягом всього метражу. На щастя, за останній рік ситуація із цим значно покращилася завдяки появі цифрових тегів, які можна приписати до певних результатів генерації. Завдяки цифровим тегам модель може запам’ятовувати заданий стиль чи жанр контенту або характеристики об’єктів, що з’являються в кадрах. Втім, поки що ці відтворення не є бездоганними, отже, команді Intelliflicks Studios доводиться миритися з обмеженнями технології та адаптуватися до них.

Ще одна проблема, що виникає в умовах використання генеративного ШІ для створення кінокартини, є брак інструментів тонкого контролю ситуації. Подібні моделі розроблені так, аби генерувати високоякісні відео з мінімальним вкладом з боку користувача. Це значно прискорює процес, але позбавляє користувача можливості вносити правки в кінцевий результат. Люди недооцінюють усіх дрібничок, що залежать від рішень кінорежисерів, які доволі легко пояснити акторам та іншим учасникам знімального процесу, але практично неможливо донести до ШІ. Наприклад, в текстовому описі досить складно сформулювати, як саме головний герой повинен вимовляти та артикулювати свої репліки. Ба більше, такі деталі повинні залишатися послідовними та незмінними протягом всього фільму. Сінґх та Палл визнають, що повнометражний ШІ-фільм буде дуже помітно відрізнятися від кінокартин, створених традиційним шляхом. Але вони сподіваються, що їхній продукт стане лише першим кроком до розвитку технологій та інструментів, які нададуть людям новий шлях до вираження свого творчого потенціалу.

Джерело зображень: Intelliflicks Studios