Источник
Совсем недавно мы выпустили обзор на программы, на базе ИИ, которые работают с изображениями. Сегодня пришел черед поговорить о нейронках, которые могут творить чудеса с видео.
Мы собрали список самых полезных и многообещающих нейросетей, которые точно пригодятся манимейкерам из разных сфер. Многие из них мы протестировали и покажем, действительно ли они заслуживают внимания.
Бесплатно в Runway можно создать 3 проекта, в дальнейшем потребуется оформить подписку. «Pro» подписка стоит $12 в месяц за безлимитное количество проектов, и возможность редактировать видео в разрешении 1080р и 4k. Также есть подписка для команды «Team» за $28 в месяц, которой могут пользоваться несколько людей.Разработчики Runway на главной странице сайта утверждают, что благодаря их инструментам можно убрать фон с видео, убрать выделенный элемент на видео и сделать трекинг движущегося объекта. Для теста мы используем простое видео с собакой, чтобы протестировать все функции:
Первым делом протестируем функцию «Green Screen», которая убирает фон. Механизм редактирования прост: загружаем видео для эдита и ждем, пока оно обработается, обычно это занимает около 3-5 минут. Затем кликаем на объект, чтобы выделить его и оставить в кадре.
Выделение вышло за пределы объекта и поэтому переключаем выделитель из режима include (включая), в режим exclude (исключая) на панели справа:
Выбираем участки, которые вышли за пределы объекта и получаем идеальное выделение:
Далее сохраняем проект и на главной странице скачиваем его в максимальном для бесплатной версии разрешении 720р. Получился следующий видеофрагмент:
Результат можно назвать хорошим, а главное, его легко добиться, и качество видео не страдает.
Теперь попробуем убрать объект на видео, без потери смысла с помощью функции «Inpainting». Мы решили убрать человеческую руку и посмотреть не пострадает ли от этого изображение.
Сделать это максимально просто, нужно выделить объект или группу объектов, которые хотите убрать и подождать, когда видео обработается:
Заодно мы убрали значок TikTok и вот что получилось в итоге:
Удаление руки размазало картинку и теперь видео выглядит странно. Вывод можно сделать такой: функция будет хороша на статичном видео или на движущемся, но с однотонным фоном. Это пригодится при редактировании видео, где камера неподвижно фиксирует процесс создания чего-то. В сложных движущихся видео удалить крупные объекты без следа не удастся. Зато, значок TikTok получилось убрать незаметно. Это будет полезно при перезаливе чужих видео — можно без проблем убирать нежелательные вотермарки.
Программа доступна онлайн в браузере, но можно скачать открытый код. Обработать фото в онлайн-версии можно по этой ссылке, а видео здесь. Для начала мы попробовали восстановить цвет на одной старой фотографии с детьми и собакой, и вот что получилось через пару секунд:
Результат действительно волшебный, краски подобраны очень точно, и все это благодаря обученной нейронной сети. Для того чтобы обработать фото, нужно сперва авторизоваться — этого требует сайт My Heritage. Обработка фото полностью бесплатная и неограниченная. Всё то же самое можно проделать с видео и результат будет таким же качественным.
Вот пример того, как пользователь YouTube раскрасил старое видео про полет немецкого дирижабля «Граф Цеппелин» 1928 года:
На данный момент полноценно воспользоваться сетью можно, установив программу с GitHub. Для этого потребуется знание программирования. Есть дэмоверсия, которая доступна онлайн. Функции там ограничены, но можно посмотреть, как работает нейросеть в целом. Мы сгенерировали несколько примеров по следующим запросам:
1) Семья, которая ругается:
2)Женщина в красном платье, которая злится:
3)Человек едет в пасмурную погоду на велосипеде:
Программа подает надежды и будет полезна, когда нужно создать идеальную гифку для текста. Надеемся, CogVideo будет полноценно доступна онлайн для всех желающих.
Теперь перейдем к настройке и расскажем о самых главных моментах работы в Dain-App. Начать стоит с того, что перед работой следует перезагрузить компьютер и не открывать ничего, кроме Dain-App.
Затем нужно открыть этот файл:
Далее в самой программе выбираете нужное видео, куда сохранить файл и запуск процесса (по умолчанию увеличивает FPS в два раза).
Если возникает ошибка, как на скрине ниже, это говорит о том, что не хватает видеопамяти.
Решается ошибка просто: заходим в настройки, показанные ниже, и уменьшаем разрешение видео. Это нужно сделать до запуска процесса:
При такой конфигурации допустимая высота видео — 600 пикселей. Эта инструкция должна помочь разобраться в начале работы с Dain-App и мы надеемся, что она была полезна. Подводя итог, Dain App удивительная и очень полезная программа для тех, кто занимается видеомонтажем.
Сервис полностью бесплатный и доступен в браузере, но есть и «Pro» версия за €9 в месяц. Для «Pro» версии разрешение Full HD, нет ограничений по длине видео, отсутствует вотермарка и есть поддержка звука. Для теста мы взяли отрывок из видео на YouTube про нанесение макияжа, чтобы посмотреть, насколько хорошо нейронка определит человека:
После выбора файла начались проблемы:
Видео загрузилось до 50%, и затем сайт выдал ошибку:
Проблема была связана с VPN, поменяв его видео без проблем обработалось и загрузилось за несколько секунд. Вот готовый результат:
В разделе «Processing» можно выбрать одну из шести нейросетей, которая будет обрабатывать видео. «Setting» отвечает за качество видео на выходе. Можно выбрать разрешение в процентах, ввести свои или выбрать значения — вплоть до 8K. В разделе «Format» нужно выбрать формат файла на выходе и путь сохранения. Дополнительно можно обрезать видео и выбрать видеокарту, с которой будете работать.Но все это только в теории и исходя из того, что написано в программе. На деле всё сложнее, так как результат зависит от мощности компьютера. Даже из десятисекундного видео сделать шедевр в 8K не получится, если железо слабое. На компьютере с Intel Core i7 и 32 Гб оперативной памяти так и не получилось увеличить разрешение до 1080p. Процесс либо не шёл вообще, либо двигался невыносимо медленно.
Пользователь YouTube протестировал Topaz Video Enhance AI и посмотрите на то, как изменился кадр из видео:
После улучшения лицо стало выглядеть странно и неестественно гладко и смазано. Если смотреть на окружающие детали, то они однозначно стали выглядеть лучше.
Возможно целесообразно использовать эту программу для улучшения видео с природой, техникой и чем угодно, кроме человеческих лиц. Как мы сказали выше, программа платная и обычно стоит $299, но сейчас на официальном сайте проходит акция, и она стоит $159.
Для того чтобы создать 3D-видео, нужно отснять объект с разных сторон и скормить фотографии нейросети. С помощью ИИ, NeRF достраивает недостающие данные и обучает нейронную сеть для воссоздания 3D-сцены. NeRF определяет направление света с любой точки в 3D-пространстве, за счет чего результат получается максимально реалистичным и достоверным.
Онлайн воспользоваться нейросетью не получится, но она есть в открытом доступе в виде кода. Разработчики даже создали инструкцию для пользователей, чтобы помочь начать работу. Конечно, для этого нужно иметь минимальные навыки программирования — без них, увы, ничего не получится.
Также в Stable Diffusion можно достраивать изображения и делать из двух фотографий плавную анимацию.
По сути, это та же самая функция, которую предоставляет Dain App и Insant NeRF, но только для этого не нужна отдельная программа. Оживлять можно не только короткие ролики. Из большого количества кадров можно создать длинное плавное видео, которое будет качественным.
Скачать программу можно бесплатно на гитхаб, перейдя по ссылке в заголовке, а посмотреть подробную инструкцию по созданию анимации можно тут. Самая большая и подробная версия Stable Diffusion для анимации — это Deforum Stable Diffusion V0.4. В ней содержится огромное количество настроек, каждая из которых поможет добиться идеального результата при генерации. Проблема только в том, что для того, чтобы разобраться в этих настройках может уйти очень много времени и сил. Даже если разобраться в настройках, то предугадать итоговый результат будет сложно — настройки ведут себя по-разному в сочетании друг с другом. Поначалу все будет казаться хаотичным и очень сложным, но нужно не бояться, и тогда все обязательно получится.
Вот видеоинструкция, которая поможет разобраться в настройках Deforum Stable Diffusion и будет полезной в начале пути.
Минусом нейросети является то, что результаты получаются маленького размера и плохого качества, по сравнению с другими подобными программами.
Phenaki работает по модели глубокого обучения трансформер, для преобразования текстовых токенов, например фраз или слов, в видео-токены. Модель использует авторегрессивный подход, где видео создается со временем, так как каждая текстовая подсказка соответствует сцене в сюжете видео. Это позволяет создавать динамически меняющиеся сцены, чего раньше не удавалось сделать ни одной нейронке для генерации видео. Именно поэтому Phenaki называют прорывом в области нейросетей.
На данный момент нейронка находиться в доработке и все, что можно сделать это посмотреть примеры ее творений на официальном сайте.
Совсем недавно мы выпустили обзор на программы, на базе ИИ, которые работают с изображениями. Сегодня пришел черед поговорить о нейронках, которые могут творить чудеса с видео.
Мы собрали список самых полезных и многообещающих нейросетей, которые точно пригодятся манимейкерам из разных сфер. Многие из них мы протестировали и покажем, действительно ли они заслуживают внимания.
Runway
Первый сервис Runway сочетает в себе все самые нужные инструменты для редактирования видео, которые часто нужны манимейкерам. Инструменты Runway созданы на базе искусственного интеллекта, и позволяют редактировать видео легко и качественно за считанные минуты. Сервис доступен в браузере, а для начала работы требуется только регистрация.Бесплатно в Runway можно создать 3 проекта, в дальнейшем потребуется оформить подписку. «Pro» подписка стоит $12 в месяц за безлимитное количество проектов, и возможность редактировать видео в разрешении 1080р и 4k. Также есть подписка для команды «Team» за $28 в месяц, которой могут пользоваться несколько людей.Разработчики Runway на главной странице сайта утверждают, что благодаря их инструментам можно убрать фон с видео, убрать выделенный элемент на видео и сделать трекинг движущегося объекта. Для теста мы используем простое видео с собакой, чтобы протестировать все функции:
Первым делом протестируем функцию «Green Screen», которая убирает фон. Механизм редактирования прост: загружаем видео для эдита и ждем, пока оно обработается, обычно это занимает около 3-5 минут. Затем кликаем на объект, чтобы выделить его и оставить в кадре.
Выделение вышло за пределы объекта и поэтому переключаем выделитель из режима include (включая), в режим exclude (исключая) на панели справа:
Выбираем участки, которые вышли за пределы объекта и получаем идеальное выделение:
Далее сохраняем проект и на главной странице скачиваем его в максимальном для бесплатной версии разрешении 720р. Получился следующий видеофрагмент:
Результат можно назвать хорошим, а главное, его легко добиться, и качество видео не страдает.
Теперь попробуем убрать объект на видео, без потери смысла с помощью функции «Inpainting». Мы решили убрать человеческую руку и посмотреть не пострадает ли от этого изображение.
Сделать это максимально просто, нужно выделить объект или группу объектов, которые хотите убрать и подождать, когда видео обработается:
Заодно мы убрали значок TikTok и вот что получилось в итоге:
Удаление руки размазало картинку и теперь видео выглядит странно. Вывод можно сделать такой: функция будет хороша на статичном видео или на движущемся, но с однотонным фоном. Это пригодится при редактировании видео, где камера неподвижно фиксирует процесс создания чего-то. В сложных движущихся видео удалить крупные объекты без следа не удастся. Зато, значок TikTok получилось убрать незаметно. Это будет полезно при перезаливе чужих видео — можно без проблем убирать нежелательные вотермарки.
DeOldify
Если нужно раскрасить черно-белое старое видео или фото, то нейросеть DeOldify идеально для этого подойдет. Раскрашивать можно только короткие видео, а если видео длинное, то его нужно делить на части. Видео должно быть залито на YouTube — загрузить с компьютера не получится, это доступно только для фото.Программа доступна онлайн в браузере, но можно скачать открытый код. Обработать фото в онлайн-версии можно по этой ссылке, а видео здесь. Для начала мы попробовали восстановить цвет на одной старой фотографии с детьми и собакой, и вот что получилось через пару секунд:
Результат действительно волшебный, краски подобраны очень точно, и все это благодаря обученной нейронной сети. Для того чтобы обработать фото, нужно сперва авторизоваться — этого требует сайт My Heritage. Обработка фото полностью бесплатная и неограниченная. Всё то же самое можно проделать с видео и результат будет таким же качественным.
Вот пример того, как пользователь YouTube раскрасил старое видео про полет немецкого дирижабля «Граф Цеппелин» 1928 года:
CogVideo
Китайские специалисты создали нейросеть, которая генерирует короткие видео по текстовому запросу. На выходе модель выдает четырехсекундный GIF из 32 кадров. Разработчики отметили, что фактический ввод текста для генерации видео осуществляется на китайском языке.
На данный момент полноценно воспользоваться сетью можно, установив программу с GitHub. Для этого потребуется знание программирования. Есть дэмоверсия, которая доступна онлайн. Функции там ограничены, но можно посмотреть, как работает нейросеть в целом. Мы сгенерировали несколько примеров по следующим запросам:
1) Семья, которая ругается:
2)Женщина в красном платье, которая злится:
3)Человек едет в пасмурную погоду на велосипеде:
Программа подает надежды и будет полезна, когда нужно создать идеальную гифку для текста. Надеемся, CogVideo будет полноценно доступна онлайн для всех желающих.
Dain-App
Мы рассказывали про Dain-App в недавней статье про нейросети, но сегодня углубимся в принцип работы и покажем результаты. Dain-App работает на базе искусственного интеллекта и способна значительно увеличивать fps в видео. Нейронка сама определяет траекторию движения объекта и достоверно достраивает недостающие кадры. Dain-App полностью бесплатная программа, для NVIDIA скачать ее можно здесь. Вот пользователь YouTube, при помощи Dain-App увеличил fps в видео с 10 до 60 и это выглядит супер качественно.Теперь перейдем к настройке и расскажем о самых главных моментах работы в Dain-App. Начать стоит с того, что перед работой следует перезагрузить компьютер и не открывать ничего, кроме Dain-App.
Затем нужно открыть этот файл:
Далее в самой программе выбираете нужное видео, куда сохранить файл и запуск процесса (по умолчанию увеличивает FPS в два раза).
Если возникает ошибка, как на скрине ниже, это говорит о том, что не хватает видеопамяти.
Решается ошибка просто: заходим в настройки, показанные ниже, и уменьшаем разрешение видео. Это нужно сделать до запуска процесса:
При такой конфигурации допустимая высота видео — 600 пикселей. Эта инструкция должна помочь разобраться в начале работы с Dain-App и мы надеемся, что она была полезна. Подводя итог, Dain App удивительная и очень полезная программа для тех, кто занимается видеомонтажем.
Unscreen
Unscreen — это онлайн-сервис, который убирает фон с видео в пару кликов. Unscreen работает на базе обученной нейронной сети и поэтому мгновенно и точно распознает главный объект и фон, что делает использование приятным и легким. В отличие от Runway, пользователю даже не нужно выбирать объект — программа делает все сама.Сервис полностью бесплатный и доступен в браузере, но есть и «Pro» версия за €9 в месяц. Для «Pro» версии разрешение Full HD, нет ограничений по длине видео, отсутствует вотермарка и есть поддержка звука. Для теста мы взяли отрывок из видео на YouTube про нанесение макияжа, чтобы посмотреть, насколько хорошо нейронка определит человека:
После выбора файла начались проблемы:
Видео загрузилось до 50%, и затем сайт выдал ошибку:
Проблема была связана с VPN, поменяв его видео без проблем обработалось и загрузилось за несколько секунд. Вот готовый результат:
Topaz Video Enhance AI
Topaz Video Enhance AI — это платное приложение для Windows и MacOS, которое увеличивает разрешение видео до 8K с улучшением качества. Работать в нем максимально легко и комфортно, а результат получается быстро и качественно. Для улучшения видео требуется всего три действия: открыть видео, выбрать нужные параметры и сохранить видео.
В разделе «Processing» можно выбрать одну из шести нейросетей, которая будет обрабатывать видео. «Setting» отвечает за качество видео на выходе. Можно выбрать разрешение в процентах, ввести свои или выбрать значения — вплоть до 8K. В разделе «Format» нужно выбрать формат файла на выходе и путь сохранения. Дополнительно можно обрезать видео и выбрать видеокарту, с которой будете работать.Но все это только в теории и исходя из того, что написано в программе. На деле всё сложнее, так как результат зависит от мощности компьютера. Даже из десятисекундного видео сделать шедевр в 8K не получится, если железо слабое. На компьютере с Intel Core i7 и 32 Гб оперативной памяти так и не получилось увеличить разрешение до 1080p. Процесс либо не шёл вообще, либо двигался невыносимо медленно.
Пользователь YouTube протестировал Topaz Video Enhance AI и посмотрите на то, как изменился кадр из видео:
После улучшения лицо стало выглядеть странно и неестественно гладко и смазано. Если смотреть на окружающие детали, то они однозначно стали выглядеть лучше.
Возможно целесообразно использовать эту программу для улучшения видео с природой, техникой и чем угодно, кроме человеческих лиц. Как мы сказали выше, программа платная и обычно стоит $299, но сейчас на официальном сайте проходит акция, и она стоит $159.
Instant NeRF
Insant NeRF — это нейронная сеть от студии NVIDIA, которая превращает 2D-изображения в короткое 3D-видео. Другими словами, ИИ оживляет картинку и показывает объект со всех сторон.Для того чтобы создать 3D-видео, нужно отснять объект с разных сторон и скормить фотографии нейросети. С помощью ИИ, NeRF достраивает недостающие данные и обучает нейронную сеть для воссоздания 3D-сцены. NeRF определяет направление света с любой точки в 3D-пространстве, за счет чего результат получается максимально реалистичным и достоверным.
Онлайн воспользоваться нейросетью не получится, но она есть в открытом доступе в виде кода. Разработчики даже создали инструкцию для пользователей, чтобы помочь начать работу. Конечно, для этого нужно иметь минимальные навыки программирования — без них, увы, ничего не получится.
Stable Diffusion
Нейросеть Stable Diffusion может генерировать не только изображения, но и анимации. Эта функция появилась относительно недавно, но уже выдает крутые результаты, поражающие воображение. Анимация создается по текстовому описанию, и представляет собой серию отдельно сгенерированных изображений, плавно перетекающих друг в друга. Генерация видео ниже заняла около 30 минут.Также в Stable Diffusion можно достраивать изображения и делать из двух фотографий плавную анимацию.
По сути, это та же самая функция, которую предоставляет Dain App и Insant NeRF, но только для этого не нужна отдельная программа. Оживлять можно не только короткие ролики. Из большого количества кадров можно создать длинное плавное видео, которое будет качественным.
Скачать программу можно бесплатно на гитхаб, перейдя по ссылке в заголовке, а посмотреть подробную инструкцию по созданию анимации можно тут. Самая большая и подробная версия Stable Diffusion для анимации — это Deforum Stable Diffusion V0.4. В ней содержится огромное количество настроек, каждая из которых поможет добиться идеального результата при генерации. Проблема только в том, что для того, чтобы разобраться в этих настройках может уйти очень много времени и сил. Даже если разобраться в настройках, то предугадать итоговый результат будет сложно — настройки ведут себя по-разному в сочетании друг с другом. Поначалу все будет казаться хаотичным и очень сложным, но нужно не бояться, и тогда все обязательно получится.
Вот видеоинструкция, которая поможет разобраться в настройках Deforum Stable Diffusion и будет полезной в начале пути.
Phenaki от Google
Нейросеть Phenaki от Google способна генерировать видео по текстовому запросу длиной до нескольких минут, в отличие от CodVideo. При этом связь между кадрами не теряется и в целом видео выглядит довольно стабильно:
Минусом нейросети является то, что результаты получаются маленького размера и плохого качества, по сравнению с другими подобными программами.
Phenaki работает по модели глубокого обучения трансформер, для преобразования текстовых токенов, например фраз или слов, в видео-токены. Модель использует авторегрессивный подход, где видео создается со временем, так как каждая текстовая подсказка соответствует сцене в сюжете видео. Это позволяет создавать динамически меняющиеся сцены, чего раньше не удавалось сделать ни одной нейронке для генерации видео. Именно поэтому Phenaki называют прорывом в области нейросетей.
На данный момент нейронка находиться в доработке и все, что можно сделать это посмотреть примеры ее творений на официальном сайте.
Заключение
Нейросети действительно ускоряют работу и повышают качество результата, но, к сожалению, в использовании большинства программ есть трудности. 5 из 7 программ, рассмотренные в сегодняшнем обзоре, требуют навыков программирования и очень мощного ПК. Плюс к этому, результат не всегда получается таким, как хотелось бы. Тем не менее многие из этих программ и сервисов не имеют аналогов, и поэтому они пригодятся тем, кто занимается монтажом видео. Надеемся, что в будущем использование этих программ станет доступным, понятным и простым для всех пользователей.
