Передовой текстовый видео-ИИ из Китая потрясает отрасль

Недавнее объявление китайской AI-компании Shang Shu Technology в сотрудничестве с Университетом Тинга представило прорывную модель текст-в-видео под названием Vidu. Эта модель способна генерировать видео высокой четкости длительностью 16 секунд в разрешении 1080p одним щелчком, позиционируя себя как прямого конкурента модели текст-в-видео Sora от OpenAI.

Способность Vidu понимать и генерировать контент, специфичный для Китая, такой как панды и драконы, отличает ее от конкурентов. Демонстрация демонстрирует впечатляющие возможности Vidu, четко указывая на то, что Китай неуклонно наращивает свои усилия в области AI.

Хотя некоторые могут утверждать, что демонстрации выборочны, важно признать присущие сложности в генерации видео. Производительность Vidu, особенно в плане временной согласованности и движения, является значительным достижением, превосходящим текущие передовые модели, доступные бесплатно.

Сравнения с моделями Sora от OpenAI и Generation 2 от Runway подчеркивают сильные стороны Vidu. Способность модели поддерживать согласованное движение, реалистичные волновые узоры и бесшовную интеграцию динамических элементов демонстрирует ее продвинутые возможности.

Кроме того, архитектурные различия между Vidu и Sora, при использовании Vidu архитектуры Universal Vision Transformer (UViT), предполагают, что китайская команда выбрала уникальный подход к решению проблем генерации текст-в-видео.

Недавнее объявление о Vidu, первой в Китае модели текст-в-видео, разработанной Shang Shu Technology и Университетом Цинхуа, вызвало значительный интерес и дебаты. Хотя некоторые критиковали качество сгенерированных видео, более пристальное изучение показывает, что возможности Vidu весьма впечатляющи, особенно в плане временной согласованности и достоверности движения.

При сравнении производительности Vidu с передовой моделью текст-в-видео Sora становится очевидно, что Vidu добился значительного прогресса. Движение и временная согласованность, наблюдаемые в демонстрациях Vidu, такие как движение юбки, покачивание куртки и реалистичное поведение волн, заметно лучше, чем то, что в настоящее время доступно в моделях, таких как Runway Gen 2.

Кроме того, архитектурные различия между Vidu и Sora примечательны. Vidu использует архитектуру Universal Vision Transformer (UViT), которая предшествует Diffusion Transformer, используемой Sora. Этот уникальный подход позволяет Vidu создавать реалистичные видео с динамическими движениями камеры, детальными выражениями лица и соблюдением физических свойств мира, таких как освещение и тени.

Vidu, модель текст-в-видео, разработанная Shang Shu Technology и Университетом Цинхуа, использует уникальную архитектуру, которая отличает ее от существующих моделей. Ключевые аспекты архитектуры Vidu и ее преимущества следующие:

1. Universal Vision Transformer (UViT): Архитектура Vidu основана на Universal Vision Transformer (UViT), который был предложен еще в сентябре 2022 года, опережая архитектуру диффузионного трансформера, используемую Sora. Эта уникальная архитектура позволяет Vidu создавать реалистичные видео с динамическими движениями камеры, детальными выражениями лица и соблюдением физических свойств мира, таких как освещение и тени.

2. Временная согласованность: Одной из выдающихся особенностей Vidu является его способность поддерживать временную согласованность в сгенерированных видео. По сравнению с другими передовыми моделями, такими как Runway Gen 2, Vidu демонстрирует превосходное движение и перемещение, особенно в сценах с водой, волнами и объектами, такими как телевизоры. Согласованность движения этих элементов является свидетельством передовых возможностей Vidu.

3. Превосходство над существующими моделями: Несмотря на то, что он пока не доступен для широкой публики, производительность Vidu в демонстрации показывает его способность превзойти текущее передовое состояние в области генерации текст-в-видео. При сравнении с Sora и Runway Gen 2 сгенерированные Vidu видео демонстрируют более высокий уровень детализации, реалистичности и временной согласованности, указывая на его потенциал стать прорывной технологией в этой области.

Недавнее раскрытие Китаем своей передовой модели текст-в-видео AI, VidU, разработанной Shang Shu Technology и Университетом Цинхуа, вызвало волну в сообществе AI. Эта модель способна генерировать видео высокой четкости длительностью 16 секунд одним щелчком, соперничая с возможностями Whisper от OpenAI, что является четким свидетельством быстрого прогресса Китая в области AI.

Демонстрация VidU демонстрирует впечатляющую временную согласованность, реалистичное движение и внимание к физическим свойствам мира, таким как освещение и тени. Хотя качество может не соответствовать текущим предложениям Whisper, это все же замечательное достижение, особенно учитывая уникальную архитектуру VidU, которая предшествует диффузионному трансформеру, используемому Whisper.

При сравнении с другими передовыми моделями генерации видео, такими как Gen 2 от Runway, производительность VidU явно превосходит в плане динамических движений камеры, детальных выражений лица и соблюдения физических ограничений мира. Это подчеркивает быстрый прогресс, который Китай достиг в области AI, превзойдя возможности моделей, которые считались передовыми всего год назад.

Последствия этого технологического прорыва значительны. Он свидетельствует о том, что Китай не только догнал Запад в разработке AI, но и, возможно, даже вышел вперед в некоторых областях. Это поднимает вопросы о будущем гонки за AI и о том, как Соединенные Штаты и другие страны отреагируют на достижения Китая.