1. Sora 是什么?

2024年2月16日,OpenAI 在其官网上正式发布文本生成视频的大模型 Sora:

https://openai.com/sora

(PS:目前 OpenAI 官方还未开放 Sora 给普通用户使用,不过根据文生图模型 DALL·E 的案例,一定是先给 ChatGPT Plus 付费用户使用,需要注册或者升级 GPT Plus 可以看这个教程: 升级 ChatGPT Plus 的教程 ,一分钟完成升级)

Sora能够根据简单的文本描述,生成高达60秒的高质量视频,使得视频创作变得前所未有的简单和高效。

本文将提供如何使用Sora的最新教程,持续更新中,有消息会第一时间同步。

2. Sora 视频案例

Sora的应用范围非常广泛,从教育教学、产品演示到内容营销等,都可以通过Sora来实现高质量的视频内容创作。

下面是 OpenAI 官方发布的应用案例:

2.1 东京漫步

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

翻译:一位时尚的女性走在东京街头,周围是温暖闪亮的霓虹灯和活力四射的城市标识。她穿着一件黑色皮夹克,一条长长的红色连衣裙,搭配黑色靴子,并背着一个黑色手提包。她戴着墨镜,涂着红色口红。她步履自信,悠然自得地走着。街道潮湿而反光,呈现出丰富多彩的灯光的镜面效果。许多行人在街上走动。

2.2 丛林猛犸

Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.

翻译:几只巨大的长毛猛犸象踏过一片雪白的草地,它们长长的毛发在微风中轻轻飘动着,远处覆盖着雪的树木和雄伟的雪山,午后的光线下有些薄云,太阳高悬在远方,营造出温暖的光芒。低角度的摄影视角令人惊叹,捕捉到了这些大型毛茸茸的哺乳动物,画面景深感强烈。

2.3 小怪兽玩蜡烛

Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.

翻译:动画场景的特写镜头是一个毛茸茸的小怪物跪在一根融化的红色蜡烛旁边。 艺术风格是 3D 和现实的,重点是灯光和纹理。 这幅画的气氛是一种惊奇和好奇,怪物睁大眼睛、张开嘴巴凝视着火焰。 它的姿势和表情传达出一种天真和俏皮的感觉,就好像它第一次探索周围的世界一样。 暖色调和戏剧性灯光的使用进一步增强了图像的舒适氛围。

2.4 微型景观

Prompt: A close up view of a glass sphere that has a zen garden within it. There is a small dwarf in the sphere who is raking the zen garden and creating patterns in the sand.

翻译:放大观看一个玻璃球,里面有一个禅宗花园。球内有一个小矮人,他正在用耙子整理禅宗花园,并在沙地上创造出图案。

openai sora文生视频案例

2.5 卡通袋鼠 disco

Prompt: A cartoon kangaroo disco dances.

翻译:一只卡通袋鼠在迪斯科舞厅跳舞。

openai sora文生视频案例

2.6 尘土飞扬 SUV

Prompt: The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from it’s tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.

翻译:摄像机跟随一辆白色老式SUV,顶部有黑色行李架,它加速通过一条陡峭的土路,周围是松树,地势陡峭,车轮卷起了尘土,阳光照射在SUV上,它沿着土路飞驰,给场景增添了温暖的光芒。土路在远处轻轻弯曲,看不到其他车辆。路边的树是红杉,绿色的植物点缀其中。汽车从后方的镜头中轻松地跟随着曲线,使其看起来好像在崎岖的地形中轻松驾驶。土路周围是陡峭的山丘和山脉,天空晴朗,偶有薄云飘过。

2.7 车窗倒影

Prompt: Reflections in the window of a train traveling through the Tokyo suburbs.

翻译:一辆列车穿越东京郊区时,窗户上的倒影。

openai sora文生视频案例

2.8 艺术画廊

Prompt: Tour of an art gallery with many beautiful works of art in different styles.

翻译:参观一个艺术画廊,展示了许多不同风格的精美艺术品。

openai sora文生视频案例

2.9 家庭生日聚会

9.Prompt: A grandmother with neatly combed grey hair stands behind a colorful birthday cake with numerous candles at a wood dining room table, expression is one of pure joy and happiness, with a happy glow in her eye. She leans forward and blows out the candles with a gentle puff, the cake has pink frosting and sprinkles and the candles cease to flicker, the grandmother wears a light blue blouse adorned with floral patterns, several happy friends and family sitting at the table can be seen celebrating, out of focus. The scene is beautifully captured, cinematic, showing a 3/4 view of the grandmother and the dining room. Warm color tones and soft lighting enhance the mood.

翻译:一位头发整齐梳理的祖母站在木制餐桌后面,桌上摆放着一个五彩缤纷的生日蛋糕,上面点着许多蜡烛,她的表情洋溢着纯粹的喜悦和幸福,眼中闪烁着快乐的光芒。她向前倾身,轻轻吹灭了蜡烛,蛋糕上涂着粉红色的糖霜和彩色糖粒,蜡烛的火焰也熄灭了,祖母穿着一件淡蓝色的上衣,上面点缀着花卉图案,可以看到几位快乐的朋友和家人坐在餐桌旁庆祝,但是他们处于焦点之外。这个场景被美丽地拍摄下来,有电影般的感觉,展示了祖母和餐厅的三分之四视角。温暖的色调和柔和的光线增强了氛围。

openai sora文生视频案例

2.10 农历新年

Prompt: A Chinese Lunar New Year celebration video with Chinese Dragon.

翻译:一个有中国龙的中国农历新年庆祝视频。

openai sora文生视频案例

3. Sora 怎么使用

OpenAI 官方还未开放 Sora 给普通用户使用,目前有两个方案值得尝试:

  1. 开通 ChatGPT Plus: 根据文生图模型 DALL·E 案例,一定是先给 ChatGPT Plus 付费用户使用,需要注册或者升级 GPT Plus 可以看这个教程: 升级 ChatGPT Plus 的教程 ,一分钟完成升级

  2. 成为领域专家:目前 OpenAI 会给领域专家 Red Teaming 开放测试接口,用于检测人工智能的安全性,成为领域专家将有机会提前体验 Sora,可惜目前该项目已经停止申请了,申请链接在这里 Red Team Apply Form,各位领域专家可以大显神通,毕竟出门在外,身份都是自己给的

OpenAI-Red-Teaming.jpg

3.1 使用Sora前的准备工作

在开始之前,确保您已经拥有了OpenAI账目,并获得了Sora的访问权限。准备好您想要转化成视频的文本描述,记住越详细越好。

3.2 Sora使用步骤一:文本描述

登录您的OpenAI账户,找到Sora的使用界面。在指定区域输入您的文本描述,可以是一个故事概述、场景描述或是具体的动作指令。

3.3 Sora使用步骤二:生成视频

完成文本描述和自定义设置后,点击“生成视频”按钮。Sora将开始处理您的请求,这可能需要几分钟时间。完成后,您可以预览生成的视频。

**需要注意的是,截止2024年2月18日,OpenAI只向部分专业用户开放了Sora的访问权限。普通用户只能观看其发布的演示视频。

4. Sora 常见问题

OpenAI的Sora开启了视频创作的新纪元,无论是专业人士还是爱好者,都可以轻松创作出高质量的视频内容。尽管仍有一些限制,但随着技术的不断进步,相信这些问题将会逐渐被解决。立即尝试Sora,开启您的AI视频创作之旅吧

5. Sora技术原理

OpenAI近日发布了一项重要的里程碑技术——Sora,它是基于文本生成视频的AI模型。通过简单的文本描述,Sora能够生成连贯的长达1分钟的视频。那么,Sora是如何实现这一壮举的呢?我们来揭开它的技术原理。

5.1 基于Transformer架构

Sora模型与GPT模型类似,都基于Transformer架构,这使得Sora具有极强的扩展性。Transformer是一种基于自注意力机制的神经网络架构,它能够同时处理输入文本中的所有位置信息,使得模型能够捕捉到全局的上下文信息。这样的架构使得Sora在生成视频时能够更好地理解文本描述。

5.2 扩散模型和训练稳定性

Sora模型采用了扩散模型的方法,与传统的GAN模型相比,具有更好的生成多样性和训练稳定性。扩散模型通过逐步消除噪声来生成视频,这样可以有效地提高生成的视频质量。同时,通过采用扩散模型,Sora还能够生成更加逼真的视频场景。

5.3 生成视频的数据处理和压缩

生成视频需要处理大量的数据,对于这一问题,Sora模型采用了数据处理和压缩的技术。通过对视频数据进行处理和压缩,Sora能够在保持视频质量的同时,减少存储空间的占用。

5.4 视频质量和逼真度

Sora模型在生成视频的过程中,注重保持视频质量和逼真度。通过采用Transformer架构和扩散模型的方法,Sora能够生成更加连贯、且具有很高逼真度的视频场景。这使得Sora在应用领域具有广泛的潜力,比如可以用于影视制作、游戏开发等方面。

参考链接:https://www.openai.com/research/sora/

6. openai sora如何使用的常见问答Q&A

问题:Sora是什么?

  • Sora是由OpenAI开发的AI视频生成模型。
  • Sora可以根据用户提供的描述性文字生成长达60秒的高质量视频。
  • Sora的视频包含精细复杂的场景、生动的角色表情和复杂的镜头运动。

问题:Sora怎么使用?

  • 登录OpenAI账户并找到Sora的使用界面。
  • 在指定区域输入您的文本描述,可以是一个故事概述、场景描述或是具体的动作指令。
  • 点击生成按钮,OpenAI Sora会根据您的文本描述生成视频。

问题:Sora的优势有哪些?

  • Sora具有极强的扩展性,基于Transformer架构,可以应用于各种场景。
  • Sora能够生成高质量、高清的视频,展现复杂场景的光影关系、物体的物理遮挡和碰撞关系。
  • Sora可以创造出包含多个角色、特定动作类型以及与主题和背景相符的详细场景。

问题:Sora的训练原理是什么?

  • Sora的训练分为两个阶段。首先,使用一个标注模型为训练集中的视频生成详细描述。
  • 标注模型生成的描述能够更好地指导Sora生成视频。
  • Sora利用稳定扩散(Stable Diffusion)技术将静态噪声转换为连贯图像。
  • Sora模型采用初步的扩散模型生成视频长度,并逐步消除噪声完成视频。

参考链接

Sora简介