Sora-风声-视频中揭秘万有引力公式 (sora风险评估)

作者｜刘正无需赘述，2024开年大事件就是Sora，几乎所有人都见识了Sora带来的震撼：极为细腻，真实渲染，情节连续可持续60秒的视频，如同这不可能存在的冬日樱花一样，模糊了真实和虚幻的边界。仿佛回到ChatGPT问世的那一天，OpenAI又一次震撼了世界。在碾过一整条赛道AI初创公司的同时，连带着助力NVIDA拿下美股史上最大涨幅（以市值计算）。看着这一片欣欣向荣的狂欢，仿佛这次真的要被西方先进生产力按在地上摩擦了。所以真的有这么可怕吗？从技术上看，Sora恐怕是过誉了经过数日的挖坟，业界逐渐了解到Sora是基于纽约大学助理教授谢赛宁和学生BillPeebles（如今任职于OpenAI）共同发表的DiffusionTransformer（DiT）的思路来开发的。Diffusion是常见的文生图算法，通过给已标注的图片加噪点直至扩散成完全的白噪音状态，那么将这一操作倒过来就实现了按标注从白噪音中生成与文本对应的图片。在这一点上，Sora和StableDiffusion,Midjourney以及OpenAI自家的DALLE工具没有太多差别。Sora的独到之处，是用GPT中常用的Transformer替换此前常用的UNet模型，来生成下一帧图片。还有，为了把在ChatGPT上玩得炉火纯青的Transformer应用到视频上，OpenAI采用了独特的时空补片（SpacePatch）方法（对应大语言模型中的Token）。通过把视频理解为三维空间（二维图像+一维时间）里堆叠的立方体，将其拆解成隐空间里一个个按时间排序的patch，再套用GPT的Transformer模型进行概率预测分析，最后将其解码回来即可获取后续帧的排列方式。在生成过程里，不断重复这一步骤1440次，就得到了连续流畅，时空一致性极高的60秒视频。无论用了多少工程上的trick，究其本质，Sora所做的仍然是开局一张图，后续全靠猜，不断输出下一帧像素的最大可能性组合。只不过OpenAI调教下的Transformer大力出奇迹，效果之好令人震惊。但OpenAI并没有发明全新的框架，所以仅仅过了两周，StableDiffusion3就正式发布了，用了和Sora同款的DiT框架，在进度上咬得紧紧的。可见，只要显卡管够，算法之下众生平等。这里并不存在去年ChatGPT刚问世时的技术代差。Sora还不具备理解因果律的能力OpenAI宣称Sora是作为世界模拟的视频生成模型，听起来神乎其神的。如在下面这个视频里，在不同角度的镜头切换中，人物和背景的细节一致性好的出奇，仿佛Sora是先在内部构建了人物和场景的3D模型，再对其进行模拟拍摄而产生的画面。其实，这是人类自欺欺人的幻觉。很多人都发现Sora生成视频中有些不合理之处，如这个考古挖掘的视频中，椅子完全不受刚性和重力影响，凭空出现，随风飘扬和变形。任何一个人都能看出这里的诡异之处。师从丘成桐的顾险峰教授深刻讨论了这些bug背后的真相：Sora其实完全不理解真实世界的物理因果律，它只是寻找到了几何上足够平滑的点云分布。而且找到的这个分布基本是局部的最优解，缺乏对长程物理关系本质及表观的体现。比如在下面这个视频中，老太太做了吹蜡烛的动作，但蜡烛却没有被吹灭。这是因为吹熄蜡烛是三维世界里以看不见的空气为中介隔空发生的物理作用。而在二维画面中，蜡烛和人物分属于隐空间中两个无关的patch，但没有任何像素来自看不见的空气，所以Sora无法在蜡烛和人物的画面间建立起因果关系，也就预测不出也画不出吹熄这个效果。这就回到我们一开始所说的，Sora的本质是预测下一帧像素的最大可能性组合。但这种基于归纳的相关性统计方法，无法真正理解具有解析解的物理演绎逻辑。语言或许可以表征人类能表达出的所有的知识和社会建构，所以大语言模型

---

Blind Game again[OVA：BAD LUCK]Blind Game again かなりキレてるDollいつまでも変わらない夜をぶち壊せざわめく风に めぐるライトが音を立てて 记忆とばす きっと知らぬはずもない诱惑心を乱す君のペースじゃ 何も残せず夜が明けるまだ见えぬ终着は幻覚Don\t Let me Down いつも媚びてるだけCry for the sun 何も见えやしない自分の中で谁が叫ぶ？Blind Game again かなりキメてるDoll届かない梦ならいっそ 脱ぎ舍てろDrastic Game a Game かなりキレてるDollいつまでも変わらない夜をぶち壊せ流れる涙 はびこる嘘に 自分をそめて梦を逃す空に舞う 灰色の情热Don\t Let me Down きっと気付きゃないCry for the sun 君と壊れたいぜ全てを燃やす 瞬间を止めろBlind Game again しけた瞳のDoll意味もなく涙流した夜が明けるDrastic Game a Game ためいきだけのDollどこまでも変わらない夜をぶち壊せBlind Game again かなりキメてるDoll届かない梦ならいっそ脱ぎ舍てろDrastic Game a Game かなりキレてるDollいつまでも変わらない夜をぶち壊せBlind Game again 发狂的玩偶破坏那一成不变的夜晚吧！b沙沙作响的风声中 警戒灯响起了声音当记忆起飞之时 那绝对是早就知道的诱惑除了扰乱我的你的脚步声之外什麼都不留 天就这样亮了还看不到的终点是幻觉在自己心中，是谁在呼喊著：「别让我失望沮丧！你只不过老是在对他献媚！」「为太阳哭泣吧！我根本什麼都看不见！」Blind Game again 下定决心的玩偶如果是无法到达的梦，倒不如舍弃它吧！Drastic Game a Game 发狂的玩偶破坏那一成不变的夜晚吧！流下的眼泪在谎言横行的世界里，错过了自己一昧沉浸其中的梦想黯淡的热情在空中飞舞Don\t Let me Down 一定会注意到的Cry for the sun 想和你一起坏死呢把一切燃烧殆尽吧 把这瞬间停留下来Blind Game again 有著忧郁眼神的玩偶没什麼特别原因的就这样流泪到天明Drastic Game a Game 只是在叹气的玩偶破坏那任何地方都一样的夜晚吧！Blind Game again 下定决心的玩偶如果是无法到达的梦，倒不如舍弃它吧！Drastic Game a Game 发狂的玩偶破坏那一成不变的夜晚吧！Blind Game AgainBlind Game again kanari kireteru Dollitsuma demo kawaranai yoru o buchikowasezawameku kaze ni meguru raito(light) gaoto o tatete kioku tobasu kitto shiranu hazumonai yuwakukokoro o midasu kimi no beis ja nani mo nokosezu yoru ga akerumada mienu shuuchaku wa genkakuDont Let me Down itsumo kobiteru dakeCry for the sun nani mo mie yashinaijibun no naka de dare ga sakebu ?Blind Game again kanari kimeteru Dolltodokanai yume naraitsu nugi suteroDrastic Game a Game kanari kireteru Dollitsuma demo kawaranai yoru o buchikowasenagareru namida habikoru uso ni jibun o somete yume o nisusora ni mau haiiro no jounetsuDont Let me Down kitto kitsu kyashinaiCry for the sun kimi to kowaretai zesubete o moyasu toki o tomeroBlind Game again shiketa hitomi no Dollimi mo naku namida nagashita yoru ga akeruDrastic Game a Game tomeidake no Dolldokoma demo kawaranai yoru o buchikowaseBlind Game again kanari kimeteru Dolltodokanai yume naraitsu nugi suteroDrastic Game a Game kanari kireteru Dollitsuma demo kawaranai yoru o buchikowase

---

---

相关标签： 作者、 时空、 编辑、 本质、 险峰、 人类、 建构、 教授、 成本、 战略、 真实世界、 重塑、 连带、 初创、 代表、 背景、 量身、 情况、 纹理、 产业、 吹熄、 语言、 所需、 助力、 故事、 立场、 空间、 视频、 丘成桐、 过程、 边界、 顾问、 物理、 人物、 股史、 虚幻、 业界、 秒杀、 因果律、 赛道、 毛发、 大力、 工会、 局部、 高清、 产生、 世界、 集体、 长程、 无法、 原创、 关系、 一键、 可能性、 模型、 梦幻、 现实、 文本、 人会、 影视、 体验、 细节、 时间、 谢赛宁、 边际、 近于零、 凤凰网、 技术、 稿件、 评论部、 挖坟、 奇迹、 重力、 涨幅、 刚性、 随风飘扬、 问世、 凭空出现、 基本、 代差、 像素、 表观、 算法、 图像、 公司、 镜头、 编剧、 噪音、 蜡烛、 效果、 方式、 一致性、 画面、 变形、 镜子、 同款、 框架、 风格、 图灵奖、 动画、

上一篇：仍存疑专家疑似伊斯兰国呼罗珊认领莫斯科恐

下一篇：热议热议是什么意思