撰文| 文烨豪
编辑| 王 潘
WAIC 2026,一半人挤在具身智能展台,一半人在聊AI终端,大模型俨然已是上个周期的叙事。
7月18日,WAIC 2026期间,商汤却反其道而行,掷出了一枚重磅炸弹:正式发布下一代旗舰多模态基座模型——商汤日日新SenseNova-U1 Pro(以下简称U1 Pro)。
作为“日日新 SenseNova U”系列的旗舰版本,U1 Pro定位为面向长程任务的交付级原生多模态智能体基座,实现理解、生成和行动的深度统一。换言之,U1 Pro并非又一个升级参数的文生图模型,其本质上是把多模态AI从过往的单点内容生成,推向闭环完成复杂、长程任务的系统交付阶段。
据悉,U1 Pro由商汤科技联合创始人、首席科学家林达华牵头负责,旨在对标OpenAI旗下GPT-Image-2。而在对话环节,林达华指出U1 Pro在设计感和文字准确率等维度都实现了关键突破。
这句话分量不轻。毕竟,GPT-Image-2作为图像生成领域的SOTA模型,发布至今三个月过去,严格的实测下来,国内能摸到其尾灯的模型都没几家。
林达华的底气,来自对模型本身的判断。
在他看来,U1 Pro不是又一个传统的文生图模型,是一个创作模型。
传统文生图的逻辑是一步到位,prompt输进去,一张图直接出来,中间是黑箱。用户能做的无非是调参数、换prompt、反复“抽卡”,本质上还是素材生成工具。
U1 Pro则不是。据悉,作为旗舰版图片创作模型,U1 Pro基于统一基座内生的理解、生成和行动能力,支持长程图文交错思维,能够围绕复杂目标进行数十轮的Agentic Generation Loop(智能体生成循环)。
换言之,其可以像一个真正的设计师那样工作,有思考、有自我修正,以及从草图到成稿的完整链路,支持8K原生分辨率输出,输出质量达到“交付级”。
过去很长一段时间的文生图竞赛,评测维度众多,却有一个最本质的问题始终没解决,即这张图,敢直接交给客户吗?
答案,普遍是不敢。
林达华举了一个文字生成场景的例子。一张图一百个字,错一个字,普通评测扣一分,模型能拿99分;而交付级标准下,但凡错一个字,这张图就不能用,99分约等于0分。
设计、审美是多元的,图片创作的诸多维度,亦没有像文字对错这般绝对的评价标准,商汤就找了200位美院同学、设计师当裁判,每张图都会问一个问题:愿不愿意把这张图交给你的客户?
据林达华透露,六成以上通过率,才算摸到交付级的门槛。而无法跨越这条工业红线,便很难大规模走入商业场景,形不成闭环,也就攒不起迭代飞轮。
商汤的内部评测中,目前能过线的模型只有两个,一个是GPT-Image-2,另一个就是U1 Pro。
至于为什么是商汤先摸到了这条线?一重原因在于技术架构。
据悉,U1 Pro之所以能够突破“生成”边界、走向“稳定交付”,其底层核心得益于NEO-unify内核架构在原生多模态体系中实现语言和视觉的统一表征,打破了理解与生成的割裂壁垒。
另一重原因,或许来自信仰。
对弹药充沛的巨头而言,信仰并不重要,毕竟其有足够的筹码同时押注所有路线,哪条跑通便加码哪条,错了也不至于伤筋动骨。腰部玩家则没有这个资本,只能找准路线,把所有资源砸进去,往深了打,打穿为止。
在林达华看来,商汤是一家中等规模的公司,很难像巨头那样到处撒网。好在,领头这批人,包括他自己,原来都是做视觉出身,对这件事有很深的信仰,愿意死磕到底。
“这种信仰,指导着我们无论在哪种环境下,都一直往这个方向走,不断地产出成果。而坚持信仰,会使我们形成非常深的积累,这可能是我们很独特的一个优势。”
商业上亦是如此,没人不想直达终局,只是弹药撑不到那天,只有“沿途下蛋”,靠设计、巡检、外卖等场景赚到钱,反哺底座研发,才能实现正向循环。
而眼下,就设计行业而言,AI交付的时代已然启幕。至于交付级标准怎么定、U1 Pro与GPT-Image-2孰优孰劣、原生架构的优势、设计赛道盘子有多大?
在本次大会期间,林达华与光子星球等进行了一场对话,以下为对话的主要内容(在不改变原意的前提下,略作删改):
从“生成模型”到“创作模型”
Q:U1 Pro定义为业界首个“理解・生成・行动”原生统一的多模态智能体基座,第一个阶段落点放在图片生成上。用一句话区分U1 Pro和传统文生图模型的话,会怎么讲?
林达华:这是一个创作模型,不是一个生成模型。以前所谓生成模型的逻辑是,我给一个prompt,它直接出一张图,中间是没有过程的。
举个非常简单的例子,现在大家所关注的Coding或者Agentic Engineering,建立一个软件也不是一步建立出来的,是用户给了需求之后,经过若干步的思考、反馈、迭代,一步一步构造出一个很复杂的软件。
图像也一样,整个构造的过程也不是单步出的,只是我们没有把思维链背后的思维、推理链路完全展示出来,实际上也是多步迭代过程中逐渐形成这张图。
有点像一个会思考的设计师,从一个草图或者版式出发,接到需求之后,再想表达这么一个意向该用什么版式来做?先把版式画出来,再看一看是不是符合想象中的样子。先把版式调到一定程度了,在每个地方填入一些内容,最后再整体地去调色或者refine。
就像Coding模型打造出来的不是一个software,而是一个架构师和一个programmer。整体来说,U1 Pro不只是一个生图模型。某种意义上可以理解为,它就是数字空间里面打造出来的一个设计师,会围绕怎么创造一个具有美学感的成品,一步一步去完成工作。
这过程中它会有理解,比如判断图片与prompt、跟用户的需要是不是一致。每一步的编辑和生成都会去做,而且不止做一次。所以在我们看来,它有理解的能力,也有生成的天然能力,同时也有根据当前情况做出decision、去plan下一步做什么的能力。
Q:图像生成过程中,是由多个智能体执行任务吗?背后是怎么做的?
林达华:其实就是一个模型,但这个模型,比如说你用Claude模型或其他模型写程序一样,同一个模型会执行多个步骤,一个loop出来一个最后的结果。我们模型也是同样的道理,同一个模型执行多个步骤之后,完成一个loop,就出来一个成品的设计图。所以某种意义上也可以理解为它实际上是面向设计的一个智能体,背后依托的就是一个很强的模型。
同时,生成部分调用的是它内生的能力,理解部分也是它内生的能力。但有些事情可能确实需要一些外部支持,比如你去问“请你写一下今天世界杯的报告,出一张世界杯的海报,哪个队跟哪个队比分多少”,那这个模型显然是不具备这个信息的,它可能就要去搜索,也会具备一些调用外部工具的能力。
Q:图文交错的思维具体是怎么思考的?背后的技术原理是什么?
林达华:它会提供一个Action Space。冷启动的时候,我们会把很多设计师提供的专业意见整理成为一些Instruction思维链,这个思维链会帮助模型做冷启动。
之后我们还会做RL,背后有一个非常强的、由几十个维度共同对图片进行评价的reward,所以会是一个Multidimensional Reward Model。在这个驱动下面做强化学习,每张图出来都会给一个feedback,哪里做得不好、哪里做得好,那么它就会在过程中去学习怎么充分灵活使用各种各样的能力,比如生成能力、编辑能力、组合构建的能力等等。
所以,最后它实际上自己是有sense的,看到不同的用户需求、看到不同的画面的时候,下一步应该去plan什么样的action,它自己就会有这样一个sense。
Q:去年开源了NEO-unify架构。在原生架构里,模型怎么决定这一步该输出文字还是输出图片?这个决策是在训练中自己涌现出来的,还是有调度信号之类?
林达华:没有调度信号,就是一个不断地put the next token。我们也会做预训练、retraining、SFT和做RL。这里面架构提供了image跟text共同表达的space,但训练上还是沿用主流的范式,只是具体训练配方上做了非常多功夫。
Q:首发U1 Pro只有生成的能力,图像编辑能力过后会上线,为什么没有一块上线?
林达华:其实让它把编辑加进去也可以,但是我们要确保每一个上线的功能,交互体验都是非常好的。前期在U1 Pro出来的时候,我们先把效果打磨到极致,接下来会去打磨交互体验。因为编辑涉及的是交互体验,所以得把这个事情打磨好了之后,也会在今年,我估计不久的将来,推出来给用户服务。
对标GPT-Image-2,达到“交付级”
Q:U1 Pro这次强调成品级还有交付级。设计结果比评分复杂得多,包含美学、商业化标准,商汤内部如何定义交付的标准?
林达华:我们认为60分叫做交付级。什么叫60分呢?我们有一个由200位美院的同学、设计师组成的团队。他们会给每张图打分,我们出一张图,他们每张图都会去打分。就是这张图,如果你作为一个设计师,愿不愿意把这张图交给你的客户?如果生成的图片中有60%能够达到这个标准,我们就认为达到了交付级。
目前来说,普通的生图模型,比如今年年初以前出来的各种生图模型,包括小规模的一些开源模型,在这块的交付率,或者被采纳作为可交付的比例,都是个位数。近期出来的一些更加商业化的模型,包括Nano Banana,交付率都低于五成。
内部评测里面,真正能够达到可交付的就两个模型,一个是咱们的U1 Pro,另外一个就是GPT-Image-2。
Q:U1 Pro和GPT-Image-2做对比的话,目前哪些能力有显著的优势?哪些方面还不如Image-2?
林达华:我们自己内部观察的话,模型的文字能力,还有整体的设计感,甚至在一定程度上比GPT-Image-2还是稍胜一筹的。
我们为什么强调设计感这件事?因为这个过程中我们有一些强化学习的过程,大量的设计师是陪着我们迭代的,我们有起码200位设计师在迭代回路上面,不断给模型提供反馈,这使得模型有很多设计感的东西。所以我觉得它的设计感,还有对文字、其他中式文化细节的表现力,都是比较强的。
另外,它可以在某些领域下面原生出8K清晰度的图片。GPT-Image-2只能出到4K。
Q:8K图像也是这次的一个亮点。但是8K高分辨率可能也意味着视觉token数量增加,标准attention的计算开销也会上升。U1 Pro具体通过哪些方式控制计算量和显存这些成本?
林达华:我们使用的是大patch(图像块),32×32像素为一个patch;普通的生图软件用小patch,16×16。如果每个patch在它的latent representation(隐空间表征)里面代表一个token,或者代表一组token的话,因为采用32×32的patch,计算量已经可以降低到原来的四分之一。
但是这个过程中有一个挑战,当你使用大token的时候,每一个token的精准控制能力是做不到位的。这就是我们技术里很重要的一个地方。
我们使用了自适应的noise reduction(降噪)分级,在细节地方会注入更多的noise来使得它能够学好细节。Adaptive Noise Control(自适应噪声控制)使其即使是32×32的大patch下面,也能够有效地捕捉细节。
而且我们使用32×32的话,也允许它有一定的重叠,不是完全分成若干个离散的16×16的patch。包括我们在空间采样上的创新,以及在降噪上的布局,以及在模型结构设计上做的一些专门优化。这些共同使得它能够在context没有爆炸性增长的情况下,还是能够获得非常强的大图生成能力。
Q:U1 Pro支持原生8K输出。影视分镜、城市规划这种场景里面可能是刚需,但是对于大多数商业设计场景可能又有一些性能过剩。商汤在做产品定义时,是怎么看待8K的市场需求的?
林达华:我觉得8K确实是能满足部分需求,但是8K并不是我们唯一的亮点。我们的亮点包括有很强的设计感,对文字和细节有很强的控制力。
如果说U1开源版时不时有错字的话,那么现在U1 Pro的错字率非常非常低,设计感是很强的,这些都是让这张图能够去交付的关键要素。所以关键点还是,无论是设计细节的控制力、美感,还是高分辨率,这些都构成了共同可以实现面向客户最终交付的品质的基础要素。
“99分=0分”
Q:U1 Pro瞄准的是设计的场景。设计现在也是很多顶级多模态模型的方向,包括OpenAI和Google。您觉得这个赛道决胜的关键变量是什么?
林达华:关键变量就是你真正能创造价值,真正交付人家需要的东西。这跟Coding在商业逻辑上是一样的。Coding就是我要造个软件,你给我造出来,符合我的要求。对设计来说也是一样的,你不能给人家看一张图挺好看,但是到处都有一些毛病,没办法拿来用,那这个东西就打不穿价值闭环。
所以这件事情,任何技术都是一样的,它能够获得持续迭代,能迭代起来了,才能够持续地建立迭代的壁垒。对我们来说,打穿工业红线是非常重要的。
对于团队来说,以前的生图软件怎么评价的?对于交付级的设计模型来说,评价维度有一个很根本的区别在于,比如一张图里面有100个字,如果这100个字里头错一个字,你大概率是不敢把那张图拿出去打印之后满大街去贴的,这个很不专业。
但是在普通的生图评价里面,100个字错一个字,你是99分,因为我是平均来评价所有维度,每个维度占一分,把100个字每个字一分,错了一个就99分。但是对于交付级生成来说,100个字错一个字,这张图就是不能交,那就是0分。
为什么很多生图软件在这里,只能拿到个位数的分数?因为大部分模型生成出的图要不这里有点问题,要不那里有点问题,虽然整体上看确实那么回事,但是你没法拿去做交付,也就没有办法形成一个真正的交付的商业闭环。
我们得非常严苛地做到每张图里面没有瑕疵,生出来了你就拿去打印。在这里面我们才说叫有60%的图、70%的图达到交付级。一旦达到了交付级,它就能够真正大规模地切入到这个行业的商业应用。商业闭环就能够运转起来,我们就能够通过这样的持续迭代,在这里面去构建一个很好的商业跟技术迭代的飞轮。
大家为什么要投入这个赛道?因为本身设计行业,无论是城市设计、平面设计、工业设计,都是个非常巨大的商业赛道,它在整个国民经济里的占比,甚至都不一定亚于像Coding这样的赛道。这里会产生巨大的商业价值,而现在模型到临界点了,只差临门一脚,赛道就会被打开。所以在我看来,接下来这几个月,这条赛道可能会有非常大的商业化变化。
Q:商汤在这个赛场的差异性会体现在哪?
林达华:商汤的竞争优势,第一个是我们使用的原生模型,整个多模态的理解生成都在一个模型里面融合在一起,没有沟通成本。
学习效率方面,我们早期提到过,可以用十分之一的数据就达到同样顶尖的SOTA模型水平,学习效率非常高。去掉了VE(视觉编码器)和VAE(变分自编码器),采用浑然一体的Transformer直出架构,服务效率、计算效率、推理效率也都非常高。
而效率高,使得我们能够以比Google和OpenAI更低的成本迭代模型。DeepSeek的启发很明显,有了高效架构之后,学习和各方面成本都会降下来。再加上我们的商业闭环,我们有信心未来能够形成非常有效率的竞争优势。
Q:发布定位是对标Image-2,Image-2其实是4月底的产品了,感觉风潮和热度好像也有点过了。为什么7月这个节点还要打出这样一个理念,中间怎么考虑的?
林达华:设计行业已经存在几十年了,不是今天才突然诞生的,需求一直都在,不会因为热度起伏就消失。只是说什么时候有一个模型能够把这个需求打开。所以我觉得这不是一个早晚的问题,目前在国内,我还没看到第二家能够先把这个做出来,但起码在这个过程中,商汤还是走到了国内前列的位置。
Q:想要做一个设计类的模型,现在跑到行业头部的设计类产品,整体有一个特点,就是比较吃设计师生态,基本上会有运营很多年的社群,无论是Canva也好还是国内的美图也好。这一块目前是什么样的计划和布局?
林达华:对我们来说,过往的设计确实要去找设计师,但其实是传统行业或传统互联网行业运作的方式,通过人供需的对接形成网络效应,我这边有很多设计师,然后给我去做那样的一些东西,但现在所有这些东西都融到一个模型里头去了。从某种意义上来讲,它实际上会颠覆这种原有的行业运作模式。
Q:这次还强调设计模型有东方美学的优势,这个优势具体体现在哪里?是数据的来源,还是排版的逻辑或其他?
林达华:从技术原因去trace的话,可能就是我们确实因为在国内或者我们的文化背景,在做这个数据的时候,相对来说也会有意地放大这块的比重,所以我们观察,它涉及到一些东方艺术的时候,确实有更多韵味。而东方的很多艺术,主要体现在字体上面,我们在这块也下了很大的功夫,书法这些东西是国外模型可能没有专门关注的东西。
Q:市面上已有的设计AI模型也好、平台也好,现在更多的会想要去to b的生态,基本上有点放弃普通的c端用户了。U1 Pro到底是面向怎样的客户群?是普通大众,还是有设计商业化需求的小b?基于这样的生态,商业模式是怎样思考的?
林达华:我们现在主要还是先把性能得过线,这是我们当前最核心的目标,确实已经在初步达到这样一个目标了。刚才提到有两个模型,一个是快版的,一个是专业版的。
专业版,我们已经有一些KA客户在内部环境中去试用了;快版,更多是成本敏感的普通C端用户使用。
而且事实上,商汤过往有一个很重要的商业模式叫C to B。比如我们有一个产品叫小浣熊,它现在应该有200多万的周活,有了C端的用户口碑,我们再去向B端的客户去介绍产品的时候,大家的沟通成本就会低很多,教育成本也会低很多。
C端可能并不是我们收入的主要来源,但是它给我们带来了很多最终能够给我们付费的B端客户。
世界模型与长期愿景
Q:现在大家都在讲世界模型,每家说的都不太一样。在商汤的定义里面,一个模型需要具备什么才可以称作是世界模型?U1 Pro的基础上如何更进一步,下一步去跨向世界模型的愿景?
林达华:首先世界模型得能够有效地去建模这个世界。所谓世界模型是什么意思呢?当你对这个世界采取任何一个动作的时候,比如机器人往前走一步,又或者端起个杯子,这个世界的状态会发生一定的变化。
世界模型就是能够尽可能忠实地反映这个世界对于各种Interaction、Action的变化。所以世界模型不只是一个视频生成模型,而是能不能有效地反映各类交互带来的状态变化。而世界模型的范畴其实非常广泛,像最近AFS里面的虚拟细胞,那种也叫世界模型,它模拟的是生物学的反应。
对于U1来说,它提供的是一套公共的基础。因为对于世界模型来说,来了一个事情能不能做反应?面对世界怎么去做出应有的响应,有些时候需要思考,有些时候需要把反应以视觉的方式展现出来。
所以某种意义上,背后一定需要同时具备逻辑思考的能力和视觉呈现的能力。这两者相结合,才能够提供世界模型坚实的基础。
因此对我们来说,能够把文字、视觉和语言统一在一个地方,提供一个公共基础进行联合学习,是最根本性的技术基础。不是说拿一个视频生成的模型改一改就行,那很难做好的。一定得有个很好的地基,语言跟视觉的呈现能够联合建模,在这个上面才能解锁各种事情,包括世界模型、机器人的大脑,也包括之前说的设计。
Q:商汤有绝影的开悟世界模型,还有悟能的具身智能平台,U1 Pro如何与两大世界模型的资产进行深度耦合呢?
林达华:其实技术体系是一脉相承的,我们在世界模型、设计模型、视觉模型,都是理解生成统一的基础架构往下去迭代出来的结果。可以看到我们用一个架构服务了很多很多不同任务和领域。这些下游的模型提出的各种各样技术上的挑战,也会反过来指导我们上游的基座的迭代。
Q:U1 Pro在数字智能融合物理智能这个路径上,希望扮演什么样的角色?最终想要攻克的是世界模型的一些难题吗?
林达华:最核心的目标是实现视觉与语言的联合涌现。海量语言数据共同训练催生了GPT时刻,开启了今天的大语言模型时代。但视觉领域的涌现始终被期待,却一直没有真正到来。
这里面有好几个原因,一个就是架构上尚不成熟,还没有一套能将广泛视觉数据融入统一体系的技术架构。而我们的unify model,正是希望为视觉与语言的联合涌现提供基础。
NEO-unify架构,就是我们为视觉与语言联合涌现打造的技术底座。当然这还需要海量、广泛的视觉语言联合数据来支撑,这是我们的长期愿景。
往下走你会看到不同的落地路径,比如以设计的思维去联合语言跟图像,世界模型里也有思维链与机器人行动来构建语言与视觉世界的闭环。当足够的数据汇入统一架构,能否触发真正的涌现?我们充满期待,而且事实上已经有点苗头了。
当然这个还是在非常初步的阶段。随着我们有多个行业的视觉跟语言联合的数据一起沉淀到底座下面的时候,我们还是有很大的期待,也许在不太远的将来就能到来,那时候会再一次地改变整个行业。
商汤的“快”与“慢”
Q:现在模型迭代的节奏越来越快,所有人都在说“快”。您对“快”这个字到底是如何理解的?是决策和迭代的速度要更快,还是比别人更早看到未来?您身上有没有FOMO感这方面的感受?
林达华:这里面有两个事情,一个是你的目标、你的愿景和目标,第二个就是你的执行路径。
从愿景的角度,我觉得任何一个方向,当你到了一定的高度的话,肯定都不是说一个月、两个月,或者三个月的时间,就能够完全在一个方向建立起很深厚的竞争力的。
像OpenAI推出ChatGPT,也不是说在2022年11月就突然花三个月时间把模型做出来,而是长时间的铺垫,到那个时候厚积薄发。
到了这样一个临界点之后,当产品推出来,获得了非常多的用户和反馈,这个时候再往下迭代,速度确实可以有非常大的提高。
你要在某一个阶段达到一个非常快的速度,而且这个“快”是一种有实际价值的方式往前去迭代的话,前期是离不开长时间的持续投入和积累。到了某个时间点,各方面的基础设施、闭环链路都准备就绪,产品和技术推出去之后,有大量的反馈进来,迭代基础就会非常好。这个时候才能真正快起来,迭代速度也能够让竞争壁垒持续建立得更加深厚。
所以在我看来,快跟慢其实要辩证地看。“慢”代表长期主义,坚持在一个方向上持续投入;而“快”代表投入建设起来的一整套基础闭环,能够让你快速往前推进。但“快”一定不能是打一枪换一个地方,那样就没有办法形成长期复利的飞轮。
Q:从数字空间到真实空间整个比较漫长的迁徙过程中,公司生态里面有字节、腾讯这样的大公司,还有一些独立的AI公司。目前商汤大概在竞争生态中处于一个什么样的位置?
林达华:商汤今天的收入体量属于中等规模的公司,很难跟所有巨头直接拼体量。但商汤有一点我觉得很好,就是我们对技术路径非常认定,无论是徐立、晓刚和我,还有下面的团队,对这件事情都非常坚持。
你看我们的开悟世界模型也讲“理解生成预测统一”,我们在这里讲“理解生成行动统一”,其实都是同一个统一的架构在往前去探索不同领域下的可能性。
背后有个原因,就是我们可能都是原来做视觉出身的,对这件事有很深的信仰。这个信仰指导我们无论在哪种环境下面,一直都在往这个方向去走,而且不断地做出一些成果。这种信仰的坚持,会使得我们能够在这个过程中形成非常非常深的积累,也包括商汤过去在视觉的积累,这是我们可能很独特的一个优势。
我觉得智能的本质,每个阶段都有不同的热点,但长期的终局路径不会有太大变化。可能哪个行业先打穿了,哪个行业就在某个阶段更热一些。所以我们的这种坚持,最后形成的积累复利,让我们有信心能够走到那个终局点上。
但过程中我们得沿途下蛋,我们也在探索,做到这个阶段先率先打穿一些行业,让我们能够获得持续的商业闭环,支撑我们往下走下去。
微信号|TMTweb
公众号|光子星球
别忘了扫码关注我们!