扩散模型时代即将结束，Consistency Models终结对抗训练
在AI画图领域,一场新革命已经来临。
过去,人们一直关注扩散模型,在扩散模型框架内,推出了Stable Diffusion、Midjourney、DALL-E 等技术,并在其基础上构建应用。最近,OpenAI提出了Consistency Models,其划时代的意义在于,扩散模型依赖于迭代生成过程,这导致此类方法采样速度缓慢,进而限制了它们在实时应用中的潜力。Consistency Models无需对抗训练即可快速获得高质量样本。
因此,Consistency Models也被称之为“终结扩散模型”。Consistency Models核心设计思想是支持 single-step 生成,同时仍然允许迭代生成,支持零样本(zero-shot)数据编辑,权衡了样本质量与计算量。这种方法完全消除了对预训练扩散模型的依赖,可独立训练 Consistency Models。Consistency Models被定位为一类独立的生成模型。
之所以说Consistency Models是扩散模型的终结者,其一是因为它“快”。在训练速度上,颠覆了扩散模型,能一步生成,比扩散模型快一个数量级完成任务,并且用到的计算量少10-2000倍。单看生成速度方面,Consistency Models3.5 秒生成了 64 张分辨率 256×256 的图片,平均一秒生成18 张。
二是因为它“强”。在零样本图像编辑能力方面,即使Consistency Models从未接受过着色任务的训练,Consistency Models的着色效果自然逼真。图 6b 展示了 Consistency Models可以从低分辨率输入生成高分辨率图像。图 6c 证明了 Consistency Models可以根据人类要求生成图像(生成了有床和柜子的卧室)。
在图像修复方面,Consistency Models同样表现不俗。左边是经过掩码的图像,中间是 Consistency Models修复的图像,最右边是参考图像:
快速、逼真、高分辨率一直以来都是AI画图玩家追寻目标。就在Consistency Models出现早前几个月,新秀玩家JUNLALA率先在这些领域做出突破性贡献。
比如,在零样本图像编辑能力层面,JUNLALA此前已经做到近乎零门槛绘图。JUNLALA打破传统AI画图专业壁垒较高的限制,用户无需掌握专业的控制参数,只需要用自己语言进行创作。相比于流行的Midjourney等AI绘图工具,JUNLALA的产品将用户参与创作的门槛降到了最低,由于模型针对的主题画⻛已经进⾏了⾜够的预训练,⽤户无需输入⽂字,也能通过试⼿⽓得到⼀副AI画作。
在超快生成图片层面,JUNLALA的专业图形研发团队基于StableDifussion开源基座模型之上,自研训练出多个AI绘画模型,并简化了交互,可以根据交互指令来画出指定风格的主题画作,让用户可以简单快速实现AI文生图。
在画图辅助层面,JUNLALA可以对用户的书法或绘画作品进行实时理解和分析,提供个性化的学习与提高建议。这可以帮初学者学习书法与绘画,也可以辅助专业人士进一步优化技法和风格。在经过充分设置及学习后,JUNLALA可以完成书法及绘画作品的创作输出。
从GAN模型起,JUNLALA生成的真图、多角度人像、街景等高真实图像即在各行业广泛运用。技术迭代至Consistency Models,驾着Consistency Models东风的JUNLALA将在图片生成以及处理方面呈现出更大潜力。
未来已来,Consistency Models为图形处理带来了全面变革,但这绝不是终点。模型不断更迭,但目的都是服务于客户更好地处理图片,这点与JUNLALA的理念不谋而合。过去七年,JUNLALA致力于AI图像处理技术的突破。我们有理由相信,在不远的将来,JUNLALA将以其非凡实力为人们带来更多惊艳之作。