元宇宙网

您现在的位置是:首页 > 全球快讯 > 技术前沿

技术前沿

Kakao Brain通过新的面部交换技术为元宇宙带来了巨大的改进

2022-05-24技术前沿
Kakao Brain通过新的面部交换技术为元宇宙带来了巨大的改进

  韩国首尔 2022 年 5 月 8 日 /美通社/ -- Kakao Brain 今天宣布开发其最新的换脸技术“Smooth-Swap”,旨在通过增强身份嵌入来扩展平滑换脸的能力[1] .在用集成的平滑身份嵌入器替换现有系统的复杂外部模块后,该创新模型具有开创性的简化架构,从而促进更快、更稳定的人脸交换。

  作为 Kakao Brain 换脸研究的另一个重要里程碑,该公司的“Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness”论文将在即将召开的全球计算机视觉会议 CVPR 2022[2] 上第二次发表连续一年。这将包括为接受文章中最优秀的论文保留的独家口头报告会(今年接受了 8,161 篇论文中的 25.33%)。在去年的活动中,只有 4% 的被接受论文有时间进行口头报告,其中 Kakao Brain 因其出色的研究论文“HOTR: End-to-End Human-Object Interaction Detection with Transformers”获得提名。今年,“Smooth-Swap”不仅显着降低了其架构的复杂性,而且还具有巨大的商业化潜力,这两项都得到了首屈一指的计算机视觉会议的认可和奖励。

  准确且一致的身份梯度 [3] 对于在不牺牲图像质量的情况下无缝更改一个人的身份至关重要。通过监督对比损失训练,“Smooth-Swap”通过学习具有更高平滑度的嵌入来获得其稳定的身份梯度。这些改进解决了早期模型添加手工组件和 3D 面部建模的弱点,这最终使其设计复杂化并需要复杂的超参数调整。相反,“Smooth-Swap”依赖于简单的基于 U-Net 的架构和集成的平滑身份嵌入器来提供尖端性能。

  “Smooth-Swap”的简单架构和增强的性能不仅使其技术在商业化潜力和更广泛的应用方面具有竞争力,还使其能够面对更具挑战性的换脸场景,例如视频播放期间的换脸。 “Smooth-Swap”提出了一种差异化的身份嵌入方法,并使生成器能够创建更高质量的图像,尤其是在改变对象的面部形状时。通过Kakao Brain的“Smooth-Swap”,可实现快速稳定的换脸,有望开发出各种数字人,如虚拟影响者、节目主持人和播音员。

  Kakao Brain 首席执行官 Kim Il-doo 表示:“我们很自豪和兴奋地向全世界推出突破性的换脸技术‘Smooth-Swap’。 “我坚信这项技术将加速换脸领域的创新,使我们更接近我们一直梦想的令人难以置信的沉浸式虚拟世界以及未来的数字人类服务。”

  关于 Kakao Brain

  Kakao Brain 是一家世界领先的人工智能公司,拥有无与伦比的人工智能技术和研发网络。该公司由 Kakao 于 2017 年成立,旨在通过其改变生活方式的人工智能技术提供解决方案来解决全球一些最大的“不可想象的问题”。不断推动技术领域的创新,Kakao Brain 开发了许多突破性的人工智能服务和模型,旨在提高成千上万人的生活质量,包括 minDALL-E、KoGPT、CLIP/ALIGN 和 RQ-Transformer。作为人工智能的全球先驱,Kakao Brain 肩负着培育充满活力的科技社区和强大的研发生态系统的责任,因为它履行着形成具有无限潜力的新科技市场的使命。欲了解更多信息,请访问 https://KakaoBrain.com/。

  [1] 身份嵌入是用于比较身份的人脸图像的向量表示。如果两个人脸的表示向量(或嵌入向量)足够接近,则认为它们的身份相同。

  [2] CVPR (Conference on Computer Vision and Pattern Recognition) 自 1983 年以来由电气和电子工程师协会 (IEEE) 和计算机视觉基金会 (CVF) 共同主办,被认为是计算机视觉和模式识别领域最受认可的年度会议之一。计算机视觉领域,以及欧洲计算机视觉会议(ECCV)和国际计算机视觉会议(ICCV)。

  [3] 身份梯度是一种学习信号,告诉换脸模型必须调整哪个部分才能准确地改变人的身份。

文章评论