简单却困难:Animoji背后十年的技术难题
表情随心变
虽说 iPhone X 确实是一款极具诱惑力的新手机,它靓丽的外形和先进的技术很让人惊艳,但毕竟很多东西我们都已经通过爆料提前知道了。如果要说称得上惊喜的,那么 Animoji 动画表情功能应该算是其中之一了吧。
所谓的 Animoji 其实很简单,就是让手机屏幕中虚拟形象的脸随你的变化而变化。你摆出什么夸张的表情,它也会跟着“模仿”。苹果首批提供了 12 种卡通形象,无论是猫、狗、机器人、外星人还是便便,你都可以对着手机做做鬼脸,看看它们会有什么相应的变化。
别看功能好像很简单,Animoji 还必须要 iPhone X 才能够实现。因为我们知道,iPhone X 的前置摄像头是所谓的“原深感摄像头”,它能够通过将数万个光点投射到用户脸上,实时捕捉他的 3D 面谱。通过这些面部信息,设备得以让虚拟形象即时表现出和用户相似的表情来。
苹果会在发布会主题演讲中重点提及 Animoji,肯定是因为对它有颇多期望。有趣的是苹果说来很轻松,其实要真正实现它,是需要很长时间的技术沉淀的。那么有关 Animoji,这背后又有些什么值得我们去了解的技术细节?
一切的开始
早在几年前,苹果就已经开始在收购很多相关的公司了,比如 Perceptio、Metaio、Faceshift,还有市场里最好的 3D 传感器制造商之一 —— PrimeSense。虽说现在我们都已经知道苹果这些收购的目的了,但在当时它究竟想做什么,人们还是猜不透的。正是这些收购,让 Animoji 最终得以实现。但是如果要了解它的技术起源,那就是十多年前的事情了。
在过去面部捕捉还是一项很费劲的工作,虽说好的科幻电影、CG 电影都已经实现了细腻逼真的虚拟表情,但那需要演员在脸上粘上好多个追踪器。随着演员面部表情的变化,追踪器的位置也会相应发生变动,让光学系统能够追踪到,并根据这些数据构建表情变化的信息近似值,最后生成建模,然后手工调整修正。这种方法清晰、明了、有效。
但是它的缺点也非常明显,那就是费时费力费钱,需要摄影棚环境,演员还得愿意使用这些追踪器,穿上专门的动态捕捉服。这一切的不便,促使人们想要寻找更轻松简单的面部捕捉的办法。事实上从那个时候开始,研究者们就已经想到深度感应摄像头了。直到现在,这种技术都是最可行的解决方案,就像 iPhone X 那样。
然而问题就在于它说起来简单,其实很困难。我们虽然可以用各种简单的词语来描述人的表情,但每一个表情事实上都牵涉到脸部许多部位的活动,而且这些位移还是时刻在变化的。对计算机来说,要判断这些位移数据究竟意味着什么,这可非常复杂。
为什么这会那么复杂?因为尽管人的脸对我们来说,无论怎么看都是一张脸,但对机器来说,它的算法涵盖面要足够广,以至于无论角度变化,光线变化,年龄变化,民族变化,这等等所有的变数,系统都要能够认出来这是人的脸,而且还要认得出他当时的表情。即使当技术进步,深度感应摄像头已经足够复杂,能够采集所有和脸部相关的重要信息之后,让计算机读懂这些信息还是十分困难,因为对计算机来说,这些数据本质上什么意义都没有。
转变思维
为了解决这个棘手的难题,研究者们改换了思路。他们不再试图让计算机去强行读懂那些纷乱的数据,而是为它设置了许多模板作为范本。
据了解在新的思路的指导下,科学家逐渐将面部识别视为了一种几何问题。他们通过一系列面部数据和表情数据,训练算法,让它们建立多个可以去描述的静态 3D 模型。这些信息,同样也包含了民族差异和环境差异。有了这些计算模型,算法就可以更轻松地将扫描到的 3D 点阵面谱和实际的面部表情联系起来,最终实现几乎实时地将它反映在虚拟形象脸上。
看似简单的技术,其实从提出概念到最终解决问题,其实已经花去了十来年的时间。长时间以来,面部识别生成虚拟表情的技术的主要用户是视觉特效公司,用来简化他们的制作流程。然而随着技术的进一步发展,我们已经看到了诸如 Facerig 这样,它得到的更为广泛的应用。随着苹果推出 Animoji,我们可以想见这种技术的认知度将会更高。
从发布会上的演示中,我们就能够看到面部表情捕捉的有趣之处。不仅仅是 Animoji,还有 AR 技术的应用也为 iPhone 带来了新的玩法。苹果高管在主题演讲中演示了能够贴合人脸部的虚拟面具,没有 iPhone X 的原深感摄像头和过去的技术积累,那是做不到的。
未来的前景
Animoji 将来能够被我们用来做什么呢?喜欢玩儿的朋友们肯定已经有了自己的计划。它可以用虚拟形象还原我们的表情,并且还能录下我们的声音,通过 iMessage 发送出去。朋友们听着我们的声音,看到的确实是搞笑的卡通人物,那感觉肯定非常有趣。
如今的苹果非常重视社交平台和体验的打造,了解人们对自拍和即时通信的需求,而 Animoji 在传统的社交沟通体验之上,增加了新的趣味。更重要的是,这些技术潜力无限。
据了解,面部表情模仿仅仅是个开始,现在业界希望能扩展这个技术,实现基于一张照片打造出真实度极高的虚拟形象,甚至达到能让人误以为是真人在说话和做出表情的程度。
如果苹果也在朝着这个方向发展,这并不是什么让人奇怪的事情。取代指纹识别后,面部识别系统毫无疑问将会是未来很长一段时间的主流配置。随着手机性能的不断增强,采用面部识别能够做的事,能够创造出的虚拟实体也就越来越复杂多样。Animoji 只是开了一个头,谁知道以后在此之上它会发展出什么更加黑科技的东西呢?
-
如何用 iPhone X 录制 Animoji
目前 iPhone X 刚正式发售,不少用户已经发现了 Animoji(动话表情)的有趣用法。因为 Animoji 可以利用前置深感摄像头准确捕捉你的面部动作,实时反映在 Emoji 表情上,所以就有人把 Animoji 跟唱歌结合到了一起,录制出了很多好玩的 Animoji 卡拉 OK,让我们先来看一看最终成果:如何录制你需要一部 iPhone X 和一部其它设备,iPhone X 用来录制 Animoji,其它设备用来放音乐;在 iPhone X 上打开信息 App,一边放音乐一边录制 A...
-
Animoji无需依赖Face ID?苹果否认
自 iPhone X 问世以来,Animoji 一直被誉为自多点触控以来最伟大的智能手机创新,不过昨天有传闻称,Animoji 不需要依赖 Face ID 也能正常工作,知名科技博主 Marques Brownlee 在他的 iPhone X 评测中提出了这个观点。即使你挡住所有的 TrueDepth 传感器,Animoji 也可以正常工作,它只会在常规的 RGB 相机被挡住才停止工作。今天,苹果就提到 Animoji 不需要依赖 Face ID 也能正常工作这样的说法其实是不正确的。
-
如何用 iPhone X 录制 Animoji 卡拉 OK?
来录一段小黄人之歌吧。
-
iPhone X彻底被玩坏:原来Animoji还能这么用
iPhone X可以说是苹果沥尽心血的作品,例如首次采用了全面屏、Face ID取代指纹识别模块等等。
-
苹果推出了新Animoji表情:“龙妈”抢先体验
1月25日上午消息,苹果公司昨日宣布 iOS 11.3预览版上线,美剧《权力游戏》中“龙妈”的饰演者艾米莉亚-克拉克(Emilia Clarke)成了体验者之一,并在她的Instagram上贴出了龙的动态表情。