【小哈划重点:这个处理的过程,有一个专业术语叫做注册,注册指的是虚拟对象和真实对象之间坐标系的对准。我们可以简单理解为把物体放到环境中正确位置。】
最近部门来了几个新同事,因为岗位职责中很重要一部分是需要工作汇报,所以我要求他们先从ppt开始,于是问题就出现了。
我们看一个ppt,或者看一款产品,顺序都是先外表后内在,先大体浏览再细看内容,先不说内容问题,光表面的部分都让人难以接受,比如前面字体用黑色,后面字体五颜六色;前面几页是商务简练的风格,接下来又是学术型的长篇大论;前面抄了这家的,后面又抄那家的,最后提交上来的最终版本都没有形成一个统一的风格。
字体、色彩、布局、元素等等,这些都是细节部分,本身没什么问题,放到一起就不协调,出了一致性的问题。
一致性和视觉一致性
一致性本身很好理解,就是整体保持统一的步调,要前后一致。这个概念尤其是在设计领域经常提到。
一致性原则被分为3方面具体要求,分别是视觉一致性、行为一致性和感知一致性。
目前在AR领域,大家最关注的还是视觉一致性问题,至于行为和感知一致性方面没有太过苛求。
AR技术是一个把虚拟物体和真实物体结合一起来展现的技术,理想的目标是实现虚拟物体和真实环境之间做到无缝完美融合。
我们以全世界最多消费者认可的AR游戏《Pokemon go》又名《宝可梦go》为例。这是一款手机AR游戏,玩家可以拿出自己的手机,用摄像头扫描现实世界,可以发现虚拟的物品显现出来即小精灵,然后进行捕捉、战斗以及交换的游戏。
难点在于虚拟物品和真实环境的融合显示问题,如下图中的三个小精灵,显而易见是虚拟的三维模型,三个背景都是真实环境,这三张图给我们的感觉是完全可以接受的。如果小精灵出现在大树后面,或者小精灵的脚没有接触地面草坪,你会不会觉得有问题。
一个简单的AR虚实融合的案例 | 图源网络
为了让虚拟的三维物体能够嵌入到真实场景中,我们之前详细谈过位姿的重要性,尤其是在渲染的时候。
影响位姿的各种因素
这里我们会引入美术方面的术语,学过素描或者绘画的应该很容易明白,没学过的也会因为相关的常识有所了解。
我们看一张照片或者一幅画,图中是有一些门道的。比如:
尺寸:近大远小。当我们抛球去抓小精灵时,球会变小,小精灵离每个手机用户的距离不同,在用户手机显示的尺寸大小应该也不一样。
高度:越远越高。我们的手机屏幕是二维平面,一张画纸也是平面,离得远的大树在图像的高处,离得近的小精灵在图像的下面。
透视关系:比如两条平行线在远处相交于一点,但是真实中的平行线永不相交。这是二维图像产生三维效果的根本。
表面细节:离得近的物体能看到更多的表面细节,所以要更精细地刻画。在AR中衍生出注视点渲染的技术,我们眼睛注视的点附近渲染得更清晰,周围区域比较模糊。
遮挡关系:距离我们近的物体会挡住距离远的物体。因为屏幕就是个二维区域,一定会出现非常多的遮挡情况,这是AR中常见的难题。
明暗对比:物体的明暗和光源有关。有虚拟光源的概念,要给予虚拟物体适当的光照来符合真实环境的光照。
阴影关系:物体的阴影投射到其他物体上或者投射到真实环境中。
一个简单的AR虚实融合的案例 | 图源网络
尺寸、高度、透视关系、遮挡关系属于几何特点,明暗关系、阴影关系属于光学特点,在AR实现的过程中会有相应的处理。
注册的概念和分类
这个处理的过程,有一个专业术语叫做注册,注册指的是虚拟对象和真实对象之间坐标系的对准。我们可以简单理解为把物体放到环境中正确位置。
为了更好地实现虚实融合,AR的渲染过程比传统的计算机渲染难度大大增加。第一步,是要获取真实场景的模型;第二步,是在真实场景和虚拟场景之间建立通用的关系,这一步也叫注册;第三步,将虚拟场景和真实场景融合为一张图像;第四步,也是最后一步,把这张图像显示给用户。
注册的过程涉及到几个方面,比如物体的形状结构,这些是属于几何特征,注册过程叫几何注册。物体的材质、环境的光源等等,这些属于光学特征,注册过程叫做光度注册。