Google的“白日梦”不是梦！

对半导体供应商来说，Google新发表的虚拟实境(VR)平台Daydream，是与它的名称(白日梦)正好相反、具备实际商机潜力的产物；高通(Qualcomm)虚拟处理技术部门主管Tim Leland，就是众多与Google合作了好一段时间的厂商代表之一，协助催生了可支援行动虚拟实境功能的新一代升级版Android手机，如三星(Samsung)以GearVR产品所展现的实例。

Leland的团队协助开发了一个针对单缓冲渲染(single-buffer rendering)最佳化的Android架构，该整合于高通最新Snapdragon 820单晶片(SoC)的绘图处理核心经过调整，可提供精细纹理的抢占技术(fine grained pre-emption)，以降低移动延迟(motion-to-photon latency)；移动延迟是确保VR头戴显示器画面变换速度与使用者头部移动速度一样快的关键指标。

Leland表示，藉由深入SoC设计让Android平台的应用达到20毫秒(millisecond)的延迟目标是个大工程，Snapdragon晶片需要改变与各个感测器之间的交握(handshake)方式才能降低延迟；而感测器本身则需要支援更快速的、从100MHz到1GHz等级的采样。

为此高通开发了一种称为“视觉惯性测程(visual inertial odometry)”的演算法，以追踪六个自由度的头部运动；该演算法会在Snapdragon内建的Hexagon数位讯号处理器(DSP)中执行，将来自头戴装置的加速度计、陀螺仪、磁力计、摄影机的资料相互关联。

开发工程师能透过高通即将上市的软体开发套件(SDK)取得上述技术，而Google也打算在Android N作业系统加入能处理感测器融合(sensor fusion)任务的功能，应该是为了那些采用未具备感测器融合功能之SoC的厂商。

高通在一篇技术白皮书中声称，Snapdragon 820的移动延迟低于18毫秒；该白皮书写道：“以实际的角度来看这个挑战，60Hz显示器每17毫秒会更新一次画面，而90Hz显示器则是每11毫秒更新一次。”



大多数采用Daydream平台的头戴式装置，会是像三星的GearVR那样需要结合智慧型手机使用的产品 (图片来源：Google)

结合头戴式装置使用的手机通常会需要采用AMOLED显示器，因为能比传统液晶显示器支援更快的切换时间，否则容易出现所谓的“鬼影”；而绘图处理核心则会采用一系列的渲染影像技巧，提供使用者运动时的流畅感、同时最小化耗电量。

举例来说，该类元件会尽可能时常重复使用巨集区块(macro-blocks；或译“宏区块”、“宏块”)，以减少渲染影像的需要。一个简单的技巧是先在显示器的中央渲染影像，假设使用者的目光聚焦于此；而更先进的解决方案是使用智慧型手机摄影机来追踪使用者的眼球运动，来判定哪个角度的影像该优先渲染。

绘图资料的压缩已经成为在提升处理速率同时降低耗电的关键；另一个技巧是改变影像的色调，让它看起来似乎更亮，因此不需要调高耗电量大的背光。这确实是个挑战，因为目前的手机只是在车上开个导航功能就会开始发烫，而今年秋天上市的手机则是要能贴近使用者的脸。无论如何，VR功能期望能为成长趋缓的手机市场注入新动力。

对首批与未来VR手机产品的期望

大多数供应商预期会推出类似三星GearVR装置的Daydream平台产品，也就是需要搭配智慧型手机使用的被动型VR头戴式装置；不过Leland表示，该类产品是Daydream平台的典型头戴式装置，也会有厂商推出特殊应用行动VR头戴式装置，甚至也有业者在开发扩增实境(AR)产品，但那会较晚问世。

特殊应用行动VR头戴式装置可能包括一系列高价位产品，配备更昂贵的显示器、更大储存容量以及先进的空间音讯(spatial audio)；该类头戴式显示器预期价格范围也会更广。

Daydream平台的最后一个部分硬体，就是内建轨迹板的双按键控制手把，类似第一代任天堂(Nintendo)游戏机Wii的手把；其中一个应用程式按键是为开发厂商留的，另一个回到主页(Home)按键则是保留给Android。根据曾经开发电玩、对游戏互动十分熟习的Google VR部门主管Clay Bavor表示，该控制手把的精确度媲美雷射笔。



Daydream平台的主页画面没有太复杂的背景影像，将焦点集中在各应用程式内容 (图片来源：Google)

将在今年秋天陆续问世的Daydream平台产品只是个开始，Leland 表示：“产业界将持续努力降低移动延迟──这也会是接下来几年大家会常听到的话题，因为虽然20毫秒的延迟性已经很好了，15毫秒、甚至低于10毫秒当然更好，这能让VR画面看起来更真实，不会让使用者感觉好像是画面很努力要赶上自己。”

Leland指出，这类需求将影响感测器处理是如何完成，以及摄影机子系统如何开发、绘图渲染如何与显示器介面协作，扩及所有的处理器。为此高通正在寻求新的SoC功能区块，以说服原厂愿意多花点钱取得差异化；而现在Daydream则是已经准备好进驻预计年底耶诞节/新年假期上市的产品。

至于Google本身则是积极为Daydream提供所需的内容，其地图应用程式的街景服务(Street View)以及线上视讯平台YouTube，都已经准备好提供360度照片以及视讯，YouTube也能支援空间音讯以及运动强度评分(motion-intensity ratings)。

此外Google也与好莱坞(Hollywood)与各家媒体商接触，除了与Imax等业者开发配备16台摄影机的360度影像拍摄装置，派拉蒙(Paramount)、发现频道(Discovery)以及纽约时报(The New York Times)等都是其VR内容合作夥伴。

Daydream平台开发工具已经开始提供，能让使用C++语言的程式设计师取得底层应用程式介面(API)与硬体；Google总部的Daydream实验室一直试图一天快速开发两个VR实验性应用程式原型，将透过发表部落格文章的方式分享其学习经验。