智能眼镜在医疗领域的应用和改进

 关于智能眼镜在医疗行业的应用，我们最早是从关注谷歌眼镜的医学视频直播开始的。谷歌眼镜的问世，曾带来一片叫好声，感觉能够给大家带来一个全新的直播时代。但最近两年，谷歌眼镜用于医学方面直播的文章几乎消失了，甚至谷歌眼镜本身都已经停产。

当时，谷歌眼镜出来后，我们也买了一个，并做了很多实际的相关实验，发现了一些问题，包括：一是续航问题;二是谷歌眼镜作为一款消费类产品，在应用于手术直播时，周围会有一个很大的无用视野区;三是在手术灯照射的情况下，直播时中心区域一片死白，而这一块恰好是我们最关注、最有兴趣的点。基于以上原因，我们后来没有再继续利用谷歌眼镜做医疗直播。

之后，在英特尔公司的帮助下，我们又先后接触了一些厂家。因我是临床医师出身，始终认为记录直播和转播对于临床医学具有非常重要的作用，所以一直在坚持不懈的寻找适合的相关产品。后来拿到一家公司的产品，看上去和谷歌眼镜很像，于是提出是否能从上面提到的几个方面进行改进。

 

 

具体改进措施包括：首先，我们认为医生在长时间待用过程中，如果这个产品很重，会让医生感觉非常不舒服，因此希望佩戴在医生头顶的东西越轻越好。基于此，对产品改进的第一步就是，除摄像头及其虚拟显示屏这两个功能以外，剩下的计算元件、电池等其他东西都被放到一个附属装置上。也就是说，它真正的应用是跟另外一个手机联系在一起，由手机进行供电。这样，医生在把眼镜戴在头上时，几乎不会感觉到它的存在。

第二个问题是原有谷歌眼镜在使用过程中，因为计算机进行了一个测算，所以平均以后，中心视野光线太亮导致一片死白的情况。解决方案是对计算机进行一个算法的改进，也就是说，原先的大视野最后只保留了中心的一个区域，进行一个点测光。在这个点测光过程中，计算机算法进行改进，最终的效果就是只有最核心的区域进入计算单元。这样，太强的光线部分通过算法就可以把原有的过白部分的光亮度降下来，让医生能够看到真正的视野中的细节。在实践过程中，通过改进计算机算法，使视野从原有的90度缩窄到45度、30度、20度。在视野缩小后，有两个明显的改善：一是减少了之前过量的光线，从而获得原来没有的细节;另外就是我们在新产品试用时发现，人眼看物体是有景深的，作为口腔科，关注的核心点是口腔里的牙齿，但眼镜会把周围的皮肤照的很清楚，远处的牙齿则发生了模糊，原因就是对焦发生了错误。而当我们通过计算机把视野缩窄到足够小时，对焦相对就会精确很多。

此外，此款眼镜的分体式设计，也解决了供电问题。现有情况下，持续拍摄两个小时没有任何问题。

该产品和谷歌眼镜一样，有一个小的虚拟屏幕放在眼球前方，好处是在拍摄使用过程中，可以随时查看录像的位置是否是我们真正想观察的地方。

使用过程中发现的另外一个问题是，到底由谁来戴这个眼镜?我曾经以为应该是第一助手或是其他人来办。后来在使用过程中发现，实际上还是应该由术者来控制，因为只有术者才能够看到很小的手术区域里面的细节，包括第一助手站在对面的时候，很可能也看不到视野里面。

此款眼镜可以看到摄像头能够在某一个角度范围内旋转，使我们可以更好的去控制最后直播出来的画面。最好的效果就是固定住术者头上，然后不需要任何人去做任何工作，整个过程中和术者的眼睛看到的景象一模一样。其中还有一个地方需要进行改进，就是头戴的方式。目前，常见的方式还是一种类似于镜架式的方式。但例如耳鼻喉科医生会在头上戴一个专门看耳道的镜子，戴一天也不会觉得很难受;整形外科医生，做血管吻合的医生，都会戴一个专用的显微镜，对于医生来说，如果把眼镜架的方式转变为一种戴在头上的发带形式，效果会更好。头戴式的可能要解决术者确认拍摄画面是否正确的问题。因为它可以固定的非常牢固，确保在转播过程中，位置不会随便发生改变，但在术者使用过程中，现在的镜架式会发生视野逐渐偏离的情况，最终导致拍摄效果不佳，这也是我们提出由眼镜架改为发带式的原因之一。

 

 

之前我们进行了一个现场的长时间拍摄。无论从门诊医生还是手术病房医生反馈，都认为拍摄视频的画面不错，1080P颜色还原也不错，流畅度和清晰度也非常好。外科主任希望将来对常规的手术都进行一场标准手术模式的拍摄。这样的效果，是教学医院最想做的。现场拍摄过程中，我们的医生远离去看手机上的屏幕。因为在手术过程中，除了主刀医生，一些比较小型的手术周围所有人的视野都非常受限。所以可以想象，围着一圈学生去观摩手术时效果有多差。

目前使用的这一版眼镜，现有的问题主要有哪些呢?主要还是来自于刚才说到的景深导致的对焦模糊问题。我们关注的是牙齿，但焦点落在了皮肤上。这个当然可以通过算法再进行一个优化，但这样的问题可能或多或少不可避免。因为同样是往前看，计算机并不知道你的眼睛目前对在哪一个点上。而一旦这个角度变得更加舒展的时候，随着医生手术时头转来转去，采集的图像也会大幅移动，给观者带来不舒服的感觉。我们的医生曾提出有没有手动对焦的可能，当然手动对焦是不现实的，因为你的距离始终是在变化过程中，最好的做法只能是继续优化算法。无论如何，目前这一版眼镜在我们采集视频的过程中，总体还是感觉相当满意的，尤其是视野比较大的手术，高清的视频放在电脑上感觉效果更好。

 

 

上面这张手术照片是从一段视频里随机取的一张，拍摄时是站在一助身后进行的。目前存在的一个问题是颜色会有一点粉，这是因为白平衡出了问题，通过简单算法的一个均衡很快就能改善。算法的另外一个需要改进的地方，我认为是目前图像的对比度仍然太大，对于强光视野下的这种拍摄会出现一会黑色一会白色的情况。这个随着算法的改进以及将来机器性能的提升，只要算法速度足够快，能把这个问题解决好。

对于眼镜类产品，希望出现一种更新的产品，类似于相机拍摄过程中摁住快门，有一种智能追焦的算法，就像舞台上跟着舞者进行一个舞台追光的感觉。也就是说，我们通过图像识别找到目前转播的焦点，无论相机在什么位置，都能够快速的计算，把焦距对清楚。即使手术医生的头转来转去，它的图像始终固定下来。我想这种技术的发展是很快的，也可以预计到一定会有这一天来到。目前，把视野缩窄达到对焦更精确这个功能通过计算机的算法实现了。将来还是希望，对口腔科、眼科这种比较小视野的手术，能有一种更特殊的光学物理眼镜，专门用于这种小视野直播。