微软HoloLens 2 混合实境 助北医开发脊椎及内视镜手术解决方案

随着这波COVID-19变种疫情再度爆发之后，由于医院手术前需要做COVID-19筛检，以及民众普遍担忧染疫风险，进而造成部分非急迫性的住院手术与门诊手术相继取消，外科相关教学也受其影响而限制。微软则趁势导入HoloLens 2混合实境（Mixed Reality，MR）技术的头盔，为临床医学应用带来全新启发。

经由微软Hololens2可让治疗与手术更快速完成，以及得到更安全有效的成果，促进每个手术室都成为智慧手术场域。

台北医学大学附设医院骨科部脊椎骨科主任吴孟晃表示，早在2013年时这样的技术已在脊椎手术领域中开始应用于手术影像导引及临床教学，现在也有临床相关产品可用于脊椎椎钉放置，但对于目前发展最迅速的脊椎内视镜手术，仍未见该创新技术用于临床应用。

所以当吴孟晃在2019年由北医大派往美国史丹佛大学Biodesign进行国际培训讲师训练时，即观察到脊椎内视镜手术的临床需求具有极大市场潜力，遂提出利用创新科技于脊椎内视镜手术教学指导的构想；同时与矽谷工程师讨论，开启混合实境于脊椎内视镜手术的应用研发，结合人工智慧（AI）手术规划及拟真手术训练模组，期能发展出能帮助患者更安全有效、快速复原的智慧超微创脊椎内视镜手术。

进而积极向微软取经，并与慧术科技执行长李宇捷、专案经理姚汉彬、工程师黄中廷、万芳医院神经内科医师陈兆炜、双和医院骨科医师陈致宇合作，让临床医师的需求，在透过资讯工程师的技术转化后，能制定策略与国际人工智慧医疗产业接轨，最终期望能实现商品化。相关构想后于北医大SPARK计划中成型，并进一步向工研院量测技术发展中心及台湾微软提案，主要内容为配合脊椎病患就医历程来进行全方位智慧内视镜手术解决方案。

包括初期与伊云谷公司合作，开发医疗资料去识别化模组用于云端资料库人工智慧训练；并导入HoloLens 2混合实境，作为医师与仪器交流最重要的互动平台。其中为了符合临床需求的教学及工具，混合实境影像资料需要结合人工智慧辨识及拟真教学建立手术训练方案，来协助医学影像进行深度学习的影像辨识。待影像分割完成后，还须降低噪音，才能在临床上提供正确清楚的资讯，以利医师判断病情，解决脊椎内视镜手术学习曲线陡峭的困难。

有别于现有医疗设备实际运用在手术进行时，往往使用各自独立荧幕，使得治疗所需资讯分散于医疗场域中不同位置，在缺乏整合性的影响下，医疗资讯、医疗影像、手术导航指引、及病患手术视野无法结合于同一视角，而造成医师无法准确辨认手术实际状况，导致如植入物放置错误或造成出血等并发症。

透过HoloLens 2不仅可提供医学生及年轻医师3D空间无死角的学习环境，观察手术部位不同角度样貌，或透过第一视野了解医师如何执行手术。还能形成解剖生理的动画，让医学生们以立体透视了解骨骼肌肉神经血管分布，解决传统解剖学上无法达到的学习效果；进而观察人体执行各动作时，骨骼、肌肉和器官之间的连动关系，补足大体解剖中欠缺的动态资讯。此跨领域团队运用HoloLens 2结合已开发完成的手术教学模组，现正进行北医大深耕研究计划，期望不久后能用于指导临床手术。

此外，基于现今智慧手术室虽强调资讯整合，却常因为造价高昂及场地设计需求高，而无法普及化，经由Hololens2也可让治疗与手术得以更快速完成，以及得到更安全有效的成果，促进每个手术室都成为智慧手术场域。随着医疗临床场域高度变化，未来甚至可望依照医疗中各科别需求，发展得更贴近专业产品，并用于各类临床手术操作。

台湾微软首席营运长陈慧蓉也认同，经过结合不同的医疗器材专长公司的应用，以HoloLens 2为平台，将可更为客制化、专业化，来针对特定手术做混合实境的产品优化。既能让临床执行手术的医师在手术过程中不必抬头看各种屏幕，就能透过HoloLens 2头盔显示器，看到覆盖在视野中逐步渲染的3D路径和所有影像资讯，异地专家也能同步监控并即时给予建议。期望在不久将来，可落地实现并拓展国际市场，展现台湾医疗BioICT产业实力。