AI＋MR 让手术在虚实间切换佩戴上MR（混合现实）眼镜

　　佩戴上MR（混合现实）眼镜，医生在现场观察到患者身体内器官的三维立体影像，假如想看该部位器官的侧面、背面以及内部，只需伸手去“触摸”虚拟影像，可顺利地上下左右任何角度地将其移动、翻转、标记……如此充满科幻感的医疗手术过程，并非只存在于科幻电影中了，它来到了我们现实当中……

　　早前，一场通过5G网络技术实现的两地的远程手术中，专家就是利用一套混合现实手术规划系统，完成了术前精准方案，并给予了远程手术指导。

　　如今，人工智能（AI）+混合现实（MR）解决方案逐渐为精准医疗展现了一场全新的可视化变革，打破了虚实之间的界限，加上5G网络的支持，为当下越来越多的远程医疗案例带来更多的可能性。不仅是国内，在全球，各大高校、医院、科技团队等，已开始瞄准AI+混合现实这一领域，希望透过这种全新的图像技术提升医疗水平，帮助医生挽救更多生命。

　　文/广州日报全媒体采访人员文静

　　利用人工智能+大数据

　　将二维平面医疗影像变3D

　　在日前举行的中国电信5G创新合作大会上，不少在场的参观者被这项科幻感十足的精准医疗科技创新所吸引——戴上MR（混合现实）眼镜，展现在眼前的是一个虚拟的、人体肝胆器官的全息三维立体图像， “这是我们肝脏部位、这是脊椎、这里是血管，这里是需要手术位置……”现场技术人员在旁一一详细地为每位体验者解释。透过头戴式设备，不仅能看到彩色的三维图像，更神奇的是——你伸出手，就可“虚拟”地触摸到该“器官” ，左右手翻转“器官” ，该三维图像竟然能跟随着你的动作，实现多角度的移动、翻转、标记……而且，这一切是发生在毫秒之间，整个移动、翻转的手势下来，流畅、无顿挫感,仿佛置身于科幻电影中，将虚拟的影像随心所欲地掌控于手中。

　　据了解，这项方案是一套人工智能+混合现实技术的解决方案，研发团队利用核心算法，将CT、核磁共振等影像检查结果转换为三维立体影像，并通过混合现实技术把影像全息呈现在真实空间中，为医生们进行远程术前讨论和手术方案规划提供了更为直观与便捷的方式。

　　北京缙铖医疗CEO张晋兵表示，远程医疗包括多个环节，包括检查、会诊、手术等，其中手术最复杂的环节。 “因为它可变量较大，因此团队就根据手术的需要进行了人工智能和混合现实方面就是做了一些探索和研发。 ”

　　众所周知，在所有的手术之前，患者都要进行影像检查，比如CT、核磁等影像检查，医生可根据这些影像结果，得知病患身体内的具体情况，从而判断手术的计划和目标。然而，这些影像都是二维的平面。但是人体是立体的，因此，把二维影像“变成”三维立体，一直是医疗领域努力研发的方向。

　　如今人工智能+MR ，就是通过算法把二维平面数据“演变”为一个三维立体的模型。通过混合现实手段，把重建后的3D立体模型全息投影出来。透过此3D立体影像，医生可以把人体的血管神经、组织结构等一目了然。张晋兵举例，在早前的一手术案例中，患者的肿瘤供血动脉、肿瘤组织关系，医生通过这一3D立体影像，就能看得清清楚楚，不再是在传统二维平面上靠想象去判断。

　　据悉，这项MR远程医疗系统是清华大学精准医学研究院与北京缙铖医疗科技有限公司合作开发的产学研创新项目。

　　虚拟现实技术进化

　　突破虚实界限

　　据了解，混合现实是区别于VR（虚拟现实）和AR（增强现实）另一种虚拟现实技术。它是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

　　说到混合现实技术，大家印象最深的该是当年全球科技巨头微软对外展示的“鲸鱼”概念视频。在2016年， HoloLens眼镜的亮相，让MR（混合现实）真正展现到全球消费者眼前。经过三年多的发展，混合现实技术越来越被尝试应用在更多领域，如游戏、教育、设计、汽车制造、医疗等领域，尤其是未来医疗上，不断有全球各地的科技研发团队陆续加入到这一领域中探索。

　　相比VR（虚拟现实）， MR混合现实的优势在于用户能与现实环境进行“交流” 。例如，医生假如佩戴VR眼镜，在手术过程中护士给他一把手术刀或者手术剪，他是无法看见——毕竟他与周边现实环境是完全没有任何交流。对此，团队开发过AR方案，让医生在手术过程过程中，能完成简单的交流。更进一步的发展，就是目前最新的MR混合现实方案。 “MR让医生有了更多的位置空间感。从而获得更多的判断。 ”张晋兵如此解释。

　　事实上，在我国，混合现实技术的发展越来越受到关注。据最新消息称，今年4月20日，首个国家级MR技术研究中心、清华大学三维混合现实研究中心宣布成立，阿里、百度、京东等公司为该研究中心首批产业合作伙伴。

　　早前，国外一家名为apoQlar的医疗研发机构开发了一款虚拟手术智能的程序，就是利用微软HoloLens、混合现实以及虚拟外科医生的应用程序，帮助外科医生在手术中查看MRI和扫描。据悉，这项程序应用可以让外科医生从近距离研究解剖结构。如果发展继续顺利，它可能成为减少手术难度的重要手段。

　　【知多D】

　　虚拟VS 3D打印

　　建模速度更快成本更低

　　在医疗领域，要将二维平面“重塑”为三维立体模型， 3D打印与虚拟现实被认为了两种有效的方式。据了解，当前在国内外众多大型医疗机构中，面对重大疾病的治疗时会采用3D打印，将二维平面变成实体，方便医生进行手术规划和演练。

　　相比3D打印，利用人工智能+混合现实所实现的三维立体模型，可更高效、精准以及降低成本。据了解，通过3D打印技术“重建”一个二维平面，需要8~10小时，而通过AI+混合现实技术，仅需要不到几分钟，甚至一分钟时间就可完成。同时，随着技术发展，如今虚拟的三维影像科，可通过全息投影的形式展示出来，真实感强烈。透过全息投影的方式，医生能直接跟虚拟影像进行互动——通过手势放大、缩小、旋转，在不同角度去观察，甚至能“进入”到这个模型在里面观察。在这项应用系统中，更有多种辅助功能给用户选择，例如测算某个器官有多宽、多长？这些都可在计算机系统中实现。再者，正如数字化的文档代替了传统纸笔书写一样，数字化的虚拟影像可“无限次”地进行术前规划等的演练，尤其在对医学教育或医生培训时，有着更大的可操作性。

　　机器反复学习

　　3D模型重现达分钟级别

　　AI+混合现实的解决方案中， MR是其可视化的实现手段，人工智能则是整个解决方案中的“核心” 。据了解，研发团队经过机器多次反复训练，以及大量有效的数据录入而生成的AI算法，实现了最快一分钟就可将二维平面重建为三维立体模型。

　　然而，如何让计算机通过大量的有效数据训练，就是当中一大难点。这也是衡量团队的技术水平的重要指标之一。团队负责人坦言，获得原始数据后，要让医生帮助研发人员帮忙标注。简单而言，就是让有专业知识、丰富经验的医学专家，告诉技术团队要做什么、要看什么……作为跨学科的领域，怎样将医学知识变成计算机语言，是很有难度的。标注后，通过人工智能、大数据的能力，让计算机进行深度学习，并且“懂得”：原来医生是要看这些内容。

　　经过多次反复的数据训练后，计算机就会懂得，在某种情况下，医生是要看什么内容。当整个模型形成后，医生只需点击UI指令，系统就会生成一个使用者所需要的三维模型。

　　然而，把医生的经验“转化”为计算机懂得的语言仅仅是开始。人工智要得以实现而且精准，往往与大量的、有效的数据密不可分。因为只有前者的支持，基于卷积神经网络下生成的算法才能更完整。同时，为了获得更专业、更丰富的数据，研发团队与国内众多知名的专家、经验丰富的医生合作，让他们将经验“传授”给计算机。

　　在医疗领域，清晰度、精准度有着严格要求，对于医生和患者而言，差之毫厘，会谬以千里。据悉，早前该团队做的一项关于神经外科肿瘤，其三维立体模型精准度已达到0.5mm 。张晋兵表示，最终是希望团队做出来的重建模型，跟病人的真实情况要完全匹配。

　　早前，美国一高校医疗机构的研究人员正在研发一种人工智能程序，它可以帮助医生更好地治疗脑部疾病严重患者。程序能够训练计算机读取大脑的CT扫描，并且在几秒钟后，这个程序就能判断普通的电脑是否需要立即关注。医学专家表示，人工智能在医学领域很重要，因为它大部分都是基于图像的。

　　配合5G远程医疗

　　传输全息影像实时进行术前方案讨论

　　这一波人工智能、虚拟现实等新一代信息技术的“爆发” ，是伴随着5G网络技术的发展，而后者让他们实现新的突破点。这项人工智能+混合实现技术的解决方案，被应用在5G远程医疗当中。

　　今年3月，清华大学附属北京清华长庚医院与相距2200多公里的深圳市人民医院，通过5G网络传输高清手术影像，同时实现在北京的无延时直播。中国工程院院士、北京清华长庚医院执行院长董家鸿在北京的直播间，通过了混合现实技术，与术者进行了术前方案讨论，并在两台异地手术进程中，进行穿插实时远程技术指导。

　　通过混合现实手术规划系统，京深两地医生直接对患者病灶位置、病灶与肝内血管的解剖进行线上精准评估，同时，对手术的方式、路径、技术要点进行了精确设计。

　　董家鸿在接受媒体采访时表示，随着5G时代的来临，未来远程医疗系统有望实现智能化升级，以更快的速度、更精准的重建，更加真实地还原器官与病变的解剖结构，为术者进行精准病情评估和手术方案设计提供有力依据。随着5G网络的区域覆盖，混合现实手术规划系统与异地术中指导，也将无边界地延伸到海内外各个地域、各个层级的医疗机构，实现不同地域医师的无缝串联和类似现场的实时协同。

　　在科技创新团队眼中，在5G网络的大背景下，为AI+MR混合现实技术带来了更大的实际意义。首先，由于3D模型所需要的数据量非常庞大，在目前4G网络下，技术团队需要做许多的处理，有了5G之后， “它的带宽对于大数据的传输会有非常大的帮助”；其次，让这项技术在应用上有了更多的想象空间，如上述所提到的远程医疗， “一个医生能同时远程指导多台手术，在5G网络下， 1080P超高清影像可无时延无卡顿地异动传输，几乎是同步，这是在4G网络下无法达到的” 。

　　在整个业界看来，第五代通信技术之于医疗服务的发展仍不单在于高带宽、低时延等。据中国移动联合互联网医疗系统与应用国家工程实验室、华为Wireless X Labs等联合发布的《无线医疗白皮书》中指出， 5G网络支持网络切片功能，即“5G切片” ，一个网络切片能满足某一类或一个用例的联接通信服务需求，整个5G系统由满足不同联接能力的大量网络切片组成。 5G网络中可以专门为无线医联网分配一个或者若干个切片，为医疗业务分配专有的无线空口资源和控制管理，保障业务的独立和隔离，进一步保障医疗业务的实时性、可靠性和安全性。

　　“背靠”5G技术

　　广州智慧医疗再添新场景

　　广州作为全国5G网络的试点城市之一，今年来，在运营商与各大医院的共同努力下，在5G+智慧医疗方面作出了多项创新尝试。近日，在广东移动5G网络支持下，广州医科大学附属第一医院联合千里之外的贵州省毕节市第一人民医院合作，成功开展了5G远程手术指导、远程查房示教以及远程会诊等项目，为5G+智慧医疗再添新应用示范样本。

　　借助移动5G网络传输的高清手术画面，广医一院何建行院长、腹部外科专家刘衍民教授、李君教授组成的专家团队实时指导毕节一院手术室成功完成腔镜手术。 “5G技术打破了时空壁垒，来自高水平医院的专家犹如亲临手术室现场参与到手术当中，这使我们开展一些高难度的手术显得更从容。 ” 毕节市第一人民医院一位医生表示。

　　当天，除了远程手术指导外，钟南山院士查房示教全过程还通过5G进行实时直播，并对毕节当地的疑难患者进行了远程会诊。据了解， “院士大查房”是广医一院2012年起推出的以钟南山院士团队领衔的“互联网+”医疗远程教学模式，如今有了5G技术的支撑，不同地域的医院能很好地实现无缝衔接，医疗知识研讨更便捷。

　　未来， 5G+智慧医疗有着广阔的应用空间。例如5G急救车,在急救车抵达医院之前，病人的生命体征数据就通过5G传输到了医院，院内医生进行远程实时会诊，进行抢救干预措施指导。