中科院香港创新院发布具身智能手术大模型，可用于手术指导

界面新闻记者 | 张熹珑

在人工智能技术的迭代下，前沿科技的应用正在重塑医疗行业。

11月22日，中国科学院香港创新研究院人工智能与机器人创新中心发布CARES Copilot具身智能手术AI大模型2.0版本，可为临床诊断和决策提供支持。

中国科学院香港创新研究院是中央批准的内地在港设立的首个国家级科研机构，人工智能与机器人创新中心是其下设两家中心之一，围绕多模态AI手术大模型、具身智能医疗机器人、人工智能基础理论等方面开展研究工作，目标是打造香港人工智能品牌。

今年3月，AI多模态大模型CARES Copilot 1.0发布，可以在手术阶段自动识别病灶和解剖结构，以识别和辅助医生的功能为主。

而CARES Copilot 2.0的突破性主要在四方面：提供高效医学搜索与内容生成功能，帮助医疗专业人士快速检索与生成结构化医学报告；提供药物相互作用、适应症与禁忌症等多层次查询，利用AI技术自动解析并生成精准用药建议；能快速生成针对呼吸系统诊断的详细且专业的手术报告；基于大语言模型技术，集成数字人定位、机器人运动控制与三维重建，实现全自动超声检查。

中科院香港创新研究院人工智能与机器人创新中心主任刘宏斌教授接受界面新闻采访时指出，2.0版本大模型的突破性体现在，首先从整体架构来看，为了保证回答的安全性、可解释性和可追溯性，整体技术设计上做了全面升级。另外是多模态能力，即处理不同模态的图像，大模型可以理解核磁共振、CT、超声影像，并进行图像转换。

“我们将1.0大模型给医生后，他们使用最多的功能是手术规划。以前做手术规划要翻书，决定术式后还有一系列注意事项，如肿瘤的位置、怎样开缺口。现在大模型能帮助规划。”刘宏斌提到，医生反馈指，手术规划找颅骨缺口角度时，一般要用CT拍骨性结构，但神经外科手术里一般只有核磁影像，所以就产生了核磁共振跟CT转化的需求和相应的技术迭代。

在1.0版本，CARES Copilot使用3000多本国内外的神经外科教材以及指南训练作为数据进行训练。刘宏斌表示，2.0版本的数据大幅增加，“1.0只有神经外科一个科室的数据，2.0增加了呼吸科、超声科、麻醉科等科室数据。”

在手术领域，具身智能技术正逐步渗透到微创手术和手术机器人中。2.0大模型主要聚焦术中的人机交互，即大模型在手术过程中要跟医生进行互动、理解医生的提问，进一步聚焦具身应用。

“比如医生会告诉大模型，需要肿瘤的某个切面图。传统手术中，完成这个指令需要几个步骤，首先对扫描图像进行3D重构，分割肿瘤区域，并考虑从哪个地方做切面，最后展示。一个受过训练的医生会自然而然做这些工作，但是让一个AI系统来做的话，它需要知道怎么分解这个任务、调动相应功能、组合起每个环节。这个是我们在2.0的时候重点开发的。”刘宏斌认为，具身智能体现在，AI系统能够跟人交互，并进行任务的规划和执行。

基于多科室的数据训练，CARES Copilot2.0也进一步完善手术指导功能。例如在神经外科中，可以进行手术导航，给医生一些实时的提醒，比如应该看哪个部位、重点关注核磁影像上的哪个区域；麻醉科中，可以实现输血决策，在术中指导如何输血。

中科院香港创新院在办公室展厅中展出了正在打造的人工智能体（Embodied AI）手术室。虽然称之为“手术室”，更多是智能的技术集合体，包括微创手术机器人，部署在边缘计算系统上的AI大模型，内窥镜、手术室监控摄像头、超声等实时影像设备。中心人员介绍指，该系统已经完成了四次的尸体实验。

刘宏斌告诉记者，手术室可能会在CARES Copilot 3.0时发布，目前机械臂也具备帮医生拿工具的功能。

“传统手术室中，医生想一直有一个好助手，其实是一个悖论。好助手很难找，加上助手能很好地配合后就想去当主刀了。”刘宏斌提到，所以可行的方式是，机器人经过跟医生的交互学习后，熟悉其操作方式和习惯用语，担任助手的角色，“这个功能我们现在正在跟医生一起开发，这也对连续学习能力提出要求。”

正在打造国际创科中心的香港，将人工智能视为重点发展的赛道。香港2024《施政报告》提出，扩大研究和创科产业投资，设立100亿元“创科产业引导基金”，加强引导市场资金投资指定策略性新兴和未来产业，包括生命健康科技、人工智能与机械人、半导体与智能设备、先进材料和新能源等。

CARES Copilot为香港最早落地的垂直领域大模型之一。此外，香港科技大学研发出四个AI医学大模型，涵盖乳腺癌诊断、病理辅助和全科医学等，可为癌症等多达30种疾病提供诊断和预后评估；香港城市大学孵化的增强现实手术导航能将CT的2D影像转化为3D手术导航系统。

另一方面，香港通过引进重点企业完善生态圈。近日落户的百度智能云（香港）人工智能创新中心，就是通过香港引进重点企业办公室落户本地的首批重点企业。这次合作为跨界别、跨地域——香港千帆科技负责投资和日常营运，北京百度负责技术和软硬件建设，并派驻人员进行培训和技术支持。

位于瑞士洛桑的国际管理发展学院发布的《2024年世界数码竞争力排名》显示，香港上升3位至全球第7位，其中“科技”和“知识”排名分别位列全球第3位及第5位。不过，香港于研发总支出百分比和用于教育的总公共开支分别居全球第38及第50位，属于需要改善的项目。

香港数码港的人工智能超算中心首阶段设施将于年内投入服务，将提供约每秒浮点运算300千万亿次（PFLOPS）的算力，并会逐步提升至3000 PFLOPS的水平，相当于一小时可完成近100亿张图像处理。

港府此前亦推出30亿元的“人工智能资助计划”，资助本地大学、研发机构及企业等运用数码港超算中心的算力。

刘宏斌透露，有意向跟超算中心合作，“之前跟算力中心的负责人有很多次交流，他们表示很愿意支持我们的科研。等中心正式运营后，我们会再跟进具体的合作形式。”