混合實境（ MR ）漸漸從遊戲走入商業應用。本地創業公司雲合科技（ Syngular Technology ）將相關技術帶進手術室，協助醫生在手術開始前為病人施刀位置作準確定位。該技術涉及人工智能運算，將醫療圖像數據自動生成立體模型，配合遊戲引擎渲染，逼真地呈現在 MR 頭盔之內，改變傳統做手術的模式。
雖然近年有不少醫療相關的 VR 或 AR 方案，大多用作訓練醫生。雲合科技創辦人施君易表示，該類軟件的畫面影像單調，用戶介面複雜甚難操作。反之，若將遊戲引擎技術帶入 XR 環境，引進至手術室的話，體驗會完全不一樣。這想法成為他第二度創業的項目。
獲遊戲開發團隊加盟
修讀生物醫學工程的施君易，早在 2010 年開始研究用於醫療的 3D 打印技術。其後開設公司為骨科病人度身訂造手術切板，從電腦掃描（ CT ）和磁力共振（ MRI ）的數據製作 3D 模型，套用至需要切除的骨上，讓醫生對準位置直接切割。然而這方案在使用時面對不少挑戰，包括建立 3D 模型和打印切板需時，不適合緊急手術。
隨著近年混合實境技術成熟可用，他便想到將原有的 3D 模型直接在 MR 頭盔內顯示。惟該技術面對最大的問題是製作動畫 3D 模型，涉及成像、渲染等遊戲引擎技術。最終接觸到部分離開 Riot Game 香港工作室的開發團隊，跟他們傾談過意念後，決定加入成為創業夥伴，並在 2021 年底成立雲合科技開發手術導航 MR 平台。
3D 模型對準治療位置
平台利用來自電腦掃描和磁力共振的 DICOM 格式數據，通過人工智能模型製作相應的 3D 模型。該技術的難度在於 DICOM 為黑白影像，人工智能模型計算數據後變成立體影像。3D 模型包括骨骼、肌肉、器官、血管等，甚至可標示異常位置所在。這模型渲染過程僅需 1 小時，仔細程度比 3D 打印用的模型更豐富。
當醫生進入手術室戴上微軟 HoloLens 2 便能自動將醫療影像疊在病人身上，以切除骨腫瘤手術為例，透過模型清楚顯示腫瘤在體內的位置，快速定位。施君易形容，該 MR 技術有如為醫生提供「 透視眼 」，直接在皮膚上畫下切口。過去需要對比 X 光照片，甚至翻查電腦影像，按經驗估計位置。
用戶介面經遊戲化設計，醫生用手勢或眼球便能控制。他表示，現時大部分醫生小時都有玩遊戲，使用這介面操作並無難度，毋須多加訓練。加上建基於遊戲引擎，所顯示的 3D 模型影像，無論質地、細緻、光暗等都比過去的醫學 VR 方案豐富得多，即使在運算能力有限的 MR 設備都能流暢控制模型。醫生在手術期間可以查看參考文件、病歷、掃描數據等，將這些資料加載到平台內，有如在遊戲載入道具般簡單。
獲醫管局試用
施君易補充，利用 MR 設備可以執刀醫生的視覺拍攝手術過程，甚至將主觀鏡頭傳送出去，提供前所未有的視角作為醫學研究和教學。
雲合科技的 MR 平台目前已在醫院管理局旗下的公立醫院內試用。施君易稱，在去年的一次網上創業活動獲醫管局 IT 創新辦公室團隊接洽，邀請引入至醫院手術室內。完成開發之後，交由醫管局醫生試用，再作調整修正，目前已完成第一版本可用。
或支援 Vision Pro
下一階段將擴充更多功能，如加入協作模式，讓更多個醫生共同參與，甚至讓助理從旁協助控制。系統也將加入偵測癌症的人工智能模型，在建立 3D 模型時按電腦掃描的數據標示出腫瘤。他指出，各地醫學院都在開發不同器官的機械學習模型，毋須自行重新開發，跟他們合作獲得授權使用更直接，預計首批加入的模型為分析前列腺掃描的數據，把不正常的增生組織在 3D 模型內標示。
施君易又透露，正跟私家醫院洽談為其他提供技術，用 3D 模型對比病人在各時間的掃描數據立體地呈現治療效果。「該平台可塑性甚高，目前只是技術的起點，有如遊戲般加載各類擴充功能。」
該平台亦計畫支援其他 MR 設備，如蘋果公司明年才正式推出的 Vision Pro。施君易表示，由於支援同一遊戲引擎，毋須更改核心技術，只修改用戶介面等便可，畢竟該設備運算能力強大，能夠支援更多複雜功能。
目前正在城大攻讀工商管理博士的施君易，以該創業公司獲得該校 HK Tech 300 注資 100 萬港元，加上去年底入選科學園的培育計畫，未來四年內將分階段獲 600 萬港元資助。這些資金除了投資開發產品，也會用於通過各類醫療器材驗證，以便把產品銷售至海外市場。
