各有關單位：
? ? ? ?根據國家重點研發計劃專項課題《人工智能醫學信息系統軟件審評指導體系構建》的要求，由我中心負責起草的《超聲影像人工智能診斷軟件技術審評指導原則》等11項人工智能醫學信息系統軟件指導原則（見附件）已經完成制定流程，并通過專家組審定，現予以發布，供參考。
? ? ? ?附件：
? ? ? ?1.超聲影像人工智能診斷軟件技術審評指導原則
廣東省藥品監督管理局審評認證中心
2022年12月13日
本文為附件1：
超聲影像人工智能診斷軟件技術審評指導原則
本指導原則是人工智能醫學信息系統軟件審評指導體系構建的組成部分，基于人工智能醫療器械審評指導原則的通用要求，細化了超聲影像人工智能診斷軟件的一般要求。
本指導原則是供超聲影像人工智能診斷軟件的研發、生產和技術審評使用的指導性文件，不涉及相關行政審批事項，亦不作為法規強制執行，應在遵循相關法規的前提下使用本指導原則。
本指導原則是在現行法規和標準體系以及當前認知水平下制定的，隨著法規和標準的不斷完善，以及科學技術的 不斷發展，在使用過程中應對相關內容適時進行調整。
本指導原則適用于超聲影像人工智能診斷軟件的技術審評。該類產品通常作為軟件組件集成在影像型超聲診斷設備中。若作為獨立軟件運行通用計算機平臺，可以參考本指導原則的要求。
該類產品的核心功能是采用深度學習等人工智能算法對超聲影像數據進行處理、測量、分析等，包括非輔助決策類功能和輔助決策類功能，前者如生理結構自動識別及生理參數自動測量等，后者如病灶特征識別、病灶性質判定等。
超聲影像人工智能診斷軟件集成于超聲診斷設備中時，產品名稱、分類編碼、型號規格、結構組成與所集成產品保持一致。產品技術要求中應體現基于人工智能算法的軟件功能的相關信息。若有輔助決策類軟件功能，結構組成（若適用）和適用范圍應予以體現。
產品名稱應符合通用名稱命名規范要求。通常體現超聲檢查項目（如產前超聲、乳腺超聲）、預期用途（如影像處理、乳腺結節輔助檢測）等特征詞。例如：產前超聲影像處理軟件、乳腺結節超聲影像輔助檢測軟件等。
依據《醫療器械分類目錄》，分類編碼為21-04-02。
結構組成應明確軟件交付方式（如光盤/U盤安裝、網絡下載），結合網絡部署情況給出軟件功能模塊，應體現出應用人工智能算法的所有模塊。
適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途。例如，可供適齡女性乳腺腫瘤篩查及體檢人群使用，供經培訓合格的超聲科、婦科醫生或技師使用。
詳述工作原理，明確具體的功能模塊（如胎兒切面自動識別功能）、使用的超聲硬件（包括超聲診斷設備及探頭）要求、以及成像模式（如B模式）。
明確臨床工作流程，工作流程中使用申報產品的時間（如在超聲醫師檢查過程中使用，或在檢查結束后使用）。
基于參考文獻及已上市同類產品說明該功能當前的臨床實踐，包括傳統算法及人工智能算法的應用。
詳細介紹產品技術要求及說明書中對應的臨床功能、量化分析（如自動測量）的具體內容、操作設置、運行界面和報告界面的細節。明確算法自動生成的信息、輸出結果以及哪些可以修改。說明功能模塊失效時對超聲診斷的影響等信息。
需詳述產品的適用人群、感興趣區域、以及預期使用該產品的目標用戶。
需明確產品臨床應用的禁忌證以及器械使用限制，包括導致器械無效且不應使用的疾病、病癥、異常。
（三）非臨床資料
明確軟件發布版本和版本命名規則。軟件版本命名規則原則上需涵蓋算法驅動型更新和數據驅動型更新，明確并區分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見典型情況。
基于人工智能算法實現的功能模塊，性能指標應注意以下內容：
軟件功能明確所有臨床功能綱要。例如，支持神經自動識別功能（需明確必要的信息，如支持的探頭、可自動識別的神經、識別后的表現如目標增強等）；乳腺結節檢出、BI-RADS分類結果、乳腺結節測量功能（如體積、面積、前后徑、上下徑、橫徑、相位、距離等）；胎兒標準切面自動識別（需明確具體切面）及參數測量等。
使用限制明確應用場景（如篩查、輔助診斷等）、患者情況（如年齡、生理結構或疾病類型、可檢查的器官/疾病/病灶/異常限制）、超聲診斷設備及探頭、成像模式、超聲影像質量要求（如乳腺掃查時的灰度對比、深度及穿透力適當的要求等）。
接口明確輸入數據模式/類型（如灰度圖、三維容積圖）、特定軟硬件名稱和型號（如適用）。
若含有基于測評數據庫測試的性能指標，可參考《人工智能醫療器械注冊審查指導原則》。
軟件研究相關資料包括軟件研究資料、網絡安全研究資料、算法研究資料三部分。
依據已發布的《醫療器械軟件注冊審查指導原則》、《醫療器械網絡安全注冊審查指導原則》、《移動醫療器械注冊技術審查指導原則》、《人工智能醫療器械注冊審查指導原則》等指導原則提交相關資料。網絡安全方面還可參考《人工智能醫學軟件產品網絡安全技術審評指導原則》的有關內容。
測量功能提供測量準確性的研究資料。數據資源（如參考數據庫）明確數據種類以及每類數據的樣本量、數據分布等情況。
應基于《人工智能醫療器械審查指導原則》提交算法研究資料。根據超聲影像人工智能產品的特點需要細化之處如下。
（1）輸入應明確檢查的器官/疾病/病灶/異常及應用（如心臟結構自動識別）、掃查條件、成像模式、臨床使用限制、超聲診斷設備及探頭的型號、軟件運行環境，輸出應明確算法的輸出和自動生成的診斷結論；
（2）如具有通過檢測操作者掃查手法來引導標準切面的獲取算法，應明確掃查手法標準、標準切面判定標準。
產品設計應充分考慮國內和國際公認的相關領域的超聲診療指南，跟蹤最新版本，如美國放射學會推薦的“乳腺超聲影像報告和數據系統（BI-RADS）”等。
明確產品的使用場景、操作者、適用人群，如允許操作者為非超聲醫師（如技術員、護士），應重點描述。
明確算法訓練數據集要求，明確預期采集各分型/分期/分級樣本、陰性樣本、各特征樣本的數量和分布要求，明確采集的超聲診斷設備及探頭信息、掃查部位、成像模式、圖像分辨率/探測深度等、以及人群分布（性別、年齡、地域、基礎疾病等）、醫院級別、 醫院數量等要求。根據產品的預期用途和使用場景盡可能多采集數據，例如來源于多家、多地域、多層級的代表性臨床機構，以及多家、多種、多參數的代表性采集設備（如適用）。
用于疾病/病灶/異常檢測的人工智能算法，應結合流行病學特征納入一定量陽性樣本。用于正常生理結構識別的人工智能算法，應明確保證樣本多樣性的方法以及異常樣本的排除情況。
受超聲系統硬件（探頭、數模芯片、處理器性能等）、成像參數（信號采集濾波、波束合成、重建方法、增益補償、圖像調試等）設置、系統平臺參數等因素的影響，不同廠家的超聲系統平臺的圖像在風格、顆粒度等方面往往存在較大差異。因此，難以做到一個模型兼容所有廠家超聲系統平臺的數據進行部署。如果采用多種超聲系統平臺的數據，需明確數據分布，對樣本的組成、比例、分群分布特征、數據的多樣性和接近應用場景的程度開展分析，并以書面形式提供可驗證的指標，以確定數據的代表性。
明確算法性能評價目標。如標準切面識別指標的準確性、實時性等，測量指標的準確性、重復性等，病灶檢出指標的召回率、精確度等。需提供文獻綜述論證評價指標的定義、計算公式及確定依據。應能夠滿足預期臨床使用需求。
建議參考《人工智能醫療器械注冊審查指導原則》及YY/T 1833.2《人工智能醫療器械?質量要求和評價?第2部分：數據集通用要求》。同時注意以下方面的內容。
詳述采集過程的采集設備（含超聲診斷設備及探頭）、采集特征、采集人員管理、采集流程、采集質量評估要求、數據脫敏要求。其中采集特征應當考慮采集設備的采集方式（如靜態/動態影像、成像模式）、采集參數（如超聲探頭頻率、探頭陣元數、側向和軸向分辨率、深度、圖像放大倍率等要求）。采集人員管理詳述采集人員數量、資質、培訓方式和考核方式等。采集流程詳述入排標準、掃查手法、留圖要求等。若使用歷史數據，至少應明確采集設備、采集參數、圖像質量的要求等。
采集的圖像數據不應包含患者隱私信息，需說明數據脫敏的技術手段。
數據預處理需明確數據轉移保存的方法。明確預處理的操作步驟和內容，如數據格式轉化、尺寸裁剪、歸一化、去除無用信息等。原始數據庫的預處理過程若與算法運行的預處理過程存在差異，應加以說明并納入風險分析。
明確數據清洗的方法（如：人工、自動或兩者結合）、工具（如有）、規則等，例如是否已完成數據脫敏、是否滿足圖像唯一性、圖像標識或圖像內容是否與檢查部位相關、常規切面是否遺漏、動態圖像是否連續、探頭工作頻率和探頭深度是否滿足要求、圖像質量是否滿足要求等并加以篩選。清洗結果明確棄用的數據量和原因。
數據標注建議參考YY/T 1833.3《人工智能醫療器械質量要求和評價?第3部分：數據標注通用要求》。?
建議列表給出標注、審核、仲裁人員的基本信息，如科室/專業、職稱、工作年限、所在機構、培訓考核情況、工作量。明確標注對象（如超聲靜態或動態圖像中某解剖結構區域、某病灶及其位置等）、標注形式（根據任務的不同可有不同的標注形式，如切面類型標注、病灶位置標注、病灶性質標注等）、標注工具及平臺、標注環境、標注規則等。
標注工具及平臺應支持超聲數據格式或其轉化后數據格式的顯示功能，如DICOM格式數據、視頻格式數據、圖片格式數據、文本格式數據等。如標注工具、標注平臺使用人工智能算法進行輔助標注，需提交標注工具、標注平臺算法性能研究資料。
明確標注過程的分歧處理方法、控制偏倚方法、標注質量評估方法、以及追溯方法等，輔以流程圖說明標注流程。
對于標注前的基礎數據庫，標注后劃分的訓練集、調優集、測試集，應給出樣本量和分布情況及其確定依據，以及集合劃分的方法、依據。訓練集原則上需保證樣本分布具有均衡性，測試集、調優集原則上需保證樣本分布符合真實情況。為確保測試結果的合理性，在劃分數據集時，還應確保訓練集、調優集、測試集所采樣的病例兩兩無交集。樣本分布應主要考慮超聲診斷設備及探頭種類/型號、成像模式、掃查參數、掃查部位/切面、疾病/病灶/異常分級/分期/分型等，以及人群分布（性別、年齡、地域、基礎疾病等）、來源醫院等因素。
數據擴增應符合《人工智能醫療器械注冊審查指導原則》的要求。?
3.4算法驗證與確認
（1）算法性能評估
應根據功能模塊的具體任務制定算法性能評估指標、目標值，提供制定依據并論述其合理性。例如，圖像分割任務可采用DICE系數、mIOU等指標來評價；圖像分類任務可采用準確率、靈敏度、特異性、ROC曲線等指標來評價；目標檢測任務可以采用mAP等進行評價。以乳腺結節BI-RADS特征分類為例，通常臨床上認為當BI-RADS分類＜3時，可不進行臨床干預，當BI-RADS分類≥3則需要進行臨床干預。那么，除使用靈敏度、特異性等對算法在各特征上的整體性能進行評價外，從臨床實際意義出發，分層級對各特征性能進行統計分析就顯得尤為必要。同時，還應考慮算法的重復性和魯棒性。
明確測試樣本量估計的公式、參數及制定依據?；跍y試集提供算法性能評估結果，以證明算法性能滿足設計目標。
若有掃查手法檢測模塊，應選擇合適的評價指標驗證其算法性能。
應進行算法性能影響因素分析。詳述影響算法性能的主要因素及其影響程度，基于分析結果明確產品使用限制和必要警示提示信息。
主要性能影響因素包括但不限于超聲診斷設備及探頭、成像模式、超聲影像質量要求（如乳腺掃查時的灰度對比、深度及穿透力適當的要求等）、患者情況（如年齡、生理結構或疾病類型、可檢查的器官/疾病/病灶/異常限制）等，應論述其合理性。
人工智能算法功能模塊可在多個不同平臺/超聲診斷系統（含探頭）運行的，應論述算法確認所用平臺/超聲診斷系統（含探頭）的代表性。明確相關安全性、有效性、實時性評價指標，如標準切面識別的準確性、圖像增強效果的有效性、實時性等。明確樣本量及估算依據。
目前尚無超聲相關測評數據庫，原則上應基于臨床評價方式進行算法確認。
對于軟件安全性級別為嚴重級別或在基層醫療機構使用/非超聲醫生使用的產品，原則上需單獨提供一份用戶培訓方案，包括用戶培訓的計劃、材料、方式、師資等。
用戶培訓需關注以下內容：預期用戶要求，如工作年限或執業資格；醫生必須對軟件結果進行確認，軟件只用于輔助檢測，不能替代醫生；明確圖像質量要求（如有掃描質量問題的超聲圖像慎用）；禁忌情況，如基于臨床試驗驗證，不宜使用該軟件的疾病。
臨床評價應基于核心功能或核心算法，結合產品的預期用途和成熟度予以綜合考慮。
針對成像和后處理的非輔助決策類軟件功能，如心臟標準切面識別，原則上可基于核心功能進行同品種醫療器械比對，并開展一定數量的人體圖像樣本研究（區別于訓練集、調優集、測試集的樣本數據）。但全新的功能、算法、用途原則上需基于臨床試驗數據開展臨床評價。
輔助決策類軟件功能，如乳腺結節良惡性判斷，應基于核心算法進行同品種醫療器械比對，所選同品種醫療器械的臨床證據原則上需基于臨床試驗。全新的功能、算法、用途原則上均需開展臨床試驗。臨床試驗一般選擇同品種產品或臨床金標準進行非劣效對照設計，非劣效界值的確定應當有充分的臨床依據。原則上選擇靈敏度、特異性、ROC/AUC作為主要評價指標，亦可在此基礎上根據軟件特點選擇敏感性/特異性衍生指標、ROC/AUC衍生指標、組內相關系數、Kappa系數、時間效率等指標作為次要評價指標。臨床試驗的機構應避免訓練數據的主要來源機構。
說明書應符合《醫療器械說明書和標簽管理規定》和《醫療器械軟件注冊技術審查指導原則》、《醫療器械網絡安全技術審查指導原則》、《人工智能醫療器械注冊審查指導原則》和相關標準的規定。
對預期用戶和推薦用戶培訓的詳細說明。如，預期用戶工作年限或執業資格要求，且需經培訓合格。
若產品采用人工智能黑盒算法，需根據算法影響因素分析報告，在說明書中明確產品使用限制和必要警示提示信息。
示例：不應僅僅依靠本軟件所標識的輸出，應由專業醫師對結果進行解釋。
已發現該器械對于XX的受檢者無效。具有這種疾病/病癥/異常的受檢者不應使用該器械。
對訓練數據、測試數據與臨床試驗的算法性能評估結果不佳，數據量偏少的，此類受檢者使用該器械，應由專業醫師結合受檢者的病史、癥狀、體征、其他檢查結果情況綜合給出最終的檢查結論，核實是否需要進行下一步診療的決策，并對臨床診斷結果負責。
明確圖像質量要求（如有不符合要求的超聲圖像慎用）；
醫生必須對軟件結果進行確認，軟件只用于輔助檢測/診斷，不能替代醫生。原始的軟件結果應保留，確保軟件結果的可追溯性與可責性。
需明確與器械使用相關的不良事件，并提供緩解措施建議。對輔助決策類，不良事件討論需至少包括對假陽性事件和假陰性事件的不良事件的討論。
-算法設計和功能的概述，如有特殊聲明，如用于繼發性結節或更小結節檢測，可以特別說明。
-研發和調整算法中所用的受檢者數據的參考標準的描述
需明確軟件發布版本、運行環境（含硬件配置、外部軟件環境、網絡環境，若適用）、安全軟件兼容性列表（若適用）、外部軟件環境與安全軟件更新（若適用）、現成軟件清單（SBOM，若適用）等要求。
需明確對配合使用的圖像工作站（如PACS）適當顯示器械標記的要求（如適用）。
若該軟件部署于超聲設備外接計算介質內，需明確與其兼容的超聲設備廠家、設備型號、探頭型號等。
-分層分析（如，根據病變大小、病變類型、采集參數、成像或數據特征）
-獨立FROC性能（如適用），需和操作特性曲線一起說明。
需包括臨床試驗設計基本類型、研究對象（受試者及閱片者情況）、評價指標，金標準、對收集臨床信息方法的描述、統計方法描述、樣本量，臨床試驗結果。
13.決策指標定義（或提供決策指標定義所依據的臨床指南、專家共識等參考文獻）等信息。（如有）
除了符合質量管理體系法規及相關規范要求外，還可關注《人工智能醫學軟件產品現場檢查指導原則》的相關要求。
廣東省藥品監督管理局審評認證中心、深圳邁瑞生物醫療電子股份有限公司、深圳開立生物醫療科技股份有限公司。
[3]醫療器械注冊申報資料要求和批準證明文件格式[Z].
[7]醫療器械軟件注冊審查指導原則（2022年修訂版）?[Z].
[8]醫療器械網絡安全注冊審查指導原則（2022年修訂版）?[Z].
[10]人工智能類醫用軟件產品分類界定指導原則[Z].
[11] YY/T 0316,醫療器械 風險管理對醫療器械的應用[S].
[12] YY/T 1833.1,人工智能醫療器械 質量要求和評價 第1部分：術語[S].
[13] YY/T 1833.2,人工智能醫療器械 質量要求和評價 第2部分：數據集通用要求[S].
[14]?YY/T 1833.3,人工智能醫療器械 質量要求和評價 第3部分：數據標注通用要求[S].
[15] T/AII?004,面向人工智能的乳腺超聲數據采集與標注技術規程[S].
