最终,上海依图医疗技术有限公司、上海深睿博联医疗科技有限公司、北京安德医智科技有限公司、杭州健培科技有限公司、平安科技深圳有限公司、上海皓桦科技股份有限公司、上海联影智能医疗科技有限公司7家医疗AI企业的肺炎AI影像辅助诊断产品从参评的17家医疗AI公司中脱颖而出。
这次评测,可谓是打破了之前医疗AI行业自说自话、各自为战的局面,这不仅是首次由官方举办的医疗AI影像辅助诊断产品的同台竞技,更是特殊历史时刻的“人工智能抗疫产品”测评,意义非同小可。
为了保证此次测评的权威性,此次评测分为功能审查、性能评测、专家评审三部分,其中,功能审查主要评测肺炎AI产品的功能完备性、系统安全性、可靠性、易用性和兼容性;性能测评主要采用已标注测试数据进行客观测试,对肺炎AI产品临床诊断性能进行指标评价(准确率、灵敏度、特异度和Kappa系数);专家评审则是邀请国内权威临床专家从产品体验性、实用性、产品创新性,以及合理性对产品进行评价,同时综合考虑创新性的特殊功能评价。
据中国信通院相关人士介绍,测试数据是此次测评的另一大亮点。具体而言,此次测评使用了1000例肺炎(包括新冠肺炎和其它各种肺炎),参评的各家医疗AI企业用各自的模型(产品)测试。首先,数据全部来源于上海市公卫临床中心等7家新冠肺炎定点医疗机构,在采集过程中充分考虑了采集设备和配置、数据多样化和病例分布三个维度指标。
同时,考虑到鲁棒性和抗干扰因素,加入了在实际临床中经常出现的70例非标准影像数据。此外,在数据标注规范方面,由组织方制定数据标注起草流程,各数据提供医院组织标注,汇总后由专委会统一确认,这就有效地避免了因标注不统一而可能产生的不合理性。
“性能测试部分是拉开差距的主要原因”,中国信通院相关负责人介绍,性能测试包含“是否肺炎”、“是否新冠”、“病灶位置”。根据测评结果显示,大部分企业产品都能较好地筛查出“是否肺炎”,但在“新冠肺炎鉴别诊断”方面,仅有3家的准确率、灵敏度、特异性在80%以上,其中部分指标在90%以上。
6月19日,工业和信息化部科技司就公布了在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业名单。以在名单中的安德医智为例,根据疫情期间《人民日报》公开报道情况,“这套新冠AI定性诊断系统不仅能够实现‘肺炎诊断’,还能实现新冠肺炎与其他肺炎(病毒性肺炎、细菌性肺炎等)的进一步鉴别诊断。