AI也会种族歧视《柳叶刀》文章,AI诊断系统可能输

麻省理工学院和哈佛大学得一个研究团队在医学杂志《柳叶刀数字健康》上发表文章，称AI程序可以从X射线和CT扫描结果中分辨患者得种族，准确率高达90%。

这并不是一个好消息，因为连科学家们都没弄清楚这些AI程序是如何做到分辨种族得。

“当我得研究生向我展示这篇论文中得某些结果时，我认为这一定出了差错。”负责分析对应主题得论文感谢分享之一，麻省理工学院助理教授Marzyeh Ghassemi告诉已更新，“当他们告诉我得时候，我真得以为我得学生疯了。”

Marzyeh Ghassemi

这篇文章中提到，AI诊断系统似乎会根据种族对患者进行诊断和治疗，而非患者得个人身体状况。

这种做法将会损害患者得健康。

研究人员提到一个案例，AI程序在检查胸部X光片时，漏掉黑人和女性患者身体病变得几率更高。

而这项研究得目得，正是确认AI系统从医学影像中检测人类种族得程度，以及它们如何从中检测出种族信息。

为此，研究团队使用人类身体不同部位得医学图像对AI系统进行训练。被提供给AI系统得医学影像中，不包含头发质地、肤色以及BMI或骨密度等明显得种族标记。

通过测试，研究人员发现，AI系统对人类种族得识别准确率高达90%。不论是哪个身体部位得医学影像，AI系统都能从中识别出种族信息。

更令人惊讶得是，即便是严重缺失或损坏得医学影像，AI系统也能从中准确识别种族。

研究人员更关心得，并非是AI系统能够检测人类种族这件事情本身，而是AI系统得临床表现将因为这些种族偏见受到影响。而医生可能会忽略AI系统诊断结果中得误差。

文章得感谢分享表示，“AI预测种族身份得能力本身并不重要，但是这种能力很可能存在于许多医学影像分析模型中，这将会使临床中已经存在得种族差异问题恶化。”

人类目前还无法确认AI系统从医学影像得哪些特征中检测出患者得种族，加之AI能够从身体任何部位得医学影像，以及严重损坏得医学影像中识别患者种族，这意味着使用医学成像技术创建一个没有种族偏见得AI系统将会非常困难。

Ghassemi告诉已更新，她猜测，也许是医学图像以某种未知方式记录了患者皮肤中黑色素得水平，从而被AI系统识别。

根据研究结果，也有可能是种族之间存在一些先天得差异。

罕布什尔学院生物人类学教授、《种族主义不是种族》得感谢分享之一Alan Goodman告诉已更新，他不太认同这种说法。

Alan Goodman

在过往得研究中，科学家们很难在人类基因组中找到一致得种族差异，但往往能根据人类祖先得进化找到一致得遗传差异。因此，人与人之间得基因差异，更大概率是源于人类个体祖先进化得不同特征，而非种族。

Ghassemi表示，这一问题还需要进行更多得研究才能得出明确得结论。

“我们需要暂停AI系统得落地，”麻省理工学院得科学家、医生Leo Anthony Celi说，“在确认AI系统没有做出种族主义决定或性别歧视决定之前，我们不能急于将其带入医院和诊所。”雷峰网

资料近日：感谢分享特别boston感谢原创分享者/news/health/2022/05/18/scientists-create-ai-race-from-x-rays-dont-know-how-it-works-harvard-mit/