即使对于以此为生的专业医疗专业人员来说，发现和诊断癌症也是一个复杂而困难的过程。谷歌研究人员的一个新工具可以通过提供可疑或已知癌细胞的反向图像搜索量来改善这一过程。但它不仅仅是一个简单的匹配算法。

诊断过程的一部分通常是在显微镜下检查组织样本并寻找可能指示一种或另一种形式的癌症的某些指示信号或形状。这可能是一个漫长而艰巨的过程，因为每个癌症和每个身体都是不同的，检查数据的人不仅要看病人的细胞，还要将它们与数据库甚至印刷的样本中的已知癌组织进行比较。

正如多年来已经充分证明的那样，将相似的图像相互匹配是一项非常适合机器学习代理的工作。这就是谷歌的反向图像搜索功能，在这里您可以放置​​一张图片并找到视觉上相似的图片。但是这种技术也被用于医学中的自动化过程，其中计算机系统可以突出显示具有已被训练识别的图案或特征的X射线或MRI区域。

这一切都很好，但癌症病理学的复杂性排除了两个样本之间简单的模式识别。例如，一个可能来自胰腺，另一个来自肺，这意味着尽管视觉上相似，但这两种情况可能完全不同。经验丰富的医生的“直觉”是不可替代的，医生也不会让它被替换。

意识到这里的机遇和局限，谷歌的研究团队建立了SMILY(类似医学图像，像你一样)，这是一种专门为组织检查和癌症诊断而构建的大幅增强的反向图像搜索。

用户将来自患者的新样本放入系统中 - 一张巨大的高分辨率图像的幻灯片，其上布置有染色的组织部分。(这种方法是标准化的并且已经存在了很长时间 - 否则你怎么能比较任何两种?)

一旦它进入工具，医生就可以像平时一样检查它，放大并平移。当他们看到一个引起他们兴趣的部分时，他们可以围绕它绘制一个盒子，SMILY将执行其图像匹配魔术，将盒子内部的内容与癌症基因组图谱的整个语料库进行比较，这是一个包含标记和匿名样本的庞大数据库。

侧边栏中会弹出看起来相似的区域，用户可以轻松地浏览它们。这在那里很有用。但是，正如研究人员在他们建造SMILY时发现的那样，医生真正需要的是能够在他们想要的东西中获得更加细化。总体视觉相似性并不是唯一重要的事情;广场内的特定特征可以是用户正在寻找的特征，或特定比例或类型的细胞。

研究人员写道：

用户需要能够根据具体情况指导和优化搜索结果，以便真正找到他们正在寻找的东西......这种迭代搜索改进的需求植根于医生经常如何执行“迭代诊断” - 通过生成假设，收集数据以测试这些假设，探索替代假设，以及以迭代方式重新检验或重新测试先前的假设。很明显，为了SMILY满足真正的用户需求，它需要支持不同的用户交互方法。

为此，团队添加了额外的工具，让用户可以更详细地指定他们感兴趣的内容，从而系统应该返回什么类型的结果。

首先，用户可以在他们所关注的区域内选择单个形状，并且系统将仅关注那个，忽略可能仅仅是干扰的其他特征。

其次，用户可以从搜索结果中选择看起来很有希望的系统，并且系统将更像它返回，与原始查询的关系不那么紧密。这可以让用户沿着细胞特征和类型的兔子洞走下去，进行上述研究人员提到的“迭代”过程。

第三，训练该系统以了解搜索结果中何时存在某些特征，例如融合腺体，肿瘤前体等。这些可以在搜索中包含或排除 - 因此，如果有人确定它与此功能或该功能无关，则可以将所有这些示例从表中删除。

在给予该工具使用的病理学家的研究中，结果是有希望的。医生似乎很快就采用了这个工具，不仅使用其官方功能，而且还要做一些事情，比如重塑查询框以测试结果，或者看看他们对某个功能的直觉是否正常或麻烦是对的。研究人员在他们的论文中写道：“这些工具优于传统界面，不会损失诊断准确性。”

这是一个良好的开端，但显然仍然只是一个实验。用于诊断的过程经过严格保护和审查;当人们的生命在线时，你不能只是引入一个随机的新工具并改变整个事物。相反，这仅仅是“未来用于专家决策的人类ML协作系统”的一个光明的开端，这可能在某些时候在医院和研究中心投入使用。

你可以在这里阅读描述SMILY的两篇论文和以SMILY为重点的以医生为中心的改进。它们最初于今年早些时候在格拉斯哥的2019年CHI展出。