我们可以信任AI吗?

新闻动态

我们可以信任AI吗?

人工智能就像人类智能一样,是多元的。

拉丁语“ Intelligere”中的智能,是指我们能够将那些看似没有明显联系的事物“捆绑”(ligere)在“一起”(intra)并深化和扩展其关系的能力。但是,如果关联太深入,就会失去发展模式的普遍适用性;而做得太宽松,又会失去有意义的关联。建立模式、将事物整合在一起并从中学习,这些行为都有助于知识的创造。 而且,如果您可以简明(快捷)并且优雅(有效)地向其他人解释某些事情,那么就表明您真的已经学懂了。解释,这种行为可以加强我们的学习,分享知识并且建立信任。

当让一台机器进行学习时,我们称之为机器学习(ML),这是一种AI的实现形式。它始于数据,以这些数据为起点,不断深入,进而发展出以前从未被发现的新知识。因此,从本质上讲,机器学习可以增添人类所构建的知识,尤其是在数据集特别大且时间紧缺时。现已存在非常精确且被广泛使用的各种ML算法。但是,这些方法大多是通过强力计算(嗯,如果您是一台现代功能强大的计算机,你当然希望发挥自己的计算优势!),而积累起来的知识以“黑匣子”的方式呈现出来。基于数据集来进行分析,如果对系统所进行的训练是适当的,那么只要提供相同的输入信息,就总是会以很高的准确性和可重复性生成相同的输出结果。这对计算机来说是顺理成章的,然而人类却很可能会因为不了解其原理和过程而感到奇怪:为什么是这个结果?电脑是怎么进行推论的 ? 谁能给我解释一下好吗?

由此产生了一个问题:如果AI所提取的知识无法被解释、共享和/或最终信任,那么这样的AI真的可用吗?

AI在安全性至关重要的市场中肯定不可用!例如,我们当前不信任AI系统能操作飞过我们头顶的无人机,即使它会尽可能精确计算。我们当然不会信任地让AI系统来越过医生做出医疗决定,而让医生还在狐疑:“为什么这些数据会以这种方式关联起来?为什么AI系统推荐这种治疗而非另一种治疗呢?”在使用外科手术机器人进行远程手术时,或在操作透析机、输液泵的时候,我们当然也不会信任AI系统,这有助于帮助我们防止可能发生的伤害。

以IEC 62304和医疗市场为例,其中引入了“未知来源软件(SOUP)”的概念。 有了SOUP或第三方软件的意识,就可以清楚地了解第三方算法和知识的作用,并且可以减轻此类算法出现问题和失败的风险,从而让我们可以并且应该使用第三方算法和知识。

ML软件和开发的知识当然可以属于SOUP或第三方软件的类别。但是,如果ML表现得像个黑匣子,我们怎么知道这个黑匣子做了什么呢? 我们如何减轻故障的影响,甚至完全避免故障的发生?因此,我给出的结论是:是的,我们可以信任AI,前提是AI具有可解释性并且可以在我们的日常决策中为我们提供支持。毕竟,拯救生命,这是医生而非AI系统的责任。

有关风河技术如何帮助革新医疗领域的更多信息,请单击此处