新闻动态
我们可以信任AI吗？

人工智能就像人类智能一样，是多元的。

拉丁语“ Intelligere”中的智能，是指我们能够将那些看似没有明显联系的事物“捆绑”（ligere）在“一起”（intra）并深化和扩展其关系的能力。但是，如果关联太深入，就会失去发展模式的普遍适用性；而做得太宽松，又会失去有意义的关联。建立模式、将事物整合在一起并从中学习，这些行为都有助于知识的创造。 而且，如果您可以简明（快捷）并且优雅（有效）地向其他人解释某些事情，那么就表明您真的已经学懂了。解释，这种行为可以加强我们的学习，分享知识并且建立信任。

当让一台机器进行学习时，我们称之为机器学习（ML），这是一种AI的实现形式。它始于数据，以这些数据为起点，不断深入，进而发展出以前从未被发现的新知识。因此，从本质上讲，机器学习可以增添人类所构建的知识，尤其是在数据集特别大且时间紧缺时。现已存在非常精确且被广泛使用的各种ML算法。但是，这些方法大多是通过强力计算（嗯，如果您是一台现代功能强大的计算机，你当然希望发挥自己的计算优势!），而积累起来的知识以“黑匣子”的方式呈现出来。基于数据集来进行分析，如果对系统所进行的训练是适当的，那么只要提供相同的输入信息，就总是会以很高的准确性和可重复性生成相同的输出结果。这对计算机来说是顺理成章的，然而人类却很可能会因为不了解其原理和过程而感到奇怪：为什么是这个结果？电脑是怎么进行推论的 ？ 谁能给我解释一下好吗？

由此产生了一个问题：如果AI所提取的知识无法被解释、共享和/或最终信任，那么这样的AI真的可用吗？

AI在安全性至关重要的市场中肯定不可用!例如，我们当前不信任AI系统能操作飞过我们头顶的无人机，即使它会尽可能精确计算。我们当然不会信任地让AI系统来越过医生做出医疗决定，而让医生还在狐疑：“为什么这些数据会以这种方式关联起来？为什么AI系统推荐这种治疗而非另一种治疗呢？”在使用外科手术机器人进行远程手术时，或在操作透析机、输液泵的时候，我们当然也不会信任AI系统，这有助于帮助我们防止可能发生的伤害。

以IEC 62304和医疗市场为例，其中引入了“未知来源软件（SOUP）”的概念。 有了SOUP或第三方软件的意识，就可以清楚地了解第三方算法和知识的作用，并且可以减轻此类算法出现问题和失败的风险，从而让我们可以并且应该使用第三方算法和知识。

ML软件和开发的知识当然可以属于SOUP或第三方软件的类别。但是，如果ML表现得像个黑匣子，我们怎么知道这个黑匣子做了什么呢？ 我们如何减轻故障的影响，甚至完全避免故障的发生？因此，我给出的结论是：是的，我们可以信任AI，前提是AI具有可解释性并且可以在我们的日常决策中为我们提供支持。毕竟，拯救生命，这是医生而非AI系统的责任。

有关风河技术如何帮助革新医疗领域的更多信息，请单击此处。