阻礙AI廣泛采用的最大障礙之一就是解釋其工作原理。尤其是深度神經(jīng)網(wǎng)絡非常復雜，并且難以清晰描述，這在確保AI做出的決策公正且沒有人為偏見的情況下是一個問題。但是在幾個方面，可解釋的AI(XAI)問題正在取得真正的進展。

幾周前，隨著Google Cloud Explainable AI的發(fā)布，Google成為頭條新聞。可解釋的AI是框架和工具的集合，這些框架和工具向用戶解釋每個數(shù)據(jù)因素如何促進機器學習模型的輸出。

Google的Cloud AI戰(zhàn)略主管Tracy Frey在11月21日的博客文章中寫道：“這些摘要可幫助企業(yè)理解該模型為何做出決定的原因。”“您可以使用此信息來進一步改進模型或與模型的消費者分享有用的見解。”

Google的Explainable AI公開了Google創(chuàng)造的一些內(nèi)部技術，以使開發(fā)人員可以更深入地了解其大規(guī)模搜索引擎和問答系統(tǒng)如何提供答案。根據(jù)Google關于其Explainable AI的白皮書，這些框架和工具利用了復雜的數(shù)學方程式。

使用的關鍵數(shù)學元素之一是Shapley值，這是諾貝爾獎獲得者數(shù)學家Lloyd Shapley在1953年在合作博弈領域中創(chuàng)建的一個概念。Shapley值有助于創(chuàng)建“反事實”或箔，算法如果某個數(shù)據(jù)點的值不同，則將持續(xù)評估它將給出的結(jié)果。“主要問題是要做這些稱為反事實的事情，例如，神經(jīng)網(wǎng)絡會問自己，'假設我無法看到走進商店的人的襯衫顏色，那會改變我的估計嗎?他們走路的速度有多快?'”上個月在倫敦的一次活動上推出“可解釋的人工智能”后，摩爾告訴英國廣播公司。“通過做許多反事實，它逐漸建立了一張關于它是什么以及在進行預測時沒有注意的圖片。”

摩爾說，這種反事實方法是如此強大，以至于使可解釋性問題變得毫無意義。他告訴英國廣播公司：“黑匣子機器學習的時代已經(jīng)過去。”

但是，Google的XAI有一些限制。首先，它僅與TensorFlow機器學習框架兼容。該模型必須在Google Cloud上運行。盡管這無疑給Google Cloud帶來了超越其公共云競爭對手Microsoft Azure和Amazon Web Services的寶貴競爭優(yōu)勢-微軟Azure和Amazon Web Services正在積極地構建自己的AI系統(tǒng)-但它并沒有使那些不想在Google Cloud上運行的公司受益(我們被告知可能還有幾個)。

這就是Zest AI的用武之地。這家由前Google工程師創(chuàng)立的位于加利福尼亞伯班克的機器學習軟件公司采用了Shapley和他的同事Robert Aumann(另一位獲得諾貝爾獎的數(shù)學家)創(chuàng)建的完善的數(shù)學概念，并且將其提供給金融服務行業(yè)的客戶。

Zest AI首席技術官Jay Budzik向我們介紹了所有工作原理：

Budzik告訴Datanami：“ Google引入了一種稱為積分梯度的算法，它實際上只是對合作博弈理論中一種技術的重新包裝。”“ Shapley和他的同事Aumann描述的數(shù)學使您能夠準確地量化這些參與者的貢獻。”

通過將機器學習模型中的變量替換為游戲中的玩家，Aumann-Shapley方法可用于評估每個變量對整個模型結(jié)果的貢獻。這是他們XAI方法的核心“復雜數(shù)學”。