imtoken.im|xai
imtoken.im|xai
- 作者: imtoken.im
- 2024-03-07 22:05:23
XAI是否靠譜？美國DARPA「可解釋人工智能」（XAI計劃）的4年回顧與經驗總結，附中文版 - 知乎
XAI是否靠譜？美國DARPA「可解釋人工智能」（XAI計劃）的4年回顧與經驗總結，附中文版 - 知乎切換模式寫文章登錄/注冊XAI是否靠譜？美國DARPA「可解釋人工智能」（XAI計劃）的4年回顧與經驗總結，附中文版專知 www.zhuanzhi.ai 專業(yè)可信的AI知識分發(fā)服務導語：可解釋人工智能的概念最早來自于美國DARPA（美國防部高級研究計劃局），2017年，為期4年的XAI研究計劃啟動?，F(xiàn)在，隨著 XAI 在 2021 年結束，本文總結和反思了 XAI 項目的目標、組織和研究進展。完整中英文版請上專知網站(www.zhuanzhi.ai)查看！作者：David Gunning, Eric Vorm, Jennifer Yunyan Wang, Matt Turek摘要DARPA 于 2015 年制定了可解釋人工智能 (XAI) 計劃，旨在使最終用戶能夠更好地理解、信任和有效管理人工智能系統(tǒng)。2017年，為期四年的XAI研究計劃開始?，F(xiàn)在，隨著 XAI 在 2021 年結束，是時候反思什么成功了，什么失敗了，以及學到了什么。本文總結了 XAI計劃的目標、組織和研究進展。1 XAI計劃創(chuàng)建背景機器學習的巨大成功創(chuàng)造了新的人工智能 (AI) 能力的爆炸式增長。持續(xù)的進步有望產生能夠自行感知、學習、決策和行動的自主系統(tǒng)。這些系統(tǒng)提供了巨大的好處，但它們的有效性將受到機器無法向人類用戶解釋其決策和行動的限制。這個問題對美國國防部 (DoD) 尤其重要，它面臨著需要開發(fā)更智能、自主和可靠系統(tǒng)的挑戰(zhàn)。可解釋的人工智能對于用戶理解、適當信任和有效管理新一代人工智能合作伙伴至關重要?？山忉屝詥栴}在某種程度上是人工智能成功的結果。在人工智能的早期，主要的推理方法是邏輯和符號。這些早期系統(tǒng)通過對（某種程度上）人類可讀符號執(zhí)行某種形式的邏輯形式來進行推理。早期系統(tǒng)可以生成其推理步驟的痕跡，然后可以成為解釋的基礎。因此，在如何使這些系統(tǒng)可解釋方面進行了大量工作（Shortliffe & Buchanan, 1975; Swartout, Paris, & Moore, 1991; Johnson, 1994; Lacave & D′?ez, 2002; Van Lent, Fisher, & Mancuso , 2004)。然而，這些早期的人工智能系統(tǒng)是無效的；事實證明，它們的建造成本太高，而且對于現(xiàn)實世界的復雜性來說太脆弱了。AI 的成功伴隨著研究人員開發(fā)了新的機器學習技術，這些技術可以使用他們自己的內部表示（例如，支持向量、隨機森林、概率模型和神經網絡）來構建世界模型。這些新模型更有效，但必然更不透明且難以解釋。2015 年是 XAI 需求的轉折點。數據分析和機器學習剛剛經歷了十年的快速發(fā)展（Jordan & Mitchell，2015）。在 2012 年突破性的 ImageNet 演示之后，深度學習革命才剛剛開始（Krizhevsky、Sutskever 和 Hinton，2012 年）。大眾媒體對超級智能 (Bostrom, 2014) 和即將到來的 AI 啟示錄（Apocalypse） (Gibbs, 2017, Cellan-Jones, 2014, Marr, 2018) 充滿活力猜測。每個人都想知道如何理解、信任和管理這些神秘的、看似高深莫測的人工智能系統(tǒng)。2015 年還出現(xiàn)了提供可解釋性的初步想法。一些研究人員正在探索深度學習技術，例如使用反卷積網絡來可視化卷積網絡的層級（Zeiler & Fergus，2014）。其他研究人員正在尋求學習更多可解釋模型的技術，例如貝葉斯規(guī)則列表 (Letham, Rudin, McCormick, & Madigan, 2015)。其他人正在開發(fā)與模型無關的技術，可以用機器學習模型（作為黑盒）進行試驗，以推斷出近似的、可解釋的模型，例如 LIME（Ribeiro、Singh 和 Guestrin，2016 年）。還有一些人評估可解釋交互的心理和人機交互因素（Kulesza、Burnett、Wong 和 Stumpf，2015 年）。DARPA 花了一年時間調查研究人員，分析可能的研究策略，并制定計劃的目標和結構。2016 年 8 月，DARPA 發(fā)布 DARPA-BAA-16-53 征集提案。2 XAI計劃目標可解釋人工智能 (XAI) 的既定目標是創(chuàng)建一套新的或改進的機器學習技術，以產生可解釋的模型，當與有效的解釋技術相結合時，使最終用戶能夠理解、適當地信任和有效地管理新一代人工智能系統(tǒng)。XAI 的目標是最終用戶，他們依賴于 AI 系統(tǒng)產生的決策或建議，或者它采取的行動，因此需要了解系統(tǒng)的基本原理。例如，從大數據分析系統(tǒng)接收建議的情報分析師需要了解它為什么建議某些活動，需要進行進一步調查。同樣，執(zhí)行自主系統(tǒng)任務的操作員需要了解系統(tǒng)的決策模型，以便在未來的任務中適當地使用它。XAI 的概念是為用戶提供解釋，使他們能夠了解系統(tǒng)的整體優(yōu)勢和劣勢；傳達對其在未來/不同情況下的表現(xiàn)的理解；并且可能允許用戶糾正系統(tǒng)的錯誤。XAI 計劃假設機器學習性能（例如，預測準確性）和可解釋性之間存在固有矛盾關系，這一問題與當時的研究結果一致。通常性能最高的方法（例如深度學習）是最難解釋的，而最可解釋的（例如決策樹）是最不準確的。該計劃希望創(chuàng)建一系列新的機器學習和解釋技術，為未來的從業(yè)者提供更廣泛的設計選項，涵蓋性能-可解釋性交易空間。如果應用程序需要更高的性能，XAI 產品組合將包括更可解釋、高性能的深度學習技術。如果應用系統(tǒng)需要更多的可解釋性，XAI 將包括性能更高、可解釋的模型。3 XAI計劃結構體系該計劃分為三個主要技術領域（technical areas，TAs），如圖 1 所示：（1）開發(fā)新的 XAI 機器學習和可解釋技術以產生有效的解釋性；（2）通過總結、延伸和應用可解釋心理學理論，來理解可解釋心理；(3) 在兩個挑戰(zhàn)問題領域評估新的 XAI 技術：數據分析和自主性。 圖1：DARPA的XAI計劃結構，包括技術領域(TAs)和評估框架最初的計劃時間表包括兩個階段：第一階段，技術演示（18 個月）；第 2 階段，比較評估（30 個月）。在第一階段，開發(fā)人員被要求針對他們自己的測試問題展示他們的技術。在第 2 階段，最初的計劃是讓開發(fā)人員針對政府評估人員定義的兩個常見問題之一（圖 2）測試他們的技術。在第 2 階段結束時，預計開發(fā)人員將向開源 XAI 工具包貢獻原型軟件。 圖2:面臨的挑戰(zhàn)問題4 XAI計劃開發(fā)2017年5月，XAI計劃開始啟動。選擇了 11 個研究團隊來開發(fā)可解釋學習器 (TA1)，并選擇了一個團隊來開發(fā)可解釋的心理模型。評估由美國海軍研究實驗室提供。以下總結了這些進展以及該計劃結束時這項工作的最終狀態(tài)。Gunning 和 Aha，2019 年給出了 2018 年底 XAI 發(fā)展的中期總結。4.1 XAI可解釋的學習方法（XAI Explainable Learner Approaches）該計劃預計研究人員將調查訓練過程、模型表示，以及重要的解釋交互。為模型表示設想了三種通用方法。可解釋的模型方法將尋求開發(fā)對機器學習專家來說本質上更易于解釋和更內省的 ML 模型。深度解釋方法將利用深度學習或混合深度學習方法來產生除預測之外的解釋。最后，模型歸納技術將從更不透明的黑盒模型創(chuàng)建近似可解釋的模型。解釋交互被認為是 XAI 的一個關鍵元素，將用戶連接到模型，使他們能夠理解決策過程并與之交互。隨著研究的進展，11 個 XAI 團隊探索了許多機器學習方法，例如易處理的概率模型 (Roy et al. 2021) 和因果模型 (Druce et al. 2021) 以及強化學習算法生成的狀態(tài)機等解釋技術(Koul et al. 2019, Danesh et al. 2021), 貝葉斯教學 (Yang et al. 2021), 視覺顯著圖 (Petsiuk 2021, Li et al. 2021, Ray et al. 2021, Alipour et al. 2021, Vasu et al. 2021)，以及網絡和 GAN 解剖 (Ferguson et al. 2021)。也許最具挑戰(zhàn)性和最獨特的貢獻來自機器學習和解釋技術的結合，以進行精心設計的心理實驗來評估解釋的有效性。隨著計劃的推進，我們也對用戶范圍和開發(fā)時間線有了更深入的了解（圖 3）。 圖3: XAI用戶和開發(fā)時間表4.2 解釋的心理學模型（Psychological Models of Explanation）該計劃需要對解釋有扎實的心理學理論支持。選擇了一個團隊來總結當前的解釋的心理學理論，以協(xié)助 XAI 開發(fā)人員和評估團隊。這項工作始于對解釋心理學的廣泛文獻調查以及之前關于 AI 可解釋性的工作（IHMC 文獻調查的參考資料）。最初，該團隊被要求（1）對當前的解釋理論進行總結，（2）根據這些理論開發(fā)一個解釋的計算模型；(3) 根據 XAI 開發(fā)人員的評估結果驗證計算模型。開發(fā)計算模型被證明是一座太極端的橋梁，但該團隊確實對該領域有深入的了解并成功地制作了描述性模型。這些描述性模型對于支持有效的評估方法至關重要，這些評估方法涉及精心設計的用戶研究，按照美國防部人體研究指南進行。圖4說明了 XAI 解釋過程的頂級描述模型。 圖 4：解釋心理模型。黃色框說明了基本過程。綠色方框說明了測試標準。白框說明了潛在的結果。4.3 評估最初設想評估基于數據分析和自主性領域內的一組常見問題。然而，很快就很清楚，在廣泛的問題領域中探索各種方法會更有價值。為了評估該計劃最后一年的表現(xiàn)，由美國海軍研究實驗室 (NRL) 領導的評估小組開發(fā)了一個解釋評分系統(tǒng) (ESS)。基于一組領域專家的建議并使用內容有效性比 (CVR) 進行驗證，ESS 提供了一種用于評估 XAI 用戶研究設計的定量機制。ESS 評估用戶研究的多個要素，包括任務、領域、解釋、解釋交互、用戶、假設、數據收集和分析。XAI 評價指標如圖 5所示，包括功能性指標、學習績效指標和解釋有效性指標。仔細設計用戶研究以準確評估解釋的有效性至關重要。通常，評估 XAI 算法的性能需要多種類型的度量（參見性能、功能、解釋有效性）。XAI 用戶研究設計可能很棘手，通常在該計劃中最有效的團隊擁有具有豐富心理學專業(yè)知識的人員。 圖5:XAI算法的評估措施5 XAI計劃開發(fā)方法XAI計劃探討了許多方法，如表1所示。表1: DARPA XAI計劃的技術方法6 XAI結果與經驗教訓在該計劃期間進行了三項主要評估：一項在第 1 階段，兩項在第 2 階段。為了評估 XAI 技術的有效性，該計劃的研究人員設計并執(zhí)行了用戶研究。用戶研究仍然是評估解釋的黃金標準。在 XAI 研究人員進行的用戶研究中，大約有 12,700 名參與者，其中包括大約 1900 名受監(jiān)督的參與者，其中個人由研究團隊指導（例如親自或在 Zoom 上）和 10800 名無監(jiān)督的參與者，其中個人自我通過實驗進行指導，并且沒有受到研究團隊（例如 Amazon Mechanical Turk）的積極指導。根據美國國防部 (DoD) 資助的所有人類受試者研究的政策，每個研究方案都由當地機構審查委員會 (IRB) 審查，然后國防部人類研究保護辦公室審查方案和當地 IRB 調查結果。在這些用戶研究過程中，確定了幾個關鍵要：如前所述，學習表現(xiàn)和可解釋性之間似乎存在一種自然的矛盾關系。然而，在整個計劃過程中，我們發(fā)現(xiàn)了可解釋性可以提高性能（Kim et al. 2021, Watkins et al. 2021）。從直觀的角度來看，訓練系統(tǒng)以產生解釋，通過額外的損失函數、訓練數據或其他機制來提供額外的監(jiān)督，以鼓勵系統(tǒng)學習更有效的世界表征。雖然這可能并非在所有情況下都是正確的，并且在可解釋的技術何時將具有更高性能時仍有大量工作要做，但它提供了希望，未來的 XAI 系統(tǒng)可以在滿足用戶解釋需求的同時比當前系統(tǒng)具有更高的性能。7 2021 年 DARPA 計劃之后的世界狀況、AI和 XAIXAI 目前沒有通用的解決方案。如前所述，不同的用戶類型需要不同類型的解釋。這與我們與其他人互動時所面臨的沒有什么不同。例如，考慮一名醫(yī)生需要向其他醫(yī)生、患者或醫(yī)學審查委員會解釋診斷。或許未來的 XAI 系統(tǒng)將能夠自動校準并向大量用戶類型中的特定用戶傳達解釋，但這仍然遠遠超出了當前的技術水平。與 2015 年相比，今天我們對 AI 的理解更加細致入微、不那么戲劇化，或許也更加準確。我們當然對深度學習的可能性和局限性有了更準確的理解。人工智能的末日已經從迫在眉睫的危險變成了遙遠的好奇。同樣，XAI 計劃對 XAI 產生了更細致入微、不那么戲劇化、或許更準確的理解。該計劃無疑起到了促進 XAI 研究（包括計劃內部和外部）的作用。結果對 XAI 的使用和用戶、XAI 的心理、衡量解釋有效性的挑戰(zhàn)以及產生新的 XAI ML 和 HCI 技術組合有了更細致的理解。當然還有更多工作要做，特別是隨著新的人工智能技術的開發(fā)，這些技術將繼續(xù)需要解釋。XAI 將在一段時間內繼續(xù)作為一個活躍的研究領域。作者認為，XAI 計劃通過為開展這項工作奠定了基礎，做出了重大貢獻。附: “可解釋人工智能”（XAI）項目背景資料機器學習的巨大成功產生了大量人工智能（AI）應用項目。照此發(fā)展，其持續(xù)的進步有望產生能夠自我感知、學習、決策和行動的自主系統(tǒng)。然而，這些系統(tǒng)的有效性受到機器當前無法向人類用戶解釋其決策和行動的限制（如下圖）。美國國防部（DoD）面臨著需要更智能、自主和共生系統(tǒng)的挑戰(zhàn)。如果未來的戰(zhàn)士能夠理解，適當地信任并有效地管理新一代人工智能機器協(xié)作伙伴，那么可解釋人工智能，特別是可解釋的機器學習，將是必不可少的。XAI項目需求“可解釋人工智能”（XAI）項目旨在創(chuàng)建一套機器學習技術：產生更多可解釋的模型，同時保持高水平的學習成績（預測準確性）；使人類用戶能夠理解，適當地信任并有效地管理新一代人工智能合作伙伴。XAI項目強調區(qū)域新的機器學習系統(tǒng)將能夠解釋它們的基本原理，表征它們的優(yōu)點和缺點，并傳達對它們將來如何表現(xiàn)的理解。實現(xiàn)該目標的策略是開發(fā)新的或改進機器學習技術，以產生更多可解釋的模型。這些模型將結合最先進的人機界面技術，能夠將模型轉化為最終用戶可理解和有用的解釋對話（如下圖）。DARPA研究團隊的策略是采用各種技術，以生成一系列方法，為未來的開發(fā)人員提供一系列涵蓋性能與可解釋性交易空間的設計方案。XAI項目概念XAI項目是當前DARPA正在推行的AI項目之一，旨在實現(xiàn)“第三波AI系統(tǒng)”，其中機器了解其運行的環(huán)境和環(huán)境，并隨著時間的推移構建底層解釋模型，使其能夠表征現(xiàn)實世界現(xiàn)象。XAI項目通過解決兩個技術領域的挑戰(zhàn)問題，專注于多系統(tǒng)的開發(fā)：（1）機器學習問題，用于對異構、多媒體數據中感興趣的事件進行分類；（2）機器學習問題，為自主系統(tǒng)構建決策策略，以執(zhí)行各種模擬任務。XAI項目挑戰(zhàn)問題領域這兩個挑戰(zhàn)問題領域被選擇來代表兩個重要的機器學習方法（分類和強化學習）和兩個重要的國防部操作問題領域（情報分析和自主系統(tǒng)）的交叉點。XAI項目結構此外，研究人員正在研究解釋心理學。XAI研究原型在整個項目過程中經過測試和持續(xù)評估。在2018年5月，XAI研究人員展示了他們可解釋學習系統(tǒng)的初步實施，并展示了他們的第一階段評估的初步試點研究結果。隨后在2018年11月進行全階段1系統(tǒng)評估。機器學習的巨大成功導致了AI應用的新浪潮(例如，交通、安全、醫(yī)療、金融、國防)，這些應用提供了巨大的好處，但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創(chuàng)建人工智能系統(tǒng)，其學習的模型和決策可以被最終用戶理解并適當信任。實現(xiàn)這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發(fā)團隊正在通過創(chuàng)建ML技術和開發(fā)原理、策略和人機交互技術來解決前兩個挑戰(zhàn)，以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰(zhàn)，以幫助XAI評估人員定義一個合適的評估框架，開發(fā)團隊將使用這個框架來測試他們的系統(tǒng)。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中，開發(fā)人員團隊正在評估他們的XAM系統(tǒng)的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。編輯于 2022-07-04 09:10人工智能人工智能算法?贊同 15??2 條評論?分享?喜歡?收藏?申請
xAI（埃隆·馬斯克成立的人工智能公司）_百度百科
埃隆·馬斯克成立的人工智能公司）_百度百科 網頁新聞貼吧知道網盤圖片視頻地圖文庫資訊采購百科百度首頁登錄注冊進入詞條全站搜索幫助首頁秒懂百科特色百科知識專題加入百科百科團隊權威合作下載百科APP個人中心xAI是一個多義詞，請在下列義項上選擇瀏覽（共3個義項）添加義項收藏查看我的收藏0有用+10xAI播報討論上傳視頻埃隆·馬斯克成立的人工智能公司xAI是埃隆·馬斯克成立的人工智能公司，于當地時間2023年7月12日宣布成立。 [1]構建xAI的目標，是要專注于回答更深層次的科學問題，期望未來可以用AI去幫助人們去解決復雜的科學和數學問題并且“理解”宇宙。 [5]2024年1月24日，馬斯克xAI團隊即將發(fā)布首個AI大模型Grok 1.5。 [9]公司名稱xAI所屬行業(yè)人工智能成立時間2023年7月12日公司口號理解宇宙的真實本質目錄1發(fā)展歷程2公司規(guī)模發(fā)展歷程播報編輯2023年4月，根據美國內達華州的備案文件，馬斯克在該州新成立了一家名為X.AI的人工智能公司 [2]。當地時間2023年7月12日，馬斯克在推特宣布成立人工智能公司xAI，公司目標是理解宇宙的真實本質。xAI定于7月15日在線上舉辦活動，這一由馬斯克領導的團隊將在線回答提問。 [1]2023年11月5日，馬斯克旗下xAI團隊發(fā)布其首個AI大模型產品——Grok。據介紹，Grok通過X平臺實時了解世界，還能回答被大多數其他AI系統(tǒng)拒絕的辛辣問題。 [6]2023年12月5日，馬斯克的人工智能初創(chuàng)公司xAI向美國證監(jiān)會（SEC）提交的文件顯示，該公司尋求通過發(fā)行股票融資至多10億美元，其中已完成交易的部分為1.34億美元。 [7]當地時間12月7日晚，社交平臺X官方賬號宣布，馬斯克旗下人工智能初創(chuàng)公司xAI的首款人工智能大模型Grok現(xiàn)在開始向美國的Premium+訂閱用戶推出。用戶可在側邊菜單中找到Grok。 [8]2024年1月24日，馬斯克xAI團隊即將發(fā)布首個AI大模型Grok 1.5 ，該模型有望在下個月進行全面改進并發(fā)布。 [9]2024年2月22日，馬斯克在社交媒體平臺“X”上表示，xAI的Grok V1.5將于2周后發(fā)布 [10]。公司規(guī)模播報編輯根據xAI官網，團隊成員曾在DeepMind、OpenAI、谷歌研究院、微軟研究院、特斯拉及多倫多大學供職，由現(xiàn)任人工智能安全中心主任丹·亨德里克斯擔任顧問。初創(chuàng)團隊中有11位核心成員，由埃隆·馬斯克領導。這 11 名成員分別是：伊戈爾·巴布什金、Kyle Kosic、Greg Yang、Ross Nordeen、Toby Pohlen、Jimmy Ba、Christian Szegedy、宇懷·吳、戴子航、Manuel Kroiss、張國棟。 [1] [3-4]2023年7月，在Space活動上，12名團隊成員依次做了自我介紹。xAI的團隊成員背景跟數學、物理和計算機科學有很強的關聯(lián)，其中好幾人是從研究基礎數學、物理學開始再逐漸進入到人工智能領域的。 [5]新手上路成長任務編輯入門編輯規(guī)則本人編輯我有疑問內容質疑在線客服官方貼吧意見反饋投訴建議舉報不良信息未通過詞條申訴投訴侵權信息封禁查詢與解封?2024?Baidu?使用百度前必讀?|?百科協(xié)議?|?隱私政策?|?百度百科合作平臺?|?京ICP證030173號?京公網安備110000020000XAI：理解與解釋的AI技術 - 知乎
XAI：理解與解釋的AI技術 - 知乎切換模式寫文章登錄/注冊XAI：理解與解釋的AI技術呆馬區(qū)塊鏈科技一、背景與概述隨著機器學習與人工智能的廣泛應用，人們對于如何理解和應用這些機器學習模型的需求日益增長。在這樣的背景下，解釋性AI（XAI）作為一種能夠提供解釋和理解的AI技術應運而生。XAI的目標是幫助人們更好地理解和應用機器學習模型，從而提高決策的準確性和效率。通過XAI，我們可以獲得有關模型假設、預測和輸出的詳細信息。這些信息有助于我們理解模型在特定數據下的響應方式，從而提高預測的準確性和可靠性。在數據科學和機器學習項目中，XAI已經成為一個重要的工具，幫助團隊做出更明智的決策。1.醫(yī)療領域：在醫(yī)療領域，XAI可以用于解釋醫(yī)療診斷和機器學習模型的預測結果。醫(yī)生可以更好地理解診斷的依據和預測的準確性，從而為患者提供更準確的診斷和治療方案。此外，XAI還可以幫助醫(yī)生識別出模型可能存在的偏差和問題，進一步提高醫(yī)療質量。2. 金融領域：在投資決策中，XAI可以幫助投資者更好地理解投資決策的依據和風險。通過XAI，投資者可以獲得關于機器學習模型預測的詳細信息，從而做出更明智的投資決策。3. 法律領域：在法律領域，XAI可以用于解釋法律判決和機器學習模型的預測結果。通過XAI，律師可以更好地理解判決的依據和預測的準確性，從而為當事人提供更準確的法律建議。結論：XAI的重要性與前景總的來說，解釋性AI（XAI）是一種具有廣泛應用前景的技術。它不僅可以幫助人們更好地理解和應用機器學習模型，而且還可以提高決策的準確性和效率。在數據科學和機器學習項目、醫(yī)療、金融和法律等領域，XAI都有著廣泛的應用前景。發(fā)布于 2024-01-27 14:56?IP 屬地山東Adobe Illustrator?贊同??添加評論?分享?喜歡?收藏?申請
什么是可解釋 AI？| IBM
什么是可解釋 AI？| IBM
什么是可解釋 AI？
訂閱 IBM 時事通訊
可解釋人工智能 (XAI) 是一組流程和方法，讓人類用戶可以理解并信任機器學習算法創(chuàng)建的結果和輸出。
可解釋 AI 用于說明 AI 模型、其預期影響和潛在偏見。它可幫助描述模型的準確性、公平性、透明度以及人工智能驅動型決策的結果?？山忉?AI 至關重要，可在組織將 AI 模型投入生產時幫助組織建立信任和信心。AI 可解釋性還有助于組織采用負責任的 AI 開發(fā)方法。
AI 的先進程度越來越高，人類已經很難去理解和追溯算法是如何得出結果的。整個計算過程變成了通常所說的無法解釋的“黑匣”。這些黑匣模型是直接從數據創(chuàng)建的。而且，即使是創(chuàng)建算法的工程師或數據科學家也無法理解或解釋這些算法內部到底發(fā)生了什么，或者 AI 算法是如何得出特定結果的。
了解啟用 AI 的系統(tǒng)如何產生特定輸出會帶來諸多好處?？山忉屝钥蓭椭_發(fā)人員確保系統(tǒng)按預期運行，滿足監(jiān)管標準可能也需要可解釋性，或者如果要允許受決策影響的人質疑或更改結果，那么可解釋性也十分重要。1
如何大規(guī)模構建負責任的人工智能
探索指南
為什么可解釋 AI 很重要
對于一家組織來說，充分了解 AI 決策過程并實現(xiàn) AI 的模型監(jiān)控和問責制，而不是盲目信任 AI，這一點至關重要?？山忉?AI 可以幫助人類理解和解釋機器學習 (ML) 算法、深度學習和神經網絡。
ML 模型通常被認為是無法解釋的黑匣。2深度學習中使用的神經網絡是人類最難理解的神經網絡之一。偏見（通常是基于種族的偏見）、性別、年齡或地點，這些一直是訓練 AI 模型的過程中長期面臨的風險。此外，因為生產數據與訓練數據不同，AI 模型性能可能會出現(xiàn)漂移或降級。因此，企業(yè)需要持續(xù)監(jiān)控和管理模型以提升 AI 可解釋性，同時衡量使用此類算法所造成的業(yè)務影響，這一點至關重要?？山忉?AI 還有助于提高最終用戶的信任度和模型的可審計性，并促進 AI 的有效使用。它還緩解了生產 AI 帶來的合規(guī)性、法律、安全和聲譽風險。
可解釋 AI 是實施負責任 AI 的關鍵要求之一，借助可解釋 AI，現(xiàn)實中的各個組織可以大規(guī)模實施 AI 方法，并實現(xiàn)公平性、模型可解釋性和問責制。3為了以負責任的方式采用 AI，組織需要基于信任和透明度構建 AI 系統(tǒng)，以將倫理原則嵌入到 AI 應用程序和流程中。
了解關于 AI 倫理的更多信息
可解釋 AI 的運作方式
通過可解釋 AI 以及可解釋的機器學習，組織可以訪問 AI 技術的底層決策，并有權做出調整。可解釋 AI 可以讓最終用戶相信 AI 正在制定明智的決策，從而改善產品或服務的用戶體驗。AI 系統(tǒng)何時會對決策有十足的把握，讓您可以信任決策，以及 AI 系統(tǒng)如何糾正出現(xiàn)的錯誤？?
AI 的先進程度越來越高，但仍然需要理解并管控 ML 流程，以確保 AI 模型結果的準確性。我們來看看 AI 和 XAI 之間的區(qū)別，用于將 AI 轉換為 XAI 的方法和技術，以及闡釋和解釋 AI 過程之間的區(qū)別。
比較 AI 和 XAI
“常規(guī)”AI 和可解釋 AI 之間究竟有什么區(qū)別？XAI 采用了特定的技術和方法，以確?？梢愿櫤徒忉屧?ML 過程中所做出的每個決策。另一方面，AI 通常利用 ML 算法得出結果，但 AI 系統(tǒng)的架構師并不完全了解算法是如何得出該結果的。這樣就很難檢查結果的準確性，同時也會喪失可控性、問責制和可審計性。
可解釋 AI 技術
XAI 技術的設置要用到三種主要方法。預測準確性和可跟蹤性可滿足技術方面的需求，而決策理解可滿足人類需求。如果未來的作戰(zhàn)人員要理解、適度信任并有效管理新一代人工智能機器合作伙伴，那么可解釋 AI，尤其是可解釋的機器學習，將至關重要。
預測準確性
準確性是在日常運營中成功使用 AI 的關鍵因素。通過運行模擬并將 XAI 輸出與訓練數據集中的結果進行比較，可以確定預測準確性。在這方面，最主流的技術是模型無關的局部解釋 (LIME)，它解釋了 ML 算法對分類器的預測。
可跟蹤性
可跟蹤性是實現(xiàn) XAI 的另一關鍵技術?？赏ㄟ^多種方法實現(xiàn)可跟蹤性，比如通過限制決策的制定方式，以及為 ML 規(guī)則和功能設置更小的范圍?？筛櫺?XAI 技術的一個例子是 DeepLIFT（深度學習重要特征），該算法將每個神經元的激活與其參考神經元進行比較，并顯示每個已激活神經元之間的可跟蹤鏈路，甚至顯示它們之間的依賴關系。
決策理解
這是人為因素。許多人對 AI 并不信任，然而，要高效利用 AI，就需要學會信任 AI。通過教導團隊使用 AI，可以建立對 AI 的信任，這樣他們就能理解 AI 如何決策以及為何做出此等決策。
AI 中的可解釋性與可闡釋性
可闡釋性是觀察者對于決策原因的理解程度。這是人類對 AI 輸出結果進行預測的成功率，而可解釋性則更進一步，著眼于 AI 如何得出結果。
可解釋 AI 與負責任 AI 有何關聯(lián)？
可解釋 AI 和負責任 AI 目標相似，但采用的方法不同。以下是可解釋 AI 和負責任 AI 之間的主要區(qū)別：
可解釋 AI 是在計算出結果后審視 AI 結果。
負責任 AI 則是在規(guī)劃階段審視 AI，使 AI 算法在計算出結果之前始終以負責任的方式運行。
可解釋 AI 和負責任 AI 可以協(xié)同工作，從而打造出更出色的 AI。
持續(xù)模型評估
借助可解釋 AI，企業(yè)可以排除故障，提高模型性能，同時幫助利益相關者了解 AI 模型的行為。通過跟蹤模型，對模型行為展開調查，深入了解模型部署狀態(tài)、公平性、質量和漂移，這對于擴展 AI 至關重要。
通過持續(xù)模型評估，企業(yè)能夠比較模型預測結果、量化模型風險并優(yōu)化模型性能。顯示模型行為中的正值和負值以及用于生成解釋的數據可加速模型評估。數據和 AI 平臺可以生成模型預測的特征歸因，并支持團隊通過交互式圖表和可導出文檔直觀調查模型行為。
可解釋 AI 的優(yōu)勢
充滿信任、從容自信地有效運行 AI
建立對生產 AI 的信任?？焖賹?AI 模型投入生產。確保 AI 模型的可闡釋性和可解釋性。簡化模型評估流程，同時提高模型透明度和可跟蹤性。
加快獲得 AI 結果
系統(tǒng)化地監(jiān)控和管理模型以優(yōu)化業(yè)務成果。持續(xù)評估和改進模型性能。通過持續(xù)評估對模型開發(fā)工作進行調整。
降低模型治理的風險和成本
保持 AI 模型的可解釋性和透明度。管理監(jiān)管、合規(guī)、風險和其他要求。最大程度減少人工檢查的開銷和代價高昂的錯誤。降低意外偏見造成的風險。
可解釋 AI 的五個注意事項
要通過可解釋 AI 達成理想結果，請考慮以下事項。
公平性和去偏：管理并監(jiān)督公平性。掃描部署以查找潛在偏見。
減少模型漂移：分析您的模型并根據最合乎邏輯的結果提出建議。當模型偏離預期結果時發(fā)出警報。
模型風險管理：量化并降低模型風險。當模型表現(xiàn)不佳時收到警報。了解偏差持續(xù)存在時會發(fā)生什么。
生命周期自動化：將模型作為集成數據和 AI 服務的一部分進行構建、運行和管理。統(tǒng)一平臺上的工具和流程，以監(jiān)控模型并共享結果。解釋機器學習模型的依賴關系。
多云就緒：跨混合云（包括公有云、私有云和本地部署）部署 AI 項目。利用可解釋 AI，增強信任感和自信心。
可解釋 AI 的用例
醫(yī)療：加速診斷、影像分析、資源優(yōu)化和醫(yī)療診斷。提高患者護理決策的透明度和可跟蹤性。通過可解釋 AI 簡化藥品審批流程。
金融服務：通過透明的貸款和信貸審批流程改善客戶體驗。加快信貸風險、財富管理和金融犯罪風險評估。加快解決潛在投訴和問題。增強對定價、產品推薦和投資服務的信心。
刑事司法：優(yōu)化預測和風險評估流程。使用可解釋 AI 進行 DNA 分析、監(jiān)獄人口分析和犯罪預測，加速解決問題。檢測訓練數據和算法中的潛在偏見。
相關解決方案
IBM Cloud Pak? for Data
進行現(xiàn)代化改造，實現(xiàn) AI 生命周期自動化。幾乎可以在任何地方加強對數據和 AI 服務的治理和安全保護。
了解更多信息
IBM Watson? Studio
以信任和透明的方式構建和擴展 AI。通過持續(xù)監(jiān)控可解釋 AI 來構建、運行和管理 AI 模型。
了解更多信息
IBM Watson Knowledge Catalog
以活動元數據和策略管理為支撐，利用端到端數據目錄來治理數據和 AI 模型。
了解更多信息
資源
指南
AI 治理的迫切性
閱讀有關 AI 治理的三步法。深入了解如何構建監(jiān)控倫理 AI 的治理系統(tǒng)。
閱讀指南
教程
準備監(jiān)控模型
了解如何設置和啟用模型監(jiān)視器。使用信用風險示例模型選擇部署并設置有效內容日志記錄的數據類型。
開始學習教程
分析人員報告
深入了解可解釋 AI 的價值
Forrester Consulting 研究了部署可解釋 AI 和模型監(jiān)控的企業(yè)預期的投資回報。
閱讀研究報告
成功案例
以信任和透明的方式擴展 AI
漢莎航空通過 AI 生命周期自動化以及漂移和偏見緩解來改善客戶體驗，提升航空公司效率。
閱讀成功案例
采取后續(xù)步驟
IBM Cloud Pak for Data 平臺在統(tǒng)一環(huán)境中提供數據和 AI 服務，因此您的企業(yè)可以評估數據和模型的影響和關系，從而提高 AI 可解釋性。它還可以幫助您獲得有關模型的部署、公平性、質量和風險方面見解。該解決方案使用對比解釋和模型無關的局部解釋 (LIME) 等工具幫助解釋 AI 事務、分類模型、圖像模型和非結構化文本模型。
試用 IBM Cloud Pak for Data as a Service
學習如何解釋事務
腳注
1 “Explainable AI”，英國皇家學會，2019 年 11 月 28 日。（鏈接位于 ibm.com 外部）
2” Explainable Artificial Intelligence”，Jaime Zornoza，2020 年 4 月 15 日。（鏈接位于 ibm.com 外部）
3 “Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI”，ScienceDirect，2020 年 6 月。（鏈接位于 ibm.com 外部）
? “Understanding Explainable AI”，福布斯撰稿人 Ron Schmelzer，2019 年 7 月 23 日。（鏈接位于 ibm.com 外部）
? ” Explainable Artificial Intelligence (XAI)”，Matt Turek 博士，美國國防高級研究計劃局 (DARPA)。（鏈接位于 ibm.com 外部）
可解釋人工智能 (一): 概述 - 知乎
可解釋人工智能 (一): 概述 - 知乎首發(fā)于可解釋人工智能切換模式寫文章登錄/注冊可解釋人工智能 (一): 概述紫氣東來??上海交通大學 工學碩士1. 什么是可解釋人工智能可解釋人工智能（Explainable Artificial Intelligence, XAI）是指智能體以一種可解釋、可理解、人機互動的方式，與人工智能系統(tǒng)的使用者、受影響者、決策者、開發(fā)者等，達成清晰有效的溝通，以取得人類信任，同時滿足監(jiān)管要求。AI VS. XAI簡單而言，可解釋性可用于兩個階段：模型之前(pre)和模型之后(post)。如下圖所示，對于人工智能模型而言，討論其可解釋性需要關注以下幾個層面：算法的透明性和簡單性（Algorithmic Transparency and Simplicity）表達的可解構性（Decomposability）模型的可擔責性（Accountability）算法的適用邊界因果分析和推理對黑盒模型的事后解釋（Post-hoc Explanation）對模型表達能力的建模與解釋人們對于解釋的評價與度量指對于特定的可解釋性方法的評測。常見的測評角度包括以下幾種：可解釋性方法的敏感度可解釋性方法的對抗攻擊魯棒性可解釋性方法的全面性可解釋性方法的客觀性解釋結果的簡單易懂性可解釋性方法的互洽性可解釋性方法的計算效率2. 為什么需要可解釋人工智能了解人工智能模型的正確決策機制，是提升人類對人工智能模型信任度的重要方法。而現(xiàn)有人工智能可解釋性的研究成果揭示，基于數據驅動的人工智能系統(tǒng)決策機制，離取得人類信任這一終極目標，至少還存在以下3個方面的差距：機器學習決策機制的理論缺陷現(xiàn)在的機器學習方法，通常就是在輸入數據和預期結果之間建立關聯(lián)（Association）, 而由于數據樣本普遍存在局限和偏差，這種關聯(lián)學習不可避免地學到一種虛假關系（Spurious Relationship）。為了發(fā)現(xiàn)出真正的因果關系，需要通過主動干預（intervention）實驗來拓展觀測現(xiàn)象，并運用反事實推理（Counterfactual Reasoning）去偽存真。因果推理的三個認知層次 2. 機器學習的應用缺陷數據樣本的局限和偏見，會導致數據驅動的人工智能系統(tǒng)存在偏見；“黑盒“的深度學習網絡存在安全性上的潛在風險；從決策機制來看，當前對深度學習的分析還處于不透明的摸索階段。 3. 人工智能系統(tǒng)未能滿足監(jiān)管要求可解釋人工智能的全路徑3. 如何研究可解釋性可解釋性可主要分為以下幾個類別：特定模型的可解釋性(Model-Specific explainability)嚴格限定于特定模型算法的可解釋性，如決策樹模型、貝葉斯網絡等。不限模型的可解釋性(Model-Agnostic explainability)這種類型的解釋適用于任何類型的機器學習模型。通常，后分析方法將在機器學習模型訓練之后使用，它不依賴于任何特定算法，并且不了解內部模型結構和權重。模型中心的可解釋性(Model-Centric explainability)大多數解釋方法都是以模型為中心的，因為這些方法用于解釋如何調整特征和目標值，應用各種算法并提取特定的結果集。數據中心的可解釋性(Data-Centric explainability)因為數據在模型訓練和預測中有重要作用，這類方法主要用于理解數據的意義，常見的方法有：數據剖析(Data Profiling)、監(jiān)控數據漂移(Monitoring Data-Drifts)和數據對抗(Data-Adversarial)?？山忉屝约夹g的分類模型可解釋性的研究方法：知識抽取 (Knowledge extraction)探索性數據分析 (Exploratory Data Analysis, EDA)結果可視化 (Result visualization)比較分析 (Comparison analysis)基于影響的方法 (Influence-based)敏感性分析與特征重要性選擇 (Sensitivity Analysis and Feature selection importance)分享幾個有用的可解釋性分析工具：SHAP (Shapley Values)一種基于博弈論的解釋性方法，可以衡量輸入樣本不同維度對預測結果的重要性LIME (Local Interpretable Model Agnostic Explanations)可以對任意機器模型預測給出解釋的方法，可以衡量輸入樣本不同維度對預測結果的重要性AnchorsLRP (Layer-wise Relevance Propagation) ：repo 1 and repo 2Prediction Difference Analysis (PDA)TCAV (Testing with Concept Activation Vectors)4. 可解釋人工智能有什么用XAI 的相關要素可解釋AI 在各行各業(yè)都有廣泛的應用前景，在AI決策能夠產生重大影響的金融、醫(yī)療健康和司法等風險極高的領域，需求尤為強烈。下表顯示了部分可解釋性AI行業(yè)應用中的不同類型解釋：行業(yè)面向開發(fā)者面向監(jiān)管者面向使用者面向應用用戶生物醫(yī)療人工智能歸納的信息和數據規(guī)律符合倫理和法規(guī)要求模型的高可信度模型的高透明度模型表征與醫(yī)學知識的聯(lián)系可視化、語義化、關系代理模型輸出的合理性可理解的診斷結果金融模型假設是否滿足，模型邏輯是否自洽，模型代碼是否正常符合預設人工智能風險的可解釋性與人工智能建模的可解釋性模型算法的決策可解釋性、算法的可追溯性、算法對于數據使用的偏見預警、算法的風險可控制性應用服務對象：算法決策依據、算法公平性程序樣本來源：隱私權保護、知情權保護電商推薦推薦算法內在的運作機制專業(yè)的數字化解釋視覺上可解釋的推薦模型、可解釋產品搜索可解釋的序列推薦、跨類別的可解釋性推薦隱私權保護、知情權保護基于特征的解釋及用戶評論城市管理推薦算法內在的運作機制專業(yè)的數學化解釋模型的合理性和穩(wěn)定性數據的安全性可解釋的位置推薦最有價值的特征的推薦和解釋不同地點之間的關系的解釋、推薦位置的特征詞云安防安防算法內部的運行機制、行為邏輯和決策依據模型的公平性、偏見性和穩(wěn)定性模型的安全性和可靠性隱私權保護、知情權保護法律咨詢咨詢算法內部的運行機制模型代碼是否正常符合預設可視化的知識圖譜檢索、推理和決策邏輯基于知識引入的模型可靠性內容的即時性、針對性和準確性參考資料[1] 可解釋人工智能導論[M]. 楊強，范力欣，朱軍，陳一昕，張拳石，朱松純 等著.[2] Masís S. Interpretable machine learning with Python: Learn to build interpretable high-performance models with hands-on real-world examples[M]. Packt Publishing Ltd, 2021.[3] Molnar C. Interpretable machine learning[M]. Lulu. com, 2020.[4] 可解釋機器學習--黑盒模型可解釋性理解指南[M]. Molnar C 著, 朱明超 譯, 2021.[5] Principles and Practice of Explainable Machine Learning飛花兩岸照船紅，百里榆堤半日風。臥看滿天云不動，不知云與我俱東。 ——陳與義《襄邑道中》編輯于 2023-03-05 11:47?IP 屬地新加坡人工智能可解釋機器學習機器學習?贊同 40??添加評論?分享?喜歡?收藏?申請轉載?文章被以下專欄收錄可解釋人工智能對于可解釋人工智能的學習心得
如何看待機器（深度）學習可解釋方法（XAI）的現(xiàn)狀與未來? - 知乎
如何看待機器（深度）學習可解釋方法（XAI）的現(xiàn)狀與未來? - 知乎首頁知乎知學堂發(fā)現(xiàn)等你來答?切換模式登錄/注冊人工智能機器學習機器智能深度學習（Deep Learning）可解釋機器學習如何看待機器（深度）學習可解釋方法（XAI）的現(xiàn)狀與未來?題主對現(xiàn)有的可解釋方法進行了調研:大體分為局部可解釋與全局可解釋兩大類方法，局部可解釋針對具體的輸入樣本得出類似屬性重要性的度量，比如傳統(tǒng)的permu…顯示全部 ?關注者37被瀏覽19,226關注問題?寫回答?邀請回答?好問題 3?添加評論?分享?3 個回答默認排序曲奇?騰訊 算法工程師? 關注最近了解了一些機器學習可解釋性的知識，可以參考一下～原文鏈接：機器學習模型的可解釋性 - QIQI的文章 - 知乎 https://zhuanlan.zhihu.com/p/258988892通過模型可解釋方法，可以直觀地傳遞關于模型行為的解釋，比如為什么這個樣本被預測為這個標簽，某個特征對預測結果起到了什么樣的作用。1.1 可解釋的重要性模型改進 通過可解釋分析，可以指導特征工程。一般我們會根據一些專業(yè)知識和經驗來做特征，并分析特征重要性，可以挖掘更多有用的特征，尤其是在交互特征方面。當原始特征眾多時，可解釋性分析將特別重要。 科學的目標是獲取知識，模型本身應該成為知識的來源，而不是結果或數據。比如在一個文本分類任務中，判斷文章是與“基督教”（Christianity）有關還是“無神論教”（Atheism）”，模型準確率，90%多很高。但是用LIME進行可解釋分析發(fā)現(xiàn)，Posting（郵件標頭的一部分）這個詞重要性很高，但這個詞匯與無神論本身并沒有太多的聯(lián)系，只是因為在無神論文章中出現(xiàn)的頻次很高。這意味著盡管模型準確率很高，但所使用的原因是錯誤的。我們可以借此改進模型，判斷是否捕捉到有意義的特征。檢測偏見 方差和偏差是機器學習中廣泛討論的話題。有偏差的模型經常由有偏見的事實導致，即數據本身很有可能帶有偏差。某類特征的偏差可能對我們結果導致不好的影響。模型可信度 對使用模型的運維人員來講，可能只只知道預測結果是什么，是否異常，但是人類的好奇心是天性，想知道模型為什么要給出這樣的預測，我為什么要相信模型的結果。解決模型可解釋問題有利于用戶更加放心地應用和部署在真實場景上。1.2 可解釋分類Pre-Model vs. In-Model vs. Post-Modelpre-model的解釋獨立于模型本身，他們只能應用于數據。比如提供一個對數據更好的理解。這和數據可解釋性很接近，包括了數據分析和數據探索。常見的方法從描述統(tǒng)計學到數據可視化，包括PCA，t-SNE，聚類方法等。in-model主要是模型本質可解釋。又稱為Intrinsic。比如模型本身存在的稀疏性、單調性、因果性，或外在約束，或是模型權重。post-model指已經建立模型之后再去做可解釋分析。又稱為Post hoc。Model Specific, Model Agnosticmodel specific指方法本身是基于特定模型的。比如線性模型的權重就是model-specific的。model agnostic指方法可以應用于任何模型，同時也是后驗的（post hoc）。這種方法是分析輸入和輸出，而不能分析到模型內部。上述兩種分類方法的關聯(lián)：可解釋方法的返回結果Feature summary：一些可解釋性方法返回每個特征的一些統(tǒng)計信息，比如每個特征一個重要性衡量。有些方法是用圖示來表示的特征統(tǒng)計的，比如partial dependence plots。Model Internals：對一些本質可解釋的模型，他們的輸出比如線性模型的權重。當然，他們的輸出是model-specific的。Data Point：返回一些本身可解釋的數據點，比如圖片和文本。但是對高維的連續(xù)型樣本可能沒有用。Surrogate intrinsically interpretable model：使用一個替代模型去解釋原來的黑盒模型，把問題轉化為對替代模型的解釋。可解釋性的范圍全局可解釋 這個層級的可解釋性指的是，模型如何基于整個特征空間和模型結構、參數等作出決策的。什么特征是重要的，特征交互會發(fā)生什么。模型的全局可解釋性可以幫助理解，針對不同特征，目標變量的分布是什么。局部可解釋 局部可解釋性更加關注單條樣本或一組樣本。這種情況下我們可以將模型看做是一個黑盒，不再考慮模型的復雜情況。單條樣本來看，模型給出的預測值和某些特征可能是線性關系，甚至是單調關系。因此局部可解釋性可能相比全局可解釋，更加準確點。1.3 可解釋的模型最簡單的機器學習可解釋性就是直接使用可解釋模型，比如邏輯回歸、線性模型、決策樹?？山忉尩哪Ｐ椭饕紤]以下幾個性質：線性：特征取值和標簽取值是否存在線性關系單調性：特征取值和標簽取值是否存在單調性關系交叉：一些模型能自動交叉特征1.4 模型解釋方法model-specific 依賴模型比如對DNN的話，主要有以下方法：guided backpropagation, integrated gradients, SmoothGrad saliency maps, Grad-CAM, Concept Activation Vectors。這些方法主要應用于CV領域。還有一類post-hoc的model-specific方法---知識蒸餾，將一個復雜模型化為一個簡單模型。比如模型壓縮，樹的正則化，降維。model-agnostic 獨立于模型不取決于模型的機器學習后驗（模型已做完訓練和預測）的解釋方法，這塊總結主要摘取自論文《Machine Learning Interpretability: A Survey on Methods and Metrics》[1]。1.5 模型可解釋方法SHAPShapley值法是指所得與自己的貢獻相等，是一種分配方式。普遍用于經濟活動中的利益合理分配等問題。最早由美國洛杉磯加州大學教授羅伊德·夏普利（Lloyd Shapley）提出。shapley值法的提出給合作博弈在理論上的重要突破及其以后的發(fā)展帶來了重大影響。簡單的來說就是使分配問題更加的合理，用于為分配問題提供一種合理的方式。SHAP將Shapley值解釋表示為一種可加特征歸因方法，SHAP將模型的預測值解釋為每個輸入特征的歸因值之和。與feature importance相比，SHAP value最大的優(yōu)勢是SHAP能反映出每一個樣本中的特征的影響力，而且還表現(xiàn)出影響的正負性。一個特征的shapley value是該特征在所有的特征序列中的邊際貢獻的加權平均值。第i個樣本實例的Shapley value的解釋：對第i個樣本實例來說，其所有特征值對預測目標值的總貢獻（也就是預測目標實際值）與預測目標平均值之差。1.5.1 原理f(x)是一個線性模型，x是一個樣本，x_j是該樣本的一個特征值，\beta_j是該特征的權重：f(x)=\beta_{0}+\beta_{1} x_{1}+\ldots+\beta_{p} x_{p}\phi_j是第 j 個特征對預測值\hat f的貢獻，其中E(X_j)是該特征取值的期望\phi_{j}(\hat{f})=\beta_{j} x_{j}-E\left(\beta_{j} X_{j}\right)=\beta_{j} x_{j}-\beta_{j} E\left(X_{j}\right)然后把一個樣本所有特征值的貢獻進行求和，樣本$x $所有特征的貢獻之和等于目標預測值減去目標平均預測值\begin{aligned}
\sum_{j=1}^{p} \phi_{j}(\hat{f}) &=\sum_{j=1}^{p}\left(\beta_{j} x_{j}-E\left(\beta_{j} X_{j}\right)\right) \\
&=\left(\beta_{0}+\sum_{j=1}^{p} \beta_{j} x_{j}\right)-\left(\beta_{0}+\sum_{j=1}^{p} E\left(\beta_{j} X_{j}\right)\right) \\
&=\hat{f}(x)-E(\hat{f}(X))
\end{aligned}1.5.2 性質1 效率性特征貢獻的累加等于x的預測和預測平均值的差值\sum_{j=1}^{p} \phi_{j}=\hat{f}(x)-E_{X}(\hat{f}(X))2 對稱性如果兩個特征值j和k的貢獻對所有可能的特征序列貢獻相同，則他們的貢獻應該相同。\begin{array}{lr}
\text { if } & \text { val }\left(S \cup\left\{x_{j}\right\}\right)=\operatorname{val}\left(S \cup\left\{x_{k}\right\}\right) \\
\text { for all } & S \subseteq\left\{x_{1}, \cdots, x_{p}\right\} \backslash\left\{x_{j}, x_{k}\right\} \\
& \text { then } \quad \phi_{j}=\phi_{k}
\end{array}3 虛擬性一個不改變預測值的特征j，無論它添加到哪個特征值序列中，Shapley值都應該為0。\begin{array}{cc}
\text { if } & \operatorname{val}\left(S \cup\left\{x_{j}\right\}\right)=\operatorname{val}(S) \\
\text { for all } & S \subseteq\left\{x_{1}, \cdots, x_{p}\right\} \\
\text { then } & \phi_{j}=0
\end{array}1.6 模型可解釋方法LIMELIME全稱是Local Interpretable Model-Agnostic Explanations。LIME與模型無關，這意味著它可以應用于任何機器學習模型。該技術試圖通過擾動數據樣本的輸入并理解預測的變化來理解模型。流程：訓練模型，模型（記作 ff）可以是LR、NN、Wide and deep、C4.5 Decision tree、Random forest、GBDT等任意模型。訓練結束后我們需要解析模型，先選擇一個待解析的樣本，樣本通過模型計算可以得到一個prediction（包含預測的label以及預測為1的probability），這時我們在這個樣本的附近選擇新的樣本并用模型計算出多個prediction，這樣樣本組合新的樣本集。然后使用新的可解析的特征和prediction作為label來訓練新的簡單模型（例如LR），然后使用簡單模型的權重作為這些特征的重要性作為輸出。就是選擇一個樣本以及樣本附近的點，然后訓練一個簡單模型來擬合，雖然簡單模型不能在完整數據集上有效，但至少在這個點附近都是有效的，這個簡單模型的特征是人類可解析的，而訓練出的權重也可以表示特征重要性。1.7 問題項在應用中，存在一些問題可以思考：在異常區(qū)間較大，是由多個樣本組成的時候，選擇哪一個樣本去做機器學習解釋？比如第一個異常點。目前大多數時間序列特征已經相對抽象，像變異系數、偏度等，用戶得知此特征對預測異常有較大幫助之后，是否有真正的幫助？并且，依然存在理解門檻的問題，所以目前的技術，好像比較難真正幫助用戶理解模型。LIME和SHAP作為單獨的特征可解釋性方法，不依賴于模型，其本身置信度如何？模型本身是特征之間的高階交叉，從單個特征的重要性可能沒有辦法解釋高階交叉對預測結果的幫助。ReferenceDiogo V. Carvalho, Machine Learning Interpretability: A Survey on Methods and MetricsFriedman, J.H. Greedy function approximation: A gradient boosting machine. Ann. Stat. 2001, 29, 1189–1232.Goldstein, A.; Kapelner, A.; Bleich, J.; Pitkin, E. Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation. J. Comput. Gr. Stat. 2015, 24, 44–65. Apley, D.W. Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models. arXiv 2016, arXiv:1612.08468.Friedman, J.H.; Popescu, B.E. Predictive learning via rule ensembles. Ann. Appl. Stat. 2008, 2, 916–954.Fisher, A.; Rudin, C.; Dominici, F. Model Class Reliance: Variable Importance Measures for any Machine Learning Model Class, from the “Rashomon” Perspective. arXiv 2018, arXiv:1801.01489.Ribeiro, M.T.; Singh, S.; Guestrin, C. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, 13–17 August 2016; pp. 1135–1144.Lundberg, S.M.; Lee, S.I. A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems; MIT Press: Cambridge, MA, USA, 2017; pp. 4765–4774.Staniak, M.; Biecek, P. Explanations of model predictions with live and breakDown packages. arXiv 2018, arXiv:1804.01955.Ribeiro, M.T.; Singh, S.; Guestrin, C. Anchors: High-Precision Model-Agnostic Explanations. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), New Orleans, LA, USA, 2–7 February 2018.Wachter, S.; Mittelstadt, B.; Russell, C. Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR.(2017). Harv. J. Law Technol. 2017, 31, 841Kim, B.; Khanna, R.; Koyejo, O.O. Examples are not enough, learn to criticize! Criticism for interpretability. In Advances in Neural Information Processing Systems; MIT Press: Cambridge, MA, USA, 2016; pp. 2280–2288.Koh, P.W.; Liang, P. Understanding black-box predictions via influence functions. arXiv 2017, arXiv:1703.04730.發(fā)布于 2020-10-21 09:36?贊同 33??1 條評論?分享?收藏?喜歡收起?Hao WangRatidar CEO? 關注Fair recommendation by geometric interpretation and analysis of matrix factorization . 這是我在國際學術會議 RAIIE 2022 上發(fā)表的論文。講的是如何利用可解釋機器學習來處理推薦系統(tǒng)問題。如果感興趣的話，歡迎發(fā)郵件到我的郵箱。發(fā)布于 2023-03-26 22:15?贊同??添加評論?分享?收藏?喜歡收起??
GitHub - EthicalML/xai: XAI - An eXplainability toolbox for machine learning
GitHub - EthicalML/xai: XAI - An eXplainability toolbox for machine learning
Skip to content
Toggle navigation
Sign in
Product
Actions
Automate any workflow
Packages
Host and manage packages
Security
Find and fix vulnerabilities
Codespaces
Instant dev environments
Copilot
Write better code with AI
Code review
Manage code changes
Issues
Plan and track work
Discussions
Collaborate outside of code
Explore
All features
Documentation
GitHub Skills
Blog
Solutions
For
Enterprise
Teams
Startups
Education
By Solution
CI/CD & Automation
DevOps
DevSecOps
Resources
Learning Pathways
White papers, Ebooks, Webinars
Customer Stories
Partners
Open Source
GitHub Sponsors
Fund open source developers
The ReadME Project
GitHub community articles
Repositories
Topics
Trending
Collections
Pricing
Search or jump to...
Search code, repositories, users, issues, pull requests...
Search
Clear
Search syntax tips
Provide feedback
We read every piece of feedback, and take your input very seriously.
Include my email address so I can be contacted
Cancel
Submit feedback
Saved searches
Use saved searches to filter your results more quickly
Name
Query
To see all available qualifiers, see our documentation.
Cancel
Create saved search
Sign in
Sign up
You signed in with another tab or window. Reload to refresh your session.
You signed out in another tab or window. Reload to refresh your session.
You switched accounts on another tab or window. Reload to refresh your session.
Dismiss alert
EthicalML
/
xai
Public
Notifications
Fork
154
Star
1k
XAI - An eXplainability toolbox for machine learning
ethical.institute/principles.html#commitment-3
License
MIT license
1k
stars
154
forks
Branches
Tags
Activity
Star
Notifications
Code
Issues
3
Pull requests
0
Actions
Projects
1
Security
Insights
Additional navigation options
Code
Issues
Pull requests
Actions
Projects
Security
Insights
EthicalML/xai
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
?masterBranchesTagsGo to fileCodeFolders and filesNameNameLast commit messageLast commit dateLatest commit?History91 Commitsdocsdocs??docs_srcdocs_src??examplesexamples??imagesimages??xaixai??.gitignore.gitignore??LICENSELICENSE??MANIFEST.inMANIFEST.in??README.mdREADME.md??ROADMAP.mdROADMAP.md??env.ymlenv.yml??meta.yamlmeta.yaml??mkdocs.ymlmkdocs.yml??requirements.txtrequirements.txt??setup.pysetup.py??View all filesRepository files navigationREADMEMIT license
XAI - An eXplainability toolbox for machine learning
XAI is a Machine Learning library that is designed with AI explainability in its core. XAI contains various tools that enable for analysis and evaluation of data and models. The XAI library is maintained by The Institute for Ethical AI & ML, and it was developed based on the 8 principles for Responsible Machine Learning.
You can find the documentation at https://ethicalml.github.io/xai/index.html. You can also check out our talk at Tensorflow London where the idea was first conceived - the talk also contains an insight on the definitions and principles in this library.
YouTube video showing how to use XAI to mitigate undesired biases
This video of the talk presented at the PyData London 2019 Conference which provides an overview on the motivations for machine learning explainability as well as techniques to introduce explainability and mitigate undesired biases using the XAI Library.
Do you want to learn about more awesome machine learning explainability tools? Check out our community-built "Awesome Machine Learning Production & Operations" list which contains an extensive list of tools for explainability, privacy, orchestration and beyond.
0.1.0
If you want to see a fully functional demo in action clone this repo and run the Example Jupyter Notebook in the Examples folder.
What do we mean by eXplainable AI?
We see the challenge of explainability as more than just an algorithmic challenge, which requires a combination of data science best practices with domain-specific knowledge. The XAI library is designed to empower machine learning engineers and relevant domain experts to analyse the end-to-end solution and identify discrepancies that may result in sub-optimal performance relative to the objectives required. More broadly, the XAI library is designed using the 3-steps of explainable machine learning, which involve 1) data analysis, 2) model evaluation, and 3) production monitoring.
We provide a visual overview of these three steps mentioned above in this diagram:
XAI Quickstart
Installation
The XAI package is on PyPI. To install you can run:
pip install xai
Alternatively you can install from source by cloning the repo and running:
python setup.py install
Usage
You can find example usage in the examples folder.
1) Data Analysis
With XAI you can identify imbalances in the data. For this, we will load the census dataset from the XAI library.
import xai.data
df = xai.data.load_census()
df.head()
View class imbalances for all categories of one column
ims = xai.imbalance_plot(df, "gender")
View imbalances for all categories across multiple columns
im = xai.imbalance_plot(df, "gender", "loan")
Balance classes using upsampling and/or downsampling
bal_df = xai.balance(df, "gender", "loan", upsample=0.8)
Perform custom operations on groups
groups = xai.group_by_columns(df, ["gender", "loan"])
for group, group_df in groups:
print(group)
print(group_df["loan"].head(), "\n")
Visualise correlations as a matrix
_ = xai.correlations(df, include_categorical=True, plot_type="matrix")
Visualise correlations as a hierarchical dendogram
_ = xai.correlations(df, include_categorical=True)
Create a balanced validation and training split dataset
# Balanced train-test split with minimum 300 examples of
# the cross of the target y and the column gender
x_train, y_train, x_test, y_test, train_idx, test_idx = \
xai.balanced_train_test_split(
x, y, "gender",
min_per_group=300,
max_per_group=300,
categorical_cols=categorical_cols)
x_train_display = bal_df[train_idx]
x_test_display = bal_df[test_idx]
print("Total number of examples: ", x_test.shape[0])
df_test = x_test_display.copy()
df_test["loan"] = y_test
_= xai.imbalance_plot(df_test, "gender", "loan", categorical_cols=categorical_cols)
2) Model Evaluation
We are able to also analyse the interaction between inference results and input features. For this, we will train a single layer deep learning model.
model = build_model(proc_df.drop("loan", axis=1))
model.fit(f_in(x_train), y_train, epochs=50, batch_size=512)
probabilities = model.predict(f_in(x_test))
predictions = list((probabilities >= 0.5).astype(int).T[0])
Visualise permutation feature importance
def get_avg(x, y):
return model.evaluate(f_in(x), y, verbose=0)[1]
imp = xai.feature_importance(x_test, y_test, get_avg)
imp.head()
Identify metric imbalances against all test data
_= xai.metrics_plot(
y_test,
probabilities)
Identify metric imbalances across a specific column
_ = xai.metrics_plot(
y_test,
probabilities,
df=x_test_display,
cross_cols=["gender"],
categorical_cols=categorical_cols)
Identify metric imbalances across multiple columns
_ = xai.metrics_plot(
y_test,
probabilities,
df=x_test_display,
cross_cols=["gender", "ethnicity"],
categorical_cols=categorical_cols)
Draw confusion matrix
xai.confusion_matrix_plot(y_test, pred)
Visualise the ROC curve against all test data
_ = xai.roc_plot(y_test, probabilities)
Visualise the ROC curves grouped by a protected column
protected = ["gender", "ethnicity", "age"]
_ = [xai.roc_plot(
y_test,
probabilities,
df=x_test_display,
cross_cols=[p],
categorical_cols=categorical_cols) for p in protected]
Visualise accuracy grouped by probability buckets
d = xai.smile_imbalance(
y_test,
probabilities)
Visualise statistical metrics grouped by probability buckets
d = xai.smile_imbalance(
y_test,
probabilities,
display_breakdown=True)
Visualise benefits of adding manual review on probability thresholds
d = xai.smile_imbalance(
y_test,
probabilities,
bins=9,
threshold=0.75,
manual_review=0.375,
display_breakdown=False)
About
XAI - An eXplainability toolbox for machine learning
ethical.institute/principles.html#commitment-3
Topics
machine-learning
ai
evaluation
ml
artificial-intelligence
upsampling
bias
interpretability
feature-importance
explainable-ai
explainable-ml
xai
imbalance
downsampling
explainability
bias-evaluation
machine-learning-explainability
xai-library
Resources
Readme
License
MIT license
Activity
Custom properties
Stars
1k
stars
Watchers
45
watching
Forks
154
forks
Report repository
Releases
1
v0.1.0
Latest
Oct 30, 2021
Packages
0
No packages published
Contributors
3
axsaucedo
Alejandro Saucedo
uwaisiqbal
Uwais Iqbal
sai-krishna-msk
Sai Krishna
Languages
Python
96.5%
Makefile
1.8%
Batchfile
1.7%
Footer
? 2024 GitHub,?Inc.
Footer navigation
Terms
Privacy
Security
Status
Docs
Contact
Manage cookies
Do not share my personal information
You can’t perform that action at this time.
挑戰(zhàn)OpenAI，馬斯克宣布xAI正式成立：目標是了解宇宙真實本質_10%公司_澎湃新聞-The Paper
enAI，馬斯克宣布xAI正式成立：目標是了解宇宙真實本質_10%公司_澎湃新聞-The Paper下載客戶端登錄無障礙+1挑戰(zhàn)OpenAI，馬斯克宣布xAI正式成立：目標是了解宇宙真實本質澎湃新聞記者 吳遇利2023-07-13 08:46來源：澎湃新聞 ? 10%公司 >字號馬斯克旗下又一家公司問世。當地時間7月12日，特斯拉CEO埃隆·馬斯克在社交媒體推特上宣布了人工智能公司——xAI的正式成立。馬斯克推文截圖xAI的官網也已上線。官網顯示，公司的宗旨是“了解宇宙的真實本質”。7月14日，該公司團隊將在推特空間舉行發(fā)布會，進一步解答網友的問題。據官網介紹，公司由馬斯克本人親自帶隊，而其他成員則來自DeepMind、OpenAI、谷歌研究院、微軟研究院、特斯拉、多倫多大學等，曾參與過DeepMind的AlphaCode和OpenAI的GPT-3.5和GPT-4聊天機器人等項目。由此看來，馬斯克可能將xAI定位為與OpenAI、Google和Anthropic等公司同臺競技，他們是ChatGPT、Bard和Claude等知名聊天機器人的推手。除了馬斯克之外，該網站還列出了包括Igor Babuschkin、Manuel Kroiss、Yuhuai (Tony) Wu等在內的成員。xAI官網截圖據美國消費者新聞與商業(yè)頻道（CNBC），馬斯克于3月份在內華達州成立了xAI。而此前，他已將推特的名稱更改為“X Corp”。不過xAI在官方網站中提到，該公司與X Corp是相互獨立的，但將與X（Twitter）、特斯拉以及其他公司密切合作。當地時間4月17日，馬斯克在接受福克斯新聞（Fox News）采訪時表示，將推出一個名為TruthGPT（真相GPT）的人工智能（AI），“我將開發(fā)一個我稱之為‘TruthGPT’的東西，或一個試圖理解宇宙本質、最大程度上尋求真相的人工智能?！彼硎?，這可能是確保安全的最佳途徑，因為一個關心且了解宇宙的AI不太可能毀滅人類，他認為人類是宇宙中有趣的一部分。有意思的是，馬斯克對于人工智能風險的擔憂一如既往。該公司在官網表示，xAI團隊目前由研究員Dan Hendrycks作為顧問，他目前是人工智能安全中心的負責人。該中心是一個非營利組織，旨在“減少與人工智能相關的社會風險”，該中心還表示應將人工智能風險和流行病、核戰(zhàn)爭等其他大規(guī)模風險一并優(yōu)先考慮。馬斯克在公開場合多次對人工智能的安全性發(fā)出警告。今年3月，馬斯克和一群人工智能領域的專家、高管簽署聯(lián)名信，呼吁暫停開發(fā)比OpenAI新推出的GPT-4更強大的系統(tǒng)六個月，理由是新技術對社會的潛在風險。責任編輯：孫扶圖片編輯：沈軻校對：劉威澎湃新聞報料：021-962866澎湃新聞，未經授權不得轉載+1收藏我要舉報#馬斯克#特斯拉#xAI#推特查看更多查看更多開始答題掃碼下載澎湃新聞客戶端Android版iPhone版iPad版關于澎湃加入澎湃聯(lián)系我們廣告合作法律聲明隱私政策澎湃矩陣澎湃新聞微博澎湃新聞公眾號澎湃新聞抖音號IP SHANGHAISIXTH TONE新聞報料報料熱線: 021-962866報料郵箱: news@thepaper.cn滬ICP備14003370號滬公網安備31010602000299號互聯(lián)網新聞信息服務許可證：31120170006增值電信業(yè)務經營許可證：滬B2-2017116? 2014-2024 上海東方報業(yè)有限公什么是可解釋的 AI (XAI)？- 瞻博網絡
什么是可解釋的 AI (XAI)？- 瞻博網絡
X
Help us improve your experience.
Let us know what you think.
Do you have time for a two-minute survey?
Yes
Maybe Later
聯(lián)系銷售部門
登錄
我的帳戶
訪問合作伙伴中心
編輯帳戶信息
注冊新產品
創(chuàng)建帳戶
退出
CN | ZH
美洲
巴西 - Português
墨西哥 - Espa?ol
美國 - English
亞洲
中國 - 中文
日本 - 日本語
韓國 - ???
歐洲
法國 - Fran?ais
德國 - Deutsch
以色列 - 英語
意大利 - Italiano
荷蘭 - Nederlands
西班牙 - Espa?ol
英國 - English
立即試用
CN | ZH
產品和解決方案
我對以下內容感興趣
IT 網絡
服務提供商
云運營商
安全
軟件和“軟件即服務”(SaaS)
搜索條件
產品
解決方案
行業(yè)
服務
IT 網絡
詳細了解瞻博網絡客戶端到云端架構的優(yōu)勢。
自動化
數據中心
有線接入
無線接入
SD-WAN
企業(yè) WAN
Enterprise at Home
室內定位
SASE
物聯(lián)網
服務提供商
了解瞻博網絡的體驗優(yōu)先網絡如何為服務提供商及其客戶提供差異化??體驗。
IP 傳輸
電信云
托管服務
自動化
服務提供商安全
云運營商
賦能云運營商創(chuàng)新。
400G
數據中心
云路由
自動化
軟件分解
安全
借助 Juniper Connected Security 打造威脅感知型網絡。
SASE
新一代防火墻
公共云安全
威脅檢測和緩解
SD-WAN
保護數據中心
服務提供商安全
軟件和“軟件即服務”(SaaS)
了解云交付或本地（部署）產品。
AIOps
云服務
NaaS
自動化
安全
電信云
Juniper Flex 許可
SASE
特色產品
Apstra
自動化
防火墻
Junos OS
Marvis VNA
Mist AI 和云
光學/光學器件
路由器
Session Smart 路由器
SDN 和編排
安全服務
交換機
無線接入
特色解決方案
400G
AIOps
自動化
云城域網
數據中心
Enterprise at Home
IP 傳輸
SASE
SD-WAN
電信云
有線接入
無線接入
行業(yè)
解決方案
教育
能源與公用事業(yè)
政府
醫(yī)療保健
媒體與娛樂
零售
服務
借助瞻博網絡全球服務擴大業(yè)務成果。
人工智能驅動型企業(yè)
自動化
數據中心
安全
支持
培訓
為您推薦
參加我們的每周演示
親自體驗 IT 網絡。
業(yè)界認可
瞻博網絡取得了令人矚目的成就，引起了業(yè)界的廣泛關注。
立即試用
探索多種選項和產品，找到適合您的網絡解決方案。
為您推薦
云城域網
將云原則應用于城域網，實現(xiàn)可持續(xù)的業(yè)務增長。
體驗 5G
使用我們開放的生態(tài)系統(tǒng)方法，發(fā)揮您網絡的全部功能和潛力。?
為您推薦
In the Lab
??聆聽瞻博網絡首席執(zhí)行官 Rami Rahim 參觀實驗室時的介紹，了解 400G PTX10008 路由器的強大性能。
云服務產品
瞻博網絡 Mist 云提供現(xiàn)代微服務云架構，以滿足您的人工智能驅動型企業(yè)數字化轉型目標。
為您推薦
零信任數據中心
將零信任框架應用于您的數據中心網絡安全架構，保護數據和應用。
優(yōu)惠和試用
了解如何使用 Security Director Cloud 在本地和云端管理安全性。
為您推薦
優(yōu)惠和試用
探索多種選項，快速找到適合您的網絡解決方案。
查看更多產品
所有產品
在一個位置查看所有產品系列。
產品 A - Z
按名稱獲取產品列表。
為您推薦
全部解決方案
瀏覽瞻博網絡所有解決方案。
優(yōu)惠和試用
探索多種選項，快速找到適合您的網絡解決方案。
為您推薦
所有行業(yè)
瀏覽瞻博網絡的所有行業(yè)解決方案。
優(yōu)惠和試用
探索多種選項，快速找到適合您的網絡解決方案。
為您推薦
優(yōu)惠和試用
探索多種選項，快速找到適合您的網絡解決方案。
客戶
與我們合作
入門
軟件下載
文檔
培訓和認證
社區(qū)
支持
我們的客戶
成功案例
提升獎
分享您的案例
入門
歡迎訪問瞻博網絡
創(chuàng)建瞻博網絡帳戶
激活許可證
通過產品快速入門
聯(lián)系支持
設計中心
免費培訓
軟件下載
Junos
EX 系列
SRX 系列
MX 系列
QFX 系列
Junos Space
vSRX 評估
vQFX 評估
ACX 系列
PTX 系列
所有下載
文檔
技術文檔（技術庫）
Day One 書籍
知識庫
產品與特性數據 (Pathfinder)
問題報告搜索
培訓和認證
通過我們的技術培訓和認證計劃，培養(yǎng)并轉變您的網絡技能。
瞻博網絡培訓
全通培訓通行證
直播課程計劃
點播課程
免費培訓
瞻博網絡認證
私人培訓
社區(qū)
解答您對瞻博網絡產品和服務的疑問，與同行分享您的瞻博網絡專業(yè)知識。
自動化
云
數據中心
Junos OS
管理
路由
SD-WAN
安全
交換
無線
提升獎
表彰使用瞻博網絡解決方案改變世界的創(chuàng)新者。
現(xiàn)設獎項
過往獎項
為您推薦
全通培訓通行證
一整年內的所有瞻博網絡課程。
點播課程
實踐操作，基于實驗室的自定進度培訓。
瞻博網絡開放式學習門戶
免費培訓和優(yōu)惠認證
更多社區(qū)
TechPost
由網絡工程師撰寫的文章，針對同行所需。
培訓和認證
獲取瞻博網絡學習旅程的相關建議。
為您推薦
立即報名參與 2023 年獎項提名
合作伙伴
尊敬的瞻博網絡合作伙伴
查找合作伙伴
查找分銷商
查找合作伙伴
戰(zhàn)略聯(lián)盟
解決方案合作伙伴
技術聯(lián)盟
成為合作伙伴
概述
解決方案經銷商角色
NaaS 提供商角色
創(chuàng)建合作伙伴帳戶
注冊合作伙伴
合作伙伴登錄
學習中心
瞻博網絡冠軍
公司
公司
關于我們
公司概況
多元包容
創(chuàng)新
氣候變化與可持續(xù)性
領導力
我們的價值觀
招賢納士
文化和職業(yè)生涯
當前開放職位
媒體與分析師
分析師關系
投資者關系
新聞中心
為何選擇瞻博網絡？
業(yè)界認可
社區(qū)
客戶成功案例
聯(lián)系銷售部門
合作關系
支持
瞻博網絡支持
自助服務工具
歡迎訪問瞻博網絡
入門
瞻博網絡支持門戶
產品許可證密鑰
產品授權搜索
更新現(xiàn)有客戶
聯(lián)系支持
下載
ACX 系列
EX 系列
MX 系列
PTX 系列
QFX 系列
SRX 系列
Junos Space
SSG 系列
所有下載
文檔
知識庫
技術文檔（技術庫）
問題報告搜索
產品與特性數據 (Pathfinder)
社區(qū)
安全情報
報告漏洞
培訓
培訓
瞻博網絡培訓
直播課程計劃
點播課程
免費培訓
所有課程
支付選項
認證
瞻博網絡認證
認證系列
認證資源
考試注冊
再認證
管理我的認證
活動和演示
活動和理念
信息源（視頻和播客）
瞻博網絡峰會
所有全球活動
演示、優(yōu)惠和試用
試用瞻博網絡
對話
提升社區(qū)
瞻博網絡威脅實驗室
Twitter：@瞻博網絡
信息源
登錄
我的帳戶
訪問合作伙伴中心
編輯帳戶信息
注冊新產品
創(chuàng)建帳戶
退出
聯(lián)系銷售部門
立即試用
美洲
巴西 - Português
墨西哥 - Espa?ol
美國 - English
亞洲
中國 - 中文
日本 - 日本語
韓國 - ???
歐洲
法國 - Fran?ais
德國 - Deutsch
以色列 - 英語
意大利 - Italiano
荷蘭 - Nederlands
西班牙 - Espa?ol
英國 - English
研究課題
什么是可解釋的 AI (XAI)？
分享
什么是可解釋的 AI (XAI)？
什么是可解釋的 AI (XAI)？
可解釋的 AI (Explainable AI) 是方便用戶理解和信賴由 AI 機器學習 (ML) 算法計算所得結果和輸出的一套過程和方法。有關 AI/ML 輸出的補充解釋或許只面向用戶、運維或開發(fā)人員，但這些解釋旨在解決用戶采用、管理和開發(fā)系統(tǒng)等方面的各種問題和挑戰(zhàn)。這種“可解釋性”是 AI 在市場上獲得信任和信心的核心，以促進 AI 的廣泛采用，并充分發(fā)揮 AI 的優(yōu)勢。其他相關的新興倡議還包括值得信賴的 AI 和負責任的 AI。
?
可解釋的 AI 是如何實現(xiàn)的？
美國國家標準與技術研究院 (NIST) 指出，推動 XAI 的四項原則分別為：
解釋：系統(tǒng)需要為所有輸出提供補充證據或理由。
意義：系統(tǒng)要為個人用戶提供可理解的解釋。
解釋準確性：解釋能正確反映出系統(tǒng)生成輸出的過程。
知識限制：系統(tǒng)僅在其設計條件下或者當其輸出達到足夠的置信水平時運行。
NIST·指出，解釋可以是簡單的，也可以是復雜的，具體取決于相關消費者。該機構使用以下五個非詳盡的可解釋性示例類別，來對部分解釋類型進行了說明：
用戶利益
社會認可度
監(jiān)管與合規(guī)
系統(tǒng)開發(fā)
所有者利益
?
可解釋的 AI 的重要性在何？
可解釋的 AI 是在自動化系統(tǒng)中培養(yǎng)、獲得和保持信任的關鍵因素。如果沒有信任，AI，特別是面向 IT 運營的 AI (AIOps)，將得不到充分接受，致使現(xiàn)代系統(tǒng)的規(guī)模和復雜性超過手動操作和傳統(tǒng)自動化所能實現(xiàn)的程度。
而當我們建立起信任，“AI 漂洗” (AI washing) — 指企業(yè)聲稱產品或服務由 AI 驅動，但實際上根本沒有使用 AI，或只使用了極少 AI — 的做法就會原形畢露，從而幫助從業(yè)者和客戶對 AI 產品或服務去蕪存菁。能否對 AI 建立信任和信心會影響 AI 的接納范圍和速度，進而會決定其效益實現(xiàn)的速度和范圍。
如果我們需要任何系統(tǒng) — 尤其是那些具有現(xiàn)實影響力的系統(tǒng) — 去尋求答案或作出決策，我們就必須解釋系統(tǒng)是如何得出決定、系統(tǒng)將如何影響結果，或是為什么認為行動是必須的。
?
可解釋的 AI 的好處
可解釋的 AI 能夠帶來多方面的好處。這些好處涉及明智決策、降低風險、增加信心和用戶接納度、優(yōu)化管理、加速系統(tǒng)改進，以及促進 AI 在全球全面發(fā)展與應用等。?
?
可解釋的 AI 解決了什么問題？
許多 AI 和 ML 模型被認為是不透明的，且其輸出無法被解釋。能夠揭示和解釋遵循特定路徑的理由或產生輸出的過程，對于為 AI 爭取信任、幫助 AI 發(fā)展和提高 AI 接納度而言至關重要。
對數據、模型和流程進行解釋，能夠幫助運維人員和用戶深入了解和觀察這些系統(tǒng)，以便使用透明、有效的推理進行優(yōu)化。最重要的是，可解釋性能夠降低有關漏洞、偏差和風險的溝通的難度，往后還能進一步降低，甚至完全消除。
?
可解釋的 AI 如何提高透明度并建立信任
最初的原始數據要切實有用，就必須能夠最終帶來行動建議或落實的行動。一開始就要求用戶信任一個完全自主的工作流，往往是癡人說夢，所以建議讓用戶自下而上逐步了解各個支持層。通過逐級深入研究事件，用戶界面 (UI) 工作流能夠幫助您層層剖析，直至挖掘到原始輸入。這有助于提高透明度和建立信任。
建立一個框架，讓領域專家得以深入挖掘、釋疑，讓新手得以搜索、解惑，不僅可以同時幫助初學者和老手提高生產力、積累知識，還能夠建立起他們對 AI 的信任。這種參與形式還有助形成一種良性循環(huán)，可以進一步訓練和打磨 AI/ML 算法，以實現(xiàn)持續(xù)的系統(tǒng)改進。
人工智能驅動型用戶界面中的數據流
如何使用可解釋的 AI 來評估和降低風險
數據網絡擁有定義明確的協(xié)議和數據結構，意味著 AI 可以得到令人難以置信的發(fā)展，而不用擔心存在歧視或人類偏見。當處理諸如故障排除和服務保證等中性問題時，可以信賴并負責任地采用 AI 應用。
讓供應商回答若干技術和操作基礎問題，對于揭露和避免“AI 漂洗”而言極其重要。與任何盡職調查和采購工作一樣，答案的詳細程度可以提供重要的洞見?；卮鹂赡苄枰o以技術解釋，但我們仍然建議供應商提供詳盡回答，以確保供應商的主張是切實可行的。
與任何技術一樣，工程和領導團隊要制定標準評估擬行采購，并且相關決策要以證據為基礎。為了降低風險和幫助完成盡職調查，AI/ML 所有者和用戶可以提出如下示例問題：
該解決方案包含哪些算法，這些算法對解決方案又有什么作用？
輸入的數據以及數據的清理方式有哪些？
數據源自哪里（是根據租戶、帳戶還是用戶定制的）？
如何通過網絡空間設計參數和功能？
如何訓練、再訓練模型，并保持模型及時更新和相關？
系統(tǒng)本身是否能解釋其推理、建議或行動？
如何消除或減少偏見？
解決方案或平臺是如何自動改進和演進的？
此外，始終建議進行試點或試驗，以驗證關于 AI 服務或系統(tǒng)的承諾或聲明。
?
可解釋的 AI 在瞻博網絡的應用
如何負責任且合乎道德地使用 AI 是一個復雜的課題，但也是組織必須解決的問題。瞻博網絡 Mist AI 創(chuàng)新原則指導我們在服務和產品中使用 AI。我們還編寫了很多關于 AI/ML 以及我們的 AIOps 方法的文章，包括 AI 數據和初期發(fā)展歷程、解決問題的方法、界面和智能聊天程序，這些文章有助于檢測和糾正網絡異常問題，同時使用更先進的工具改進運維。?
XAI 可以以多種形式出現(xiàn)。例如，瞻博網絡 AIOps 的功能包括在 Wi-Fi 網絡中執(zhí)行自動無線資源管理 (RRM) 和檢測問題，例如網絡電纜故障。Mist 產品界面提供了部分瞻博網絡 XAI 工具，您可以在我們的自助服務之旅中自行演示。在此注冊，立即獲取。
對于用戶和運維人員，請留意基于 Mist AI? 引擎和 Marvis 虛擬網絡助手的產品中的一系列新功能，這些功能將圍繞方法、模型、決策和置信水平展示更強的可解釋性，從而提高信任度和透明度。
有關可解釋的 AI 的常見問題
“可解釋的 AI”是什么意思？
可解釋的 AI (Explainable AI) 是方便用戶理解和信賴由 AI 機器學習 (ML) 算法計算所得結果和輸出的一套過程和方法。有關 AI/ML 輸出的補充解釋或許只面向用戶、運維或開發(fā)人員，但這些解釋旨在解決用戶采用、管理和開發(fā)系統(tǒng)等方面的各種問題和挑戰(zhàn)。?
什么是可解釋的 AI 模型？
可解釋的 AI 模型擁有可提高透明度、促進理解的特性或屬性，且具備對 AI 輸出提出質疑或質詢的能力。
可解釋的 AI 的重要性在何？
由于可解釋的 AI 能夠詳細描述 AI 系統(tǒng)輸出的基本原理，因此，它能夠幫助人們加強、培養(yǎng)和建立部署 AI 系統(tǒng)所必要的理解、管理能力和信任，并增加對其輸出和結果的信心。如果沒有 XAI 幫助建立信任和信心，人們就不可能廣泛部署 AI 或從 AI 技術中受益。?
可解釋的 AI 的好處有哪些？
可解釋的 AI 好處良多。這些好處涉及明智決策、降低風險、增加信心和用戶接納度、優(yōu)化管理、加速系統(tǒng)改進，以及促進 AI 在全球全面發(fā)展與應用等。?
可解釋的 AI 實際存在嗎？
當然存在，但由于可解釋的 AI 的定義仍在不斷演變，其仍處于萌芽階段。雖然在擁有大量功能或階段的復雜或混合 AI/ML 模型上實現(xiàn) XAI 將面臨更大的困難，但 XAI 正積極尋找融入產品和服務的方法，以建立用戶信任并促進加快發(fā)展。
什么是深度學習中的可解釋性？
深度學習有時被視為“黑箱”，這意味著人們很難理解深度學習模型的行為以及其作出決定的方式。提高可解釋性旨在為人們提供有關深度學習的解釋。目前有針對不同的解釋評估方法進行持續(xù)研究。
瞻博網絡提供哪些可解釋的 AI 功能？
XAI 可以以多種形式出現(xiàn)。例如，瞻博網絡提供了博客和視頻資源，描述了用于多種 AIOps 功能的 ML 算法，包括在 Wi-Fi 網絡中執(zhí)行自動無線資源管理 (RRM) 或故障網絡電纜檢測（請參見下面的視頻資源）。Mist 產品界面提供了部分 XAI 工具，您可以在我們的自助服務之旅中自行演示。在此注冊，立即獲取。
資源
解決方案
人工智能驅動型運維 (AIOps)
產品
Marvis 虛擬網絡助手
Mist AI 和云
視頻
RF Networks 中的 AI 和 ML：擁有強化學習功能的動態(tài)無線資源管理 (RRM)
利用 Mist AI 決策樹檢測網絡常見故障
自然語言處理對 AIOps 的影響
利用 Mist AI 交互信息，通過 SLE 指標進行預測
探索 Mist AI 儀表板
立即注冊，開展 Mist AI 儀表板自助之旅
相關內容
研究課題
什么是 AIOps？
AIOps 是 Gartner 的一個術語，用于描述使用人工智能來更快做出更準確的決策和改進事件響應的 IT 平臺和流程。
詳細閱讀
研究課題
什么是網絡人工智能？
了解人工智能 (AI) 可在現(xiàn)代化網絡中發(fā)揮哪些關鍵作用?？山忉尩?AI (Explainable AI) 是方便用戶理解和信賴由 AI 機器學習 (ML) 算法計算所得結果和輸出的一套過程和方法。
詳細閱讀
返回頂部
了解瞻博網絡最新資訊
注冊
關注我們
關于我們
招賢納士
企業(yè)責任
投資者關系
新聞中心
圖庫
博客
社區(qū)
活動
優(yōu)惠和試用
聯(lián)系銷售人員
查找合作伙伴
查找分銷商
合作伙伴登錄
? 1999 -?2024 Juniper Networks, Inc. 保留所有權利。
聯(lián)系我們
400-601-9118 (亞太地區(qū))
反饋
報告漏洞
站點地圖
隱私聲明
法律聲明
DMCA 政策
What is Explainable AI (XAI)? | IBM
What is Explainable AI (XAI)? | IBM
What is explainable AI?
Explore IBM's explainable AI solution
Subscribe to AI Topic Updates
What is explainable AI?
Explainable artificial intelligence (XAI) is a set of processes and methods that allows human users to comprehend and trust the results and output created by machine learning algorithms.?
Explainable AI is used to describe an AI model, its expected impact and potential biases. It helps characterize model accuracy, fairness, transparency and outcomes in AI-powered decision making. Explainable AI is crucial for an organization in building trust and confidence when putting AI models into production. AI explainability also helps an organization adopt a responsible approach to AI development.
As AI becomes more advanced, humans are challenged to comprehend and retrace how the algorithm came to a result. The whole calculation process is turned into what is commonly referred to as a “black box" that is impossible to interpret. These black box models are created directly from the data. And, not even the engineers or data scientists who create the algorithm can understand or explain what exactly is happening inside them or how the AI algorithm arrived at a specific result.
There are many advantages to understanding how an AI-enabled system has led to a specific output.? Explainability can help developers ensure that the system is working as expected, it might be necessary to meet regulatory standards, or it might be important in allowing those affected by a decision to challenge or change that outcome.1
White paper
Why AI governance is a business imperative for scaling enterprise AI
Learn about barriers to AI adoptions, particularly lack of AI governance and risk management solutions.
Related content
Read the guide for data leaders
Begin your journey to AI
Learn how to scale AI
Explore the AI Academy
Why explainable AI matters
It is crucial for an organization to have a full understanding of the AI decision-making processes with model monitoring and accountability of AI and not to trust them blindly. Explainable AI can help humans understand and explain machine learning (ML) algorithms, deep learning and neural networks.
ML models are often thought of as black boxes that are impossible to interpret.2 Neural networks used in deep learning are some of the hardest for a human to understand. Bias, often based on race, gender, age or location, has been a long-standing risk in training AI models. Further, AI model performance can drift or degrade because production data differs from training data. This makes it crucial for a business to continuously monitor and manage models to promote AI explainability while measuring the business impact of using such algorithms. Explainable AI also helps promote end user trust, model auditability and productive use of AI. It also mitigates compliance, legal, security and reputational risks of production AI.
Explainable AI is one of the key requirements for implementing responsible AI, a methodology for the large-scale implementation of AI methods in real organizations with fairness, model explainability and accountability.3 To help adopt AI responsibly, organizations need to embed ethical principles into AI applications and processes by building AI systems based on trust and transparency.
Now available: watsonx.governance
Accelerate responsible, transparent and explainable workflows for generative AI built on third-party platforms
Try watsonx.governance
Learn more about AI ethics
How explainable AI works
With explainable AI – as well as interpretable machine learning – organizations can gain access to AI technology’s underlying decision-making and are empowered to make adjustments. Explainable AI can improve the user experience of a product or service by helping the end user trust that the AI is making good decisions. When do AI systems give enough confidence in the decision that you can trust it, and how can the AI system correct errors that arise??
As AI becomes more advanced, ML processes still need to be understood and controlled to ensure AI model results are accurate. Let’s look at the difference between AI and XAI, the methods and techniques used to turn AI to XAI, and the difference between interpreting and explaining AI processes.
Comparing AI and XAI
What exactly is the difference between “regular” AI and explainable AI? XAI implements specific techniques and methods to ensure that each decision made during the ML process can be traced and explained. AI, on the other hand, often arrives at a result using an ML algorithm, but the architects of the AI systems do not fully understand how the algorithm reached that result. This makes it hard to check for accuracy and leads to loss of control, accountability and auditability.
Explainable AI techniques
The setup of XAI techniques consists of three main methods. Prediction accuracy and traceability address technology requirements while decision understanding addresses human needs. Explainable AI — especially explainable machine learning — will be essential if future warfighters are to understand, appropriately trust, and effectively manage an emerging generation of artificially intelligent machine partners.?
Prediction accuracy
Accuracy is a key component of how successful the use of AI is in everyday operation. By running simulations and comparing XAI output to the results in the training data set, the prediction accuracy can be determined. The most popular technique used for this is Local Interpretable Model-Agnostic Explanations (LIME), which explains the prediction of classifiers by the ML algorithm.
Traceability
Traceability is another key technique for accomplishing XAI. This is achieved, for example, by limiting the way decisions can be made and setting up a narrower scope for ML rules and features. An example of a traceability XAI technique is DeepLIFT (Deep Learning Important FeaTures), which compares the activation of each neuron to its reference neuron and shows a traceable link between each activated neuron and even shows dependencies between them.
Decision understanding
This is the human factor. Many people have a distrust in AI, yet to work with it efficiently, they need to learn to trust it. This is accomplished by educating the team working with the AI so they can understand how and why the AI makes decisions.
Explainability versus interpretability in AI
Interpretability is the degree to which an observer can understand the cause of a decision. It is the success rate that humans can predict for the result of an AI output, while explainability goes a step further and looks at how the AI arrived at the result.
How does explainable AI relate to responsible AI?
Explainable AI and responsible AI have similar objectives, yet different approaches. Here are the main differences between explainable and responsible AI:
Explainable AI looks at AI results after the results are computed.
Responsible AI looks at AI during the planning stages to make the AI algorithm responsible before the results are computed.
Explainable and responsible AI can work together to make better AI.
Continuous model evaluation
With explainable AI, a business can troubleshoot and improve model performance while helping stakeholders understand the behaviors of AI models. Investigating model behaviors through tracking model insights on deployment status, fairness, quality and drift is essential to scaling AI.
Continuous model evaluation empowers a business to compare model predictions, quantify model risk and optimize model performance. Displaying positive and negative values in model behaviors with data used to generate explanation speeds model evaluations. A data and AI platform can generate feature attributions for model predictions and empower teams to visually investigate model behavior with interactive charts and exportable documents.
Benefits of explainable AI
Operationalize AI with trust and confidence
Build trust in production AI. Rapidly bring your AI models to production. Ensure interpretability and explainability of AI models. Simplify the process of model evaluation while increasing model transparency and traceability.
Speed time to AI results
Systematically monitor and manage models to optimize business outcomes. Continually evaluate and improve model performance. Fine-tune model development efforts based on continuous evaluation.
Mitigate risk and cost of model governance
Keep your AI models explainable and transparent. Manage regulatory, compliance, risk and other requirements. Minimize overhead of manual inspection and costly errors. Mitigate risk of unintended bias.
Five considerations for explainable AI
To drive desirable outcomes with explainable AI, consider the following.
Fairness and debiasing:?Manage and monitor fairness. Scan your deployment for potential biases.?
Model drift mitigation:?Analyze your model and make recommendations based on the most logical outcome. Alert when models deviate from the intended outcomes.
Model risk management:?Quantify and mitigate model risk. Get alerted when a model performs inadequately. Understand what happened when deviations persist.
Lifecycle automation:?Build, run and manage models as part of integrated data and AI services. Unify the tools and processes on a platform to monitor models and share outcomes. Explain the dependencies of machine learning models.
Multicloud-ready:?Deploy AI projects across hybrid clouds including public clouds, private clouds and on premises. Promote trust and confidence with explainable AI.
Use cases for explainable AI
Healthcare: Accelerate diagnostics, image analysis, resource optimization and medical diagnosis. Improve transparency and traceability in decision-making for patient care. Streamline the pharmaceutical approval process with explainable AI.
Financial services: Improve customer experiences with a transparent loan and credit approval process. Speed credit risk, wealth management and financial crime risk assessments. Accelerate resolution of potential complaints and issues. Increase confidence in pricing, product recommendations and investment services.
Criminal justice: Optimize processes for prediction and risk assessment. Accelerate resolutions using explainable AI on DNA analysis, prison population analysis and crime forecasting. Detect potential biases in training data and algorithms.
Related solutions?
watsonx.governance
IBM? watsonx.governance? toolkit for AI governance allows you to direct, manage and monitor your organization’s AI activities, and employs software automation to strengthen your ability to mitigate risk, manage regulatory requirements and address ethical concerns for both generative AI and machine learning models.
Learn about watsonx.governance
IBM Cloud Pak? for Data
Modernize to automate the AI lifecycle. Add governance and security to data and AI services almost anywhere.
Learn more
IBM Watson? Studio
Build and scale AI with trust and transparency. Build, run and manage AI models with constant monitoring for explainable AI.
Learn more
IBM Knowledge Catalog
Govern data and AI models with an end-to-end data catalog backed by active metadata and policy management.
Learn more
Resources
Guide
The urgency of AI governance
Read about a three-step approach to AI governance. Discover insights on how to build governance systems capable of monitoring ethical AI.
Read the guide
Tutorial
Prepare models for monitoring
Learn how to set up and enable model monitors. Use a credit risk sample model to select deployment and set the data type for payload logging.
Begin tutorial
Analyst report
Explore the value of explainable AI
Forrester Consulting examines the projected return on investment for enterprises that deploy explainable AI and model monitoring.
Read the study
Case study
Scale AI with trust and transparency
Lufthansa improves the customer experience and airline efficiency with AI lifecycle automation and drift and bias mitigation.
Read the case study
Take the next step
Accelerate responsible, transparent and explainable AI workflows across the lifecycle for both generative and machine learning models. Direct, manage, and monitor your organization’s AI activities to better manage growing AI regulations and detect and mitigate risk.
Explore watsonx.governance
Book a live demo
Footnotes
1 ”Explainable AI” (link resides outside ibm.com), The Royal Society, 28 November 2019.
2 ”Explainable Artificial Intelligence” (link resides outside ibm.com), Jaime Zornoza, 15 April 2020.
3 ”Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI” (link resides outside ibm.com), ScienceDirect, June 2020.?
? ”Understanding Explainable AI” (link resides outside ibm.com), Ron Schmelzer, Forbes contributor, 23 July 2019.
? ”Explainable Artificial Intelligence (XAI)” (link resides outside ibm.com), Dr. Matt Turek, The U.S. Defense Advanced Research Projects Agency (DARPA).?