行業新聞
人工智能黑箱問題取得突破，AI圖像識別決策可視化實現
日期：2018-11-30
來源：三姆森科技
一直以來，AI 進行圖像識別都是一個難以清楚解釋的過程，而如今麻省理工學院林肯實驗室情報和決策技術小組（Intelligence and Decision Technologies Group）的一項研究試圖讓 AI 的決策過程更加可被解釋。
這個小組在今年夏天的 CVPR 上發表了一篇論文《設計透明：彌合視覺推理的表現與可解釋性》（Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning），論文中提出的系統可以執行與人類一樣的推理步驟來進行與圖像識別相關的任務，同時能以圖像形式呈現其決策的過程。
了解神經網絡如何做出決策一直是 AI 研究人員長期面對的問題。神經網絡是以人的大腦為參照開發的 AI 系統，旨在復制人類學習的方式。簡單的神經網絡有一個輸入層、一個輸出層，兩者之間還有一個將輸入轉換為正確的輸出結果的層。然而一些深度神經網絡非常復雜，無法遵循這種簡單的轉換過程。所以逐漸地，神經網絡的設置層越來越多，決策過程成為了一個“黑箱”問題，內部流程非常不透明，以至于該網絡的開發者可能都無法完全掌握。
與此同時，了解 AI 的決策過程非常重要。例如，對用在自動駕駛汽車中的神經網絡來說，行人和路牌之間存在什么樣的差異？神經網絡的哪個決策階段能夠發現兩者的區別？只有了解這一過程能夠更好地糾正神經網絡的一些錯誤。但目前最先進的神經網絡也缺乏有效的機制能讓人理解其推理過程。
對此，麻省理工學院林肯實驗室情報和決策技術小組開發了一個神經網絡，可以執行類似人類的推理步驟來回答與圖像相關的問題。該模型被命名為 Transparency by Design Network（簡稱：TbD-net），
同時，TbD-net 在解決問題時能夠用熱力圖來展示其進行視覺分析的過程，即當系統識別圖像時，會對識別的部分進行突出顯示，這達到了將決策過程可視化的效果。這種將決策過程可視化的形式讓研究人員能夠了解這一過程并對其進行分析。
對于 TbD-net 的工作流程，該網絡內有眾多模塊組成的集合，這是該系統中的一個關鍵部分，這些模塊是專門用于執行特定子任務的小型神經網絡。在 TbD-net 執行圖像識別任務時，它會將問題分解為子任務并分配適當的模塊，這些子任務會被分別完成之后再進行組合。
這些模塊就像流水線上的工人一樣，每個模塊基于前一個模塊的識別結果進行工作，一起生成了最終的結論。TbD-net 利用的 AI 技術能像理解人類語言一樣，將句子分解為多個子任務。而 TbD-net 能夠在處理圖像時進行類似的處理過程，分不同階段對圖像進行識別。
對于 TbD-net，如果你問它“那個巨大的金屬立方體是什么顏色？”那么第一個模塊會框定一個大大的物體；第二模塊會識別哪些對象是金屬；第三模塊會在前面得出的結果中找出標準立方體；最后，負責顏色識別的模塊會最終得出對象的顏色。
TbD-net 研究人員之一的 Majumdar 說：“將一系列復雜的推理分解為一系列較小的問題，每個子問題都可以分別解決再進行組合，是一種強大而直觀的推理手段。”
研究人員讓 TbD-ne t 經過 7 萬圖片和 70 萬個問題的訓練后，再用 1.5 萬張圖片和 15 萬個問題對其進行測試，結果顯示其準確度達到 98.7％，優于其他基于神經模塊網絡的系統。
更重要的是，研究人員能夠在這個結果的基礎之上繼續優化，通過查看模型的決策過程，他們可以找到問題的所在并進行有針對性的優化，最終準確度達到了 99.1％。
除了對神經網絡進行優化，這篇論文的作者同時認為，了解神經網絡的推理過程可能對獲得用戶信任大有幫助。用戶要能夠了解這一推理過程，才能夠理解模型為何會作出錯誤的預測。
過去的幾個月中，許多公司、政府機構和獨立研究人員試圖解決人工智能中所謂的“黑箱”問題，都取得了不同程度的效果。
2017 年，美國國防高級研究計劃局（DARPA） 曾推出 DARPA XAI 項目，旨在研究“玻璃箱”模型，在不犧牲性能的情況下讓AI 推理過程更加透明。今年 8 月，IBM 的科學家們提出了一份 AI 的“情況說明書”，提供有關模型漏洞、偏見、對抗性攻擊易感性和其他特征的信息。微軟、埃森哲和 Facebook 也開發了自動化工具來檢測和減少 AI 算法中的偏差。
IBM 研究院的 AI 基金會負責人 Aleksandra Mojsilovic 在今年 8 月時曾說道：“AI 系統具有改變我們生活和工作方式的巨大潛力，但透明度問題必須得到解決，這樣才能讓 AI 得到更多的信任，”
這個小組在今年夏天的 CVPR 上發表了一篇論文《設計透明：彌合視覺推理的表現與可解釋性》（Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning），論文中提出的系統可以執行與人類一樣的推理步驟來進行與圖像識別相關的任務，同時能以圖像形式呈現其決策的過程。
了解神經網絡如何做出決策一直是 AI 研究人員長期面對的問題。神經網絡是以人的大腦為參照開發的 AI 系統，旨在復制人類學習的方式。簡單的神經網絡有一個輸入層、一個輸出層，兩者之間還有一個將輸入轉換為正確的輸出結果的層。然而一些深度神經網絡非常復雜，無法遵循這種簡單的轉換過程。所以逐漸地，神經網絡的設置層越來越多，決策過程成為了一個“黑箱”問題，內部流程非常不透明，以至于該網絡的開發者可能都無法完全掌握。
對此，麻省理工學院林肯實驗室情報和決策技術小組開發了一個神經網絡，可以執行類似人類的推理步驟來回答與圖像相關的問題。該模型被命名為 Transparency by Design Network（簡稱：TbD-net），
同時，TbD-net 在解決問題時能夠用熱力圖來展示其進行視覺分析的過程，即當系統識別圖像時，會對識別的部分進行突出顯示，這達到了將決策過程可視化的效果。這種將決策過程可視化的形式讓研究人員能夠了解這一過程并對其進行分析。
對于 TbD-net 的工作流程，該網絡內有眾多模塊組成的集合，這是該系統中的一個關鍵部分，這些模塊是專門用于執行特定子任務的小型神經網絡。在 TbD-net 執行圖像識別任務時，它會將問題分解為子任務并分配適當的模塊，這些子任務會被分別完成之后再進行組合。
這些模塊就像流水線上的工人一樣，每個模塊基于前一個模塊的識別結果進行工作，一起生成了最終的結論。TbD-net 利用的 AI 技術能像理解人類語言一樣，將句子分解為多個子任務。而 TbD-net 能夠在處理圖像時進行類似的處理過程，分不同階段對圖像進行識別。
對于 TbD-net，如果你問它“那個巨大的金屬立方體是什么顏色？”那么第一個模塊會框定一個大大的物體；第二模塊會識別哪些對象是金屬；第三模塊會在前面得出的結果中找出標準立方體；最后，負責顏色識別的模塊會最終得出對象的顏色。
TbD-net 研究人員之一的 Majumdar 說：“將一系列復雜的推理分解為一系列較小的問題，每個子問題都可以分別解決再進行組合，是一種強大而直觀的推理手段。”
研究人員讓 TbD-ne t 經過 7 萬圖片和 70 萬個問題的訓練后，再用 1.5 萬張圖片和 15 萬個問題對其進行測試，結果顯示其準確度達到 98.7％，優于其他基于神經模塊網絡的系統。
更重要的是，研究人員能夠在這個結果的基礎之上繼續優化，通過查看模型的決策過程，他們可以找到問題的所在并進行有針對性的優化，最終準確度達到了 99.1％。
除了對神經網絡進行優化，這篇論文的作者同時認為，了解神經網絡的推理過程可能對獲得用戶信任大有幫助。用戶要能夠了解這一推理過程，才能夠理解模型為何會作出錯誤的預測。
過去的幾個月中，許多公司、政府機構和獨立研究人員試圖解決人工智能中所謂的“黑箱”問題，都取得了不同程度的效果。
2017 年，美國國防高級研究計劃局（DARPA） 曾推出 DARPA XAI 項目，旨在研究“玻璃箱”模型，在不犧牲性能的情況下讓AI 推理過程更加透明。今年 8 月，IBM 的科學家們提出了一份 AI 的“情況說明書”，提供有關模型漏洞、偏見、對抗性攻擊易感性和其他特征的信息。微軟、埃森哲和 Facebook 也開發了自動化工具來檢測和減少 AI 算法中的偏差。
IBM 研究院的 AI 基金會負責人 Aleksandra Mojsilovic 在今年 8 月時曾說道：“AI 系統具有改變我們生活和工作方式的巨大潛力，但透明度問題必須得到解決，這樣才能讓 AI 得到更多的信任，”
