近年來，由于深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的進(jìn)步，機(jī)器翻譯有了很大的提高。然而，神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于，它們不知道內(nèi)部正在發(fā)生什么，這意味著很難解決它們的錯(cuò)誤，例如，當(dāng)它們將阿拉伯語的“早安”翻譯為希伯來語的“攻擊它們”時(shí)。

來自IBM和哈佛大學(xué)的研究人員開發(fā)了一種新的調(diào)試工具來解決這個(gè)問題。該工具于上周在柏林舉行的IEEE視覺分析科技大會(huì)上亮相。它允許深度學(xué)習(xí)應(yīng)用程序的創(chuàng)建者可視化AI正在將一系列單詞從一種語言翻譯成另一種語言。

這個(gè)工具名為Seq2Seq-Vis，是解釋深度神經(jīng)網(wǎng)絡(luò)決策的幾個(gè)努力之一。被廣泛稱為“黑箱問題”的神經(jīng)網(wǎng)絡(luò)的不透明性已經(jīng)成為人工智能行業(yè)面臨的嚴(yán)峻挑戰(zhàn)之一，尤其是當(dāng)深度學(xué)習(xí)進(jìn)入更關(guān)鍵的領(lǐng)域時(shí)。

Seq2Seq-Vis專注于“序列對(duì)序列”模型，這是大多數(shù)現(xiàn)代機(jī)器翻譯系統(tǒng)使用的AI架構(gòu)?！靶蛄袑?duì)序列模型可以學(xué)習(xí)將任意長(zhǎng)度的輸入序列轉(zhuǎn)換為任意長(zhǎng)度的輸出序列，”IBM研究所的科學(xué)家Hendrik Strobelt說，并補(bǔ)充說，除了語言翻譯，還使用了序列對(duì)序列。在其他領(lǐng)域，比如問答，長(zhǎng)文摘要，圖片字幕。“這些模型在大多數(shù)任務(wù)中都非常強(qiáng)大和先進(jìn)，”他說。

簡(jiǎn)而言之，序列到序列轉(zhuǎn)換模型通過幾個(gè)神經(jīng)網(wǎng)絡(luò)運(yùn)行源字符串，將其映射到目標(biāo)語言并優(yōu)化輸出，以確保其語法和語義正確。神經(jīng)網(wǎng)絡(luò)的引入大大改善了結(jié)果，但也使得應(yīng)用更加復(fù)雜。

視覺機(jī)器翻譯

Stobelt將傳統(tǒng)語言翻譯軟件的調(diào)試與電話簿的使用進(jìn)行了比較。“無論何時(shí)出現(xiàn)問題，你都可以查看這本書，找出產(chǎn)生錯(cuò)誤信息的規(guī)則，并修復(fù)這些規(guī)則，”他說?！皢栴}是，你無法為這些高度復(fù)雜的端到端培訓(xùn)網(wǎng)絡(luò)輕松創(chuàng)建這樣一本書。所以我們?cè)谒伎加惺裁纯梢蕴娲@樣的東西。這基本上促進(jìn)了我們Seq2Seq-Vis的目標(biāo)?！?/p>

Stobelt向我們展示了該工具如何在其演示網(wǎng)站上工作，該網(wǎng)站有一個(gè)德語到英語翻譯錯(cuò)誤的例子。那句“diel？你說，這是什么意思？endunkelwird .當(dāng)街道變暗時(shí)，最長(zhǎng)的旅程就開始了?！钡斯ぶ悄苣Ｐ鸵呀?jīng)將其轉(zhuǎn)化為“當(dāng)它走到街上時(shí)，最長(zhǎng)的旅程才開始?！?/p>

Seq2Seq-vis創(chuàng)建了序列間翻譯不同階段的可視化表示。這使用戶能夠檢查模型的決策過程，并找出錯(cuò)誤發(fā)生在哪里。

Seq2Seq-Vis還展示了輸入和輸出句子中的每個(gè)單詞如何映射到AI模型的神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練示例?！敖忉屩凶顝?fù)雜的部分是如何將決策與訓(xùn)練實(shí)例聯(lián)系起來，”斯托貝爾特說。“訓(xùn)練數(shù)據(jù)描述了模型的世界。與訓(xùn)練數(shù)據(jù)相比，這個(gè)模型更了解這個(gè)世界。因此，在調(diào)試模型時(shí)檢查訓(xùn)練數(shù)據(jù)是有意義的?！?/p>

例如，通過使用可視化工具，用戶可以確定錯(cuò)誤是否是由于給編碼器和解碼器(對(duì)源語言和目標(biāo)語言中的句子進(jìn)行分類的神經(jīng)網(wǎng)絡(luò))的錯(cuò)誤訓(xùn)練示例；注意模型中錯(cuò)誤的配置，即連接編碼器和解碼器網(wǎng)絡(luò)的元件；或者是“光束搜索”中的一個(gè)問題，也就是提高翻譯模型輸出的AI模型。

將序列修正為序列模型

Seq2Seq-Vis并不是唯一一個(gè)試圖解釋人工智能決策的項(xiàng)目。解決黑盒問題對(duì)人工智能行業(yè)越來越重要，并吸引了許多學(xué)者。機(jī)構(gòu)，大型技術(shù)公司和國防部。機(jī)構(gòu) DARPA .IBM的研究人員最近也提出了一個(gè)單獨(dú)的計(jì)劃，使用事實(shí)表來提高人工智能的透明度。

Seq2Seq-Vis需要訪問關(guān)于它正在調(diào)試的AI模型的訓(xùn)練數(shù)據(jù)和其他內(nèi)部細(xì)節(jié)。相比之下，其他一些可解釋的人工智能方法只需要訪問神經(jīng)網(wǎng)絡(luò)的輸出來解釋它們的決定。

然而，盡管大多數(shù)其他方法只專注于解釋AI決策，但Seq2Seq-Vis允許用戶對(duì)他們的模型進(jìn)行修正?！拔覀兛梢噪p管齊下。我們可以可視化，但我們也可以改變底層后端，”斯托貝爾特說。這就是Stobelt所說的“假設(shè)檢驗(yàn)”。

例如，用戶可以選擇并糾正輸出序列中的單詞，或者他們可以重新配置注意力模型映射輸入和輸出位置的方式。

但是，使用Seq2Seq-Vis并不適合翻譯應(yīng)用程序的最終用戶。它需要關(guān)于序列到序列模型如何工作的一般知識(shí)。這當(dāng)然有意義，因?yàn)檎鏢tobelt解釋的那樣，該工具針對(duì)的是AI模型的架構(gòu)師和培訓(xùn)師。

那么誰對(duì)Seq2Seq-Vis感興趣呢？“我們目前正在討論如何在IBM內(nèi)部使用它。但是源代碼是開源的，所以可以想象很多。公司每個(gè)人都想加入，”斯托貝爾特說。