谷歌，微軟，百度在8月創(chuàng)紀(jì)錄地加速NMT研究
2018-10-12 13:56:56
根據(jù)提交給Arxiv.org的研究論文研究，神經(jīng)機(jī)器翻譯（NMT）研究似乎在2018年7月在經(jīng)歷了今年上半年的激增之后略有放緩。然而，到2018年8月，他們獲得了這個(gè)蕭條，實(shí)際上超過(guò)了5月份，成為迄今為止最繁忙的月份。
在Arxiv平臺(tái)上發(fā)表的關(guān)于提及NMT標(biāo)題或摘要的研究在上個(gè)月達(dá)到了創(chuàng)紀(jì)錄的57篇論文，與5月份的55相比略有上升。當(dāng)然，有一點(diǎn)需要注意，一些關(guān)于Arxiv的搜索結(jié)果是誤報(bào)，而另一些則更新了已經(jīng)出現(xiàn)過(guò)的論文的重新提交。考慮到這些因素，所有搜索結(jié)果中有33個(gè)完全是關(guān)于NMT的，并且是新提交的。
值得注意的是，過(guò)去幾個(gè)月提交給Arxiv的許多論文也將在2018年10月31日至11月1日在比利時(shí)布魯塞爾舉行的第三屆機(jī)器翻譯會(huì)議（WMT 2018）上發(fā)表。
BLEU再次遭遇火災(zāi)
雙語(yǔ)評(píng)估替代（BLEU）是目前評(píng)估NMT輸出的方法，但隨著有多少研究人員提倡更新，更好的標(biāo)準(zhǔn)，這可能很快就會(huì)改變。在Slator最近對(duì)NMT研究的報(bào)道中，作者SamuelL?ubli和著名研究人員Rico Sennrich博士和Martin Volk博士發(fā)現(xiàn)，BLEU方法無(wú)意中成為了一個(gè)更大問(wèn)題的一部分。
NMT輸出已經(jīng)變得如此流暢，以至于BLEU以及當(dāng)前的研究社區(qū)標(biāo)準(zhǔn)已不再足夠。他們認(rèn)為，現(xiàn)在是文件層面而不是句子層面評(píng)估的時(shí)候了。
這是由Antonio Toral博士，Sheila Castilho博士，Ke Hu博士和Andy Way博士的另一篇論文得出的結(jié)論，Toral和Way直接慷慨地提供了Slator。就像L?ubli，Sennrich和Volk的論文一樣，這一點(diǎn)在當(dāng)前測(cè)量輸出流暢性的標(biāo)準(zhǔn)中看到了同樣的缺陷，這需要改變NMT研究的方式。研究界目前的評(píng)估標(biāo)準(zhǔn)不再能準(zhǔn)確反映NMT的進(jìn)展。
自從NMT研究在過(guò)去幾年開(kāi)始崛起以來(lái)，BLEU對(duì)NMT研究的局限性一直是一個(gè)棘手的問(wèn)題，Slator在2018年的NMT報(bào)告中談到的許多專家都在積極倡導(dǎo)，尋找和提出替代方案。
今年8月谷歌，微軟，百度非?；钴S
雖然眾所周知，知名人士不時(shí)為研究做出貢獻(xiàn)，但去年8月，谷歌，微軟和百度都非?；钴S，至少在提交的新研究論文方面如此。
谷歌在2018年8月提交了六份研究論文，其中大部分旨在深入挖掘如何改進(jìn)NMT流程或產(chǎn)出。谷歌研究人員推出了SentencePiece，這是一種將NMT的原始句子輸入標(biāo)記（和去標(biāo)記）為子詞的工具，這些子詞更易于處理NMT引擎。他們還介紹了他們所謂的SwitchOut，這是一種數(shù)據(jù)增強(qiáng)算法，最終可以在保持質(zhì)量的同時(shí)改善NMT流程。
谷歌研究人員重新審視基于字符的NMT和如何標(biāo)記的順序由NMT系統(tǒng)產(chǎn)生影響其輸出，以及新的，基于樹(shù)的解碼器是增加語(yǔ)法信息，以NMT模型和回譯的低資源語(yǔ)言（在研究Facebook也參與其中的論文）。
微軟還提交了四篇論文中更深層次的問(wèn)題。他們的研究人員使用優(yōu)化器來(lái)防止 NMT模型中的微調(diào)問(wèn)題，從而提高處理速度，并研究應(yīng)用于NMT時(shí)強(qiáng)化學(xué)習(xí)的潛力。他們還通過(guò)同樣改進(jìn)雙向翻譯，致力于風(fēng)格轉(zhuǎn)移和提高NMT輸出。
與此同時(shí)，中國(guó)科技巨頭百度研究了NMT組件之一的光束搜索的局限性，并在神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間添加了多個(gè)參考，以及如何利用這種方法生成偽參考。百度研究人員于2018年8月向Arxiv提交了三篇論文。
值得注意的是，那個(gè)月還有另一家中國(guó)巨頭出席了會(huì)議：阿里巴巴的研究人員使用了一種名為半自回歸變壓器（SAT）的改進(jìn)模型，將處理速度提高了近六倍，相同輸出質(zhì)量提高了約90％。
有趣的是，這些大型科技品牌提交的論文的研究方向反映了去年8月Arxiv大部分論文的研究課題。研究人員似乎熱衷于弄清楚NMT模型的內(nèi)部工作原理以提高輸出和處理速度，其他一些人則研究了低資源語(yǔ)言，如前所述，評(píng)估中需要文檔級(jí)環(huán)境。
