阿姆斯特丹，2019年1月16日-TAUS推出匹配數(shù)據(jù):一種為機(jī)器翻譯(MT)引擎的訓(xùn)練和調(diào)整選擇語(yǔ)言數(shù)據(jù)的新技術(shù)。這種新方法非常適合新一代的神經(jīng)機(jī)器翻譯，并且對(duì)訓(xùn)練數(shù)據(jù)的質(zhì)量更加敏感。匹配數(shù)據(jù)使機(jī)器翻譯開(kāi)發(fā)者和語(yǔ)言服務(wù)提供商能夠有效地編譯定制語(yǔ)料庫(kù)，以便基于樣本數(shù)據(jù)集構(gòu)建他們自己的特定領(lǐng)域翻譯解決方案。

"為機(jī)器翻譯訓(xùn)練尋找語(yǔ)言數(shù)據(jù)一直是一個(gè)巨大的挑戰(zhàn)."TAUS導(dǎo)演賈普·范德梅爾說(shuō)?！皬奶囟I(lǐng)域選擇數(shù)據(jù)幾乎是不可能的。在2010年，我們已經(jīng)開(kāi)始確定一個(gè)場(chǎng)景，其中一個(gè)樣本數(shù)據(jù)集，一個(gè)簡(jiǎn)單的特定領(lǐng)域翻譯記憶庫(kù)，將幫助我們的用戶(hù)從TAUS數(shù)據(jù)云中的數(shù)十億個(gè)片段中編譯一個(gè)完全個(gè)性化的語(yǔ)料庫(kù)。實(shí)現(xiàn)這一目標(biāo)的技術(shù)尚未實(shí)現(xiàn)，但現(xiàn)在因?yàn)镈atAptor項(xiàng)目而成為現(xiàn)實(shí)?！?/p>

廣告

DatAptor項(xiàng)目是阿姆斯特丹大學(xué)邏輯、語(yǔ)言和計(jì)算研究所承擔(dān)的一個(gè)研究項(xiàng)目，由Khalil Sima'an教授領(lǐng)導(dǎo)，荷蘭STW資助。該項(xiàng)目的合作伙伴是英特爾、歐盟委員會(huì)翻譯總司和TAUS。從2013年到2016年，一組研究人員探索了不同的方法，使大量數(shù)據(jù)的數(shù)據(jù)選擇無(wú)縫有效。

“我們的夢(mèng)想是讓萬(wàn)維網(wǎng)本身成為所有數(shù)據(jù)選擇的來(lái)源，”哈利勒·西瑪安教授說(shuō)，“但我們決定更溫和地開(kāi)始，使用非常大的TAUS數(shù)據(jù)庫(kù)作為我們的狩獵場(chǎng)。在DatAptor中，我們了解到每個(gè)域都是許多子域的混合。在一個(gè)非常大的庫(kù)中，子域組合學(xué)包含了大量新的和未開(kāi)發(fā)的選項(xiàng)。因此，如果用戶(hù)提供表示感興趣領(lǐng)域的查詢(xún)語(yǔ)料庫(kù)，匹配數(shù)據(jù)方法可以在存儲(chǔ)庫(kù)中找到合適的選擇?！?/p>

匹配數(shù)據(jù)方法通過(guò)將混合領(lǐng)域搜索語(yǔ)料庫(kù)中的所有句子索引為可搜索的實(shí)體，來(lái)反轉(zhuǎn)典型的搜索方法。因此，匹配數(shù)據(jù)將返回高保真數(shù)據(jù)，并為每個(gè)細(xì)分受眾分配匹配分?jǐn)?shù)。用戶(hù)可以根據(jù)需要決定下載小型、中型或大型選項(xiàng)。

Oracle國(guó)際產(chǎn)品解決方案與新TAUS匹配數(shù)據(jù)服務(wù)合作開(kāi)發(fā)了一個(gè)口語(yǔ)語(yǔ)料庫(kù)，用于中文與英語(yǔ)、韓語(yǔ)、日語(yǔ)、西班牙語(yǔ)和巴西葡萄牙語(yǔ)之間的一般在線(xiàn)對(duì)話(huà)和聊天。Oracle語(yǔ)言專(zhuān)家進(jìn)行了深入的語(yǔ)言學(xué)評(píng)測(cè)，匹配數(shù)據(jù)檢索出的片段平均質(zhì)量得分為84%。

Jaap van der Meer說(shuō):“匹配數(shù)據(jù)被設(shè)計(jì)成一種行業(yè)社區(qū)服務(wù)。任何人都可以通過(guò)提供查詢(xún)語(yǔ)料庫(kù)來(lái)開(kāi)始新的領(lǐng)域語(yǔ)料庫(kù)。產(chǎn)生的領(lǐng)域語(yǔ)料庫(kù)被提供在TAUS匹配數(shù)據(jù)庫(kù)中，供有興趣改進(jìn)其全球內(nèi)容解決方案的每個(gè)人使用。這個(gè)版本的匹配數(shù)據(jù)是我們打開(kāi)數(shù)據(jù)市場(chǎng)的雄心勃勃的道路上的第一步?！?/p>

欲了解更多信息，請(qǐng)?jiān)L問(wèn):

十年來(lái)，TAUS數(shù)據(jù)云教會(huì)了我們?nèi)绾谓鉀Q數(shù)據(jù)鴻溝。

匹配數(shù)據(jù)白皮書(shū)

關(guān)于TAUS

TAUS，一個(gè)語(yǔ)言數(shù)據(jù)網(wǎng)絡(luò)，是一個(gè)獨(dú)立和中立的貿(mào)易組織。我們通過(guò)活動(dòng)計(jì)劃和在線(xiàn)用戶(hù)組發(fā)展社區(qū)，并通過(guò)分享知識(shí)、指標(biāo)和數(shù)據(jù)，幫助翻譯行業(yè)的所有利益相關(guān)者開(kāi)發(fā)更好的服務(wù)。我們?yōu)檎Z(yǔ)言和翻譯服務(wù)的買(mǎi)家和提供商提供數(shù)據(jù)服務(wù)。

分享知識(shí)和數(shù)據(jù)有助于TAUS成員決定有效的本地化策略。指標(biāo)支持更有效的過(guò)程和質(zhì)量評(píng)估的標(biāo)準(zhǔn)化。這些數(shù)據(jù)可以提高翻譯自動(dòng)化。

TAUS開(kāi)發(fā)了API，通過(guò)自己的翻譯平臺(tái)和工具，會(huì)員可以訪(fǎng)問(wèn)DQF、質(zhì)量?jī)x表板和TAUS數(shù)據(jù)市場(chǎng)等服務(wù)。大多數(shù)主要的翻譯技術(shù)都內(nèi)置了TAUS指標(biāo)和數(shù)據(jù)。