平安刷新史丹福機(jī)器閱讀理解排行榜SQuAD 2.0 準(zhǔn)確率超越人類平均水平
香港，上海，2020年3月27日－中國平安保險(xiǎn)（集團(tuán)）股份有限公司（以下簡稱「中國平安」、「平安」、「集團(tuán)」或「公司」，股票代碼：香港證券交易所2318，上海證券交易所601318）宣佈，平安科技（深圳）有限公司（以下簡稱「平安科技」）刷新由史丹福大學(xué)舉辦、備受國際認(rèn)可的機(jī)器閱讀理解測試（Stanford Question Answering Dataset，SQuAD 2.0），其機(jī)器閱讀理解模型表現(xiàn)超越人類平均水平。此次為平安科技第三度刷新該榜單。
SquAD廣受人工智能行業(yè)認(rèn)可。SQuAD1.1測試基於逾500篇維基百科的文章，建立超過10多萬條問答。SQuAD2.0新增了5萬條人手撰寫的問題，使測試更具挑戰(zhàn)性。新增的問題與原有的問題相似，但在所提供的文章裏並沒有對(duì)應(yīng)的答案。因此，參賽團(tuán)隊(duì)所提交的機(jī)器閱讀理解模型需要通過閱讀多篇文章，判斷能否從中找出答案。對(duì)於無法回答的題目，該模型必須拒答。
在本次測試中，平安科技所提交的「ALBERT + DAAF + Verifier」混合模型在代表回答跟標(biāo)準(zhǔn)答案完全一致的精準(zhǔn)匹配率（EM）中獲得90.386分，而在代表回答跟標(biāo)準(zhǔn)答案局部吻合的模糊匹配率（F1）中獲得92.777分，兩項(xiàng)成績均位列全球第一。DAAF（Data Augmentation and Auxiliary Feature）是平安研發(fā)的學(xué)習(xí)框架，在此次測試中發(fā)揮關(guān)鍵作用。該框架涵蓋前向及後向算法，前向算法可以基於從外部數(shù)據(jù)中吸收數(shù)據(jù)，取得效果提升，至於後向算法則可以自動(dòng)篩除對(duì)提升效果構(gòu)成負(fù)面影響的數(shù)據(jù)。
平安的兩項(xiàng)成績均優(yōu)於人類平均水平。根據(jù)SQuAD2.0，平安在EM指標(biāo)所取得的90.386分較人類平均水平高3.56個(gè)百分點(diǎn)，而在F1指標(biāo)所取得的92.777分則較人類平均水平高3.33個(gè)百分點(diǎn)。
在過往的SQuAD測試中，微軟、谷歌、阿里巴巴等團(tuán)隊(duì)輪番奪魁。截至2020年3月27日，平安在SQuAD2.0榮登榜首，上海交通大學(xué)及谷歌緊隨其後，分別位列第二位及第四位。
