• 设为书签 Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。 您也可下载桌面快捷方式。点击下载 | 新浪科技 | 新浪首页 | 新浪导航

    阅读理解竞赛微信AI称王,高中生力压腾讯康奈尔联队

    2019-03-11 13:27:04    创事记 微博 作者: 量子位   

      ?#38431;?#20851;注“创事记”的微信订阅号:sinachuangshiji

      文/乾明 边策

      来源:量子位(ID:QbitAI)

      在初高中英文阅读理解这件事上,普通人类已经不是AI对手了。

      这就是AI最新获得的成就。

      在CMU语言技术研究所发起RACE数据集上,全球豪强纷纷一展身手。

      最终,依然由中国军团雄霸天下。

      而?#20057;?#20301;高中生,甚至单枪匹马力压腾讯和康奈尔联队。

      此外,第一二名争夺也异常激烈且颇富戏剧性。

      微信AI和云从交大,上演了一出生死时速的好戏。

      怎样一回事?

      中国AI军团雄霸全球竞赛

      此次比赛所用数据集RACE,全称:Large-scale ReAding Comprehension Dataset From Examination,是一个从初中和高中试题中收集的大型英文阅读理解数据集。

      2017年正式对外推出,主要考察AI模型在英文阅读理解方面的学习能力。

      从推出至今,总共有13支全球豪强?#35789;?#36807;身手。除了前面提到的微信AI、云从、腾讯AI Lab和康奈尔之外,OpenAI、微软研究院、IBM研究院也都参与其中。

      但2年以来,还没有哪支团队的AI模型真正实现超越人类水平。

      但就在今年1月,中国公司云从科技和上海交大联队,首次在高中生数据集部分实现了AI模型水平对人类超越,该排名也一度占据榜首50多天。

      如此成绩,云从自然应该庆祝一番。

      不过熟料战况异常激烈,万万没想到,在云从刷榜通告发出后不久,中国另一代表队——微信AI提交最新成绩,并成功实现超越,?#19968;?#26159;对人类水平的全面超越。

      这年头,庆功都不允许雍容款款了。

      微信第一,BERT称王

      那么微信AI模型,究竟有何独到之处?

      在RACE中,微信AI模型整体正确率73.5%,超过了普通人类的73.3%。

      其使用的是选项比较网络(OCN),模仿人类完成阅读理解任务的做法,在单词级别上对各个选项进行比较,以识别其中的相关性,来帮助推理答?#28014;?/p>

      不过,在这个竞赛中,更大的赢家却是BERT。

      微信AI使用的模型,正是基于BERT。

      不仅仅是微信AI,榜单二三名,也都是基于BERT。

      目前排名第二的选手,上海交大与云从提出的双协同匹配网络(DCMN),可?#38405;?#25311;段落、问题和答案之间的双向关系,来进行更好的推理。在RACE数据集高中题?#21487;?#25343;下了69.8%准确率,超过普通人类表现。

      BERT的成绩,并不会让人太过意外。

      这个于2018年10月由谷歌推出模型,刚一问世便交出了一份惊人的成绩单。

      在机器阅读理解顶级水平测试SQuAD1.1中,全面超越人类表现,并在11种不同NLP测试中创出最佳成绩。

      现在,SQuAD 2.0榜单已经被BERT垄断,前30名之中都很难见到不用BERT的选手。

      在我们今天要讲的RACE竞赛中,借BERT上榜的还有一名高中生。他来自新加坡立化中学,也是中国人。

      他的模型,比腾讯AI Lab和康奈尔大学提出模?#32479;?#32489;还要好。

      高中生力压腾讯AI Lab+康奈尔

      这位高中生名叫司程磊,初中就读于?#25103;?#24066;第五十中学,2015年被新加坡立化中学录取。

      他的这项研究并不复杂,只是基于RACE数据集对预训练好的BERT模型进行调参。

      司程磊在GitHub页上声明自己的成果是基于BERT的PyTorch实现。但作为一名高中生,已经开始上手调参炼丹,的确比不少同龄人要超前了不少。

      还在高中就读的司程磊展现出了对计算机科学的浓厚兴趣,他的GitHub页上显示他正在自学?#22266;?#31119;大学的NLP课程CS224N,还在Coursera上自学加州大学圣迭戈的算法课程。

      另一方面,他也在关注NOI(全国信息学奥林匹克竞赛)、ACM竞赛。

      司程磊可不仅仅把这些停留在简单的关注上,每门学过的课程,他都认认真真地在GitHub上编写习题的代码。

      言归正传,司程磊根据模型的精细程度,将结果分成基本BERT(BERT_base)和大型BERT(BERT_large)两部分。BERT_large的batch size更小,学习率更?#20572;?#22240;此在测试结果上优于BERT_base。

      不过,腾讯AI Lab被超越,也是情理之中。

      他们上次提交成绩,还是在2018年10月。

      当时,他们基于Transformer的模型,在多个阅读理解数据集上都实现了最优结果。

      但现在已经是2019年了,BERT已经开源,成了各个NLP模型中的核心。

      而2017年推出的RACE,也因此迎来革命性时刻。

      RACE:让AI做高考题的数据集

      RACE(Large-scale ReAding Comprehension Dataset From Examination),由两位来自中国的博士生提出,是一个从初中和高中试题中收集的大型英文阅读理解数据集。

      RACE一共收集了28,130篇文章,包含了98,432个问题。 数据集?#22336;?#20026;RACE-M(初中)和RACE-H(高中)两个部分。

      RACE由中学教师设计,用于测试学生的阅读理解技能。要想选出正确答案,不能直接从原句子中寻找,而是需要?#19994;较?#20851;的上下文,还需要逻辑推理并运用社会、数学、文化等方面的常识进行分析。这对AI是个很大的考验。

      关于RACE数据集?#22856;?#31456;曾被EMNLP 2017收录,当时最先进的机器阅读理解模型也只能获得42.3%的正确率,而在亚马逊的众包平台Turkers上,人类的平均正确率达到了73.3%,上限成绩是94.5%。

      △数据集作者用Sliding Window和Stanford AR两个模型的测试结果与人类对比

      显然最先进模型与人类表现之间存在显着差距,RACE很适合作为机器阅读的测试标准。

      开发这个数据集的,是卡内基·?#20223;?#22823;学的两位在读博士赖国堃和谢其哲,他们都曾都在微软亚洲研究院实习过。

      除了阅读理解外,这两位?#22266;?#20986;过英文完型填空的数据集CLOTH。他们去年12月用BERT模?#32479;?#36234;了人类得分。

      谢其哲毕业于上海交大ACM班,目前正在攻读CMU博士学位,已有多篇论文被ACL、EMNLP、NIPS等顶会收录。

      他的本科导师俞凯,是苏州思必驰信息科技有限公司首席科学家,同时也是上海交通大学苏州人工智能研究院执?#24615;?#38271;。

      也是名师出高徒的又一例证。

      后生可畏

      当然,现在各大全球AI竞赛被中国军团霸榜,早已见怪不怪了。

      远的不说,2018年的国际顶级口语机器翻译评测大赛IWSLT上,?#21387;?#31532;一,讯飞第二,阿里巴巴第三,承包了Baseline Model赛道前三。

      还有COCO+Mapillary 2018物体识别联合挑战赛上,中国团队包揽全部六项赛事的第一名,其中旷视团队获得4项冠军,商汤、北邮和滴滴团队分别获得1项冠军。

      ?#27426;?#19982;之前种种霸榜事件相比,这次大有不同,毕竟此次中国军团中,还有崭露头角的高中生——此外测试标准本身,也由两名中国留学生提出。

      真是一个后生可畏的年代啊!

      如果你也关注近期AI顶会的论文,还会发现各路本科生、实习生大展神威。

      中国AI的年轻一代,正在源源不断走到前台。

      看?#27425;?#26469;AI工程师退休,都不用?#31995;?5岁高龄了。(手动狗头)

      传送门

      RACE榜单地址:

      http://www.qizhexie.com/data/RACE_leaderboard

      RACE论文地址:

      https://arxiv.org/pdf/1704.04683.pdf

      RACE数据集地址:

      http://www.cs.cmu.edu/~glai1/data/race/

      微信AI论文地址:

      https://arxiv.org/pdf/1903.03033.pdf

    (声明:本文仅代表作者观点,不代表新浪网立场。)

    分享到:
    保存   |   打印   |   关闭
    福建36选7开奖玩法