继（jì）国际象（xiàng）棋、围棋（qí）、游戏等领（lǐng）域之后（hòu），人（rén）工智能（néng）首（shǒu）次（cì）在深度（dù）阅读理（lǐ）解（jiě）超（chāo）越人类（lèi）。

2019年3月8日，中（zhōng）国人工智（zhì）能“国家队”云从科技（jì）和上（shàng）海交通大学联（lián）合宣布，在自然语言（yán）处理（NLP Neuro-Linguistic Programming）上取（qǔ）得（dé）重大突破，在（zài）大型深（shēn）层阅读理解任（rèn）务数据集（jí）RACE数据集（jí）（ReAding Comprehension dataset collected from English Examinations）登顶第一，并成为（wéi）世界（jiè）首个超过人类排名的（de）模（mó）型。

portant;" width="800" height="485" align="" />

有评论认为，这会是机器深层（céng）理（lǐ）解人（rén）类语言的开端。

论文中，云从科（kē）技与上海交通大学基于（yú）原创DCMN算法，提出了一种全新的模型，使机器阅（yuè）读理解正确率提高了（le）4.2个百分点，并在（zài）高中测（cè）试（shì）题部分首次超（chāo）越人类（机器（qì）正确率69.8%、普通人类69.4%）。

这一研究成（chéng）果，在应用领域搭配文（wén）字识别（bié）OCR/语音识别技术后，NLP将（jiāng）会帮助（zhù）机器更好地理解人（rén）类文字/语言，并广（guǎng）泛应用于服务领域：帮助企业判断客户（hù）风（fēng）险、审计内部文档合规、从语（yǔ）义层面查（chá）找相关信息；在社交软件、推荐引擎（qíng）软件内（nèi）辅助文字审阅工作（zuò），从枯燥的人工文（wén）字工作中（zhōng）解放人（rén）类。

突破语义理解瓶颈

此（cǐ）次（cì）云（yún）从科技和（hé）上海交通大学在自然语言处理（NLP）领域的深度阅读理（lǐ）解上登（dēng）顶RACE排行榜第（dì）一名。RACE是一个来源于（yú）中学考试题（tí）目的大（dà）规模阅读理解数据集，包含了大约28000个（gè）文（wén）章以及近100000个问题。它的形式类（lèi）似于英语考（kǎo）试（shì）中（zhōng）的阅读理解（选择题），给定一篇文章，通（tōng）过（guò）阅读并（bìng）理解（jiě）文章（zhāng）（Passage），针对提出（chū）的问题（Question）从四个（gè）选项中（zhōng）选择正确的答案（àn）（Answers）。该（gāi）题型的正（zhèng）确答案并不一定直接体现在文章（zhāng）中，只能从语义层（céng）面深入理解文章，通过分析文章中（zhōng）线索并基于上下文推理，选出正（zhèng）确答案。相对（duì）以往的（de）抽取类（lèi）阅（yuè）读理解，算（suàn）法要求（qiú）更（gèng）高，被认为是“深度阅读理解”。

portant;" />

RACE数据集的难点在于：由于正确（què）答案并没有直接使用（yòng）文章中的话术来回答，不能（néng）直接从（cóng）文中检索得到答案。必须从语义层面（miàn）深入理解文章，才能准确回答问题。

解决方案

怎（zěn）么让机器在（zài）庞大的（de）题库文（wén）章（zhāng）中（28000个）找到正确（què）的答案（àn）？

云从科技与上海（hǎi）交通（tōng）大学（xué）首创（chuàng）了一（yī）种P、Q、与（yǔ）A之间的匹配机制，称为Dual Co-Matching Network（简称DCMN），并基于这种机制探索性的研究了P、Q、与A的各种（zhǒng）组合下的（de）匹配（pèi）策略。

结果显示，采用（yòng）PQ_A的匹（pǐ）配策略，即先将P与（yǔ）Q连（lián）接（jiē），然后与A匹配，策略都得到了更优的结果。

再将模型（xíng）（基（jī）于PQ_A策（cè）略）与其他已知的模型、以及纯粹基于（yú）BERT自身的模型进行了比较，得（dé）到如下的结果（guǒ）：

从（cóng）RACE leaderboard上结果比较可以得到以（yǐ）下（xià）结论（lùn）：

portant;" width="800" height="359" align="" />

·云（yún）从科技与上（shàng）海交（jiāo）大（dà）的单体模型（xíng）就已经超越榜单上（shàng）所有（yǒu）的单体或Ensemble模型；

·云从科技与上（shàng）海交大的Ensemble模（mó）型在高（gāo）中题目（RACE-H）部（bù）分优（yōu）于（yú）人类结果（Turkers）。

论文缘（yuán）起（qǐ）

这篇论文的作者，来（lái）自中国人工智能“国家队”云从（cóng）科技与上海（hǎi）交通（tōng）大（dà）学。

云从（cóng）科技孵化于中国科（kē）学院，2017年3月，承担国家（jiā）“人工智能”基（jī）础项目——“人（rén）工智能基础（chǔ）资源（yuán）公共服务平台（tái）”建设任务。

2018年10月的国家“人工智能基础资源与公共服务平台”发（fā）布会上，云从科（kē）技创始人周曦（xī）提出（chū）了人工智（zhì）能发展五（wǔ）个阶（jiē）段，核心技术闭环是五个阶（jiē）段的重要基础。

portant;" />

从感知（zhī）到认知（zhī）决策（cè）的一系列技术组（zǔ）成了核心技术闭环：

1-感知技术：人脸（liǎn）识别（bié）、语（yǔ）音识别（bié）、文字（zì）识别OCR、体（tǐ）态识别、跨镜追踪（ReID）、车辆识别等

2-认知决（jué）策：自然语言处理（NLP）、脑科学（xué）、大数据（jù）分析（风控、精准营（yíng）销）等

目前，云从（cóng）科技承担了（le）国（guó）家（jiā）发改委与工信（xìn）部的人工智能基础平台、人工智能应用（yòng）平台和人工智（zhì）能的核心芯片平台（tái）项目，包含智能感知技术和（hé）认知决策技术为核心的技术闭环，并刷新（xīn）多项世界（jiè）纪录，保（bǎo）持自主核心技术国际领先。

portant;" width="800" height="481" align="" />

在这个基础上，云从科技正（zhèng）在（zài）致力整合算力、智力、数据等资源（yuán）及其成果，打造人（rén）工智能开（kāi）放平台与生态，进（jìn）一（yī）步促进（jìn）人（rén）工（gōng）智能在金融、安防、交通、零售、商业等重要行业的落地与（yǔ）深（shēn）度融（róng）合。

附（fù）：论（lùn）文解读

1.DCMN匹配机制（zhì）

以P与Q之（zhī）间的匹配（pèi）为例（lì），说明DCMN的匹配机制。下图为P与Q之间的（de）DCMN匹（pǐ）配框架。

portant;" />

云从（cóng）科技和上（shàng）海交大使用目前NLP最新的研（yán）究成果（guǒ）BERT分别为P和Q中的每一个Token进行编码。基于BERT的（de）编（biān）码，可以得到的编码是一个包含了P和（hé）Q中（zhōng）各自上（shàng）下文信（xìn）息（xī）的编码，而不是一个固定的静态编码（mǎ），如上图中Hp与Hq；

其次，通过Attention的方式，实（shí）现P和Q的匹配。具体来（lái）讲，是构建P中的每一个Token在Q中的Attendances，即Question-Aware的Passage，如上（shàng）图中Mp。这样得到的每（měi）一个P的Token编码，包含了与Question的匹配信息；

为了充分利用BERT带（dài）来的上下文（wén）信息，以及P与Q匹配（pèi）后的信息，将（jiāng）P中每个Token的BERT编码Hp，与P中每个Token与Q匹配后的（de）编码（mǎ）Mp进（jìn）行融合， 对Hp和（hé）Mp进行了元素（sù）减法及乘法操作，通过一（yī）个激活函数，得（dé）到了P与Q的（de）最（zuì）终融合表（biǎo）示，图中表示为Spq；

最后通过maxpooling操（cāo）作得到Cpq，l维向量，用于（yú）最后的loss计算。

2.各种（zhǒng）匹配策略研（yán）究（jiū）

除了（le）P与A之间（jiān）的匹配之外（wài），还可（kě）以有Q与（yǔ）A、P与Q之间的匹配，以及（jí）不同匹配得到的匹配向（xiàng）量间的（de）组合（hé），这（zhè）些不同的匹配与（yǔ）组合构（gòu）成（chéng）了（le）不同的匹配策略。对七种不同的匹（pǐ）配（pèi）策（cè）略分别进行（háng）了试验，以找到更加合适的匹配策略，分别是（shì）：

[P_Q； P_A； Q_A]， [P_Q； P_A]， [P_Q； Q_A]， [P_A； Q_A]， [PQ_A]， [P_QA]， [PA_Q]

“PA”表（biǎo）示先将P和A连接为一个序列，再参（cān）与匹配，“PQ”与（yǔ）“QA”同（tóng）理。符号“[ ； ]”表示将多种匹配的结果组（zǔ）合在一（yī）起。[P_Q； P_A； Q_A]模式下的模型架构如下（xià）图：

portant;" />

7种不同策略通过试验，采用PQ_A的匹（pǐ）配策（cè）略，即先（xiān）将P与Q连接（jiē），然后与A匹配，无论是在初中题目（RACE-M）、高中题目（RACE-H）还是整体（RACE），该策略都得到（dào）了更优的结果。