科大讯飞获得 ICFHR 2020 数学公式识别挑战赛冠军!

　　没错，我们又拿了第一!

　　近日，科大讯飞A.I.研究院联合中科大语音及语言信息处理国家工程实验室，以显著优势获得 ICFHR 2 020 OffRaSHME数学公式识别挑战赛冠军 。

离线手写数学公式识别（官方数据）榜单

离线手写数学公式识别（外源数据）榜单

　　注：“Correct”表示公式识别的句正确率，“≤1s.err”和“≤2s.err”分别表示整条公式中允许出现1处和2处错误的识别的句正确率

　　此次OffRaSHME数学公式识别挑战赛由ICFHR 2020举办，除科大讯飞外，韩国三星、东京农工大学、华南理工大学、中山大学等多家常年深耕文档分析理解领域的研究机构都参与其中。

　　本次识别挑战赛「难」在哪里？

　　公式结构复杂，尤其是各种结构的嵌套， 例如：

　　形近字难识别，如X和x，Z和2，γ和r， 例如：

　　本次比赛添加了很多非常规符号的组合，这些容易和公式混淆， 例如：

　　科大讯飞是如何获得「冠军」的？

　　我们在数学公式识别中创造性地提出了Encoder-TreeDecoder识别算法 。

　　针对有复杂嵌套结构关系的数学公式识别：

　　我们提出了基于树形结构信息建模的Encoder-TreeDecoder识别算法，通过使用树形结构信息对数学公式的符号和符号间结构关系分别进行建模，来进行数学公式识别。

　　针对难以辨别的形近字符和非常规符号的组合：

　　我们使用了基于LaTeX语言模型的数据增强策略，对官方提供的数据进行合理的拆分分解训练公式语言模型，并使用语言模型合成出更加合理的符合上下文关联性的数据，很大程度上缓解形近符号识别困难的问题。

　　通过多项技术能力的综合运用， 在“能看会认”上，我们做得更好了！

　　——不仅能识别更复杂的数学公式，还能做到“中文+数学公式”混合搭配的内容识别。

　　数学公式识别领域的突破，对实际学生作业试卷文档的版面结构复杂、书写风格差异显著等难点问题，提供更为丰富有效的解决方案。

　　此外，我们还在ICDAR ReCTS评测任务中刷新了 单字识别、文本行识别、文本行检测和端到端识别全部 四项榜单世界纪 录， 使得我们的系统在解决复杂场景下文字检测和识别的难题中更为游刃有余。

　　应用立地，更有A.I.的产品等你体验

　　“技术顶天，应用立地”，基于在图文识别等核心技术上取得的持续突破，我们打造出了一批具备“能看会认”能力的A.I.产品。

　　▌讯飞智能学习机

　　我们在此次「数学公式识别任务」 中突破了诸多关键技术。依托这些技术，讯飞智能学习机帮助学生精确地进行大数据学情分析找到知识点的薄弱项，实现“个性化精准学”，提升学习效率、巩固学习效果。

　　手写数学题解答功能即将开放

　　▌讯飞智能办公本

　　我们实现了手写图文识别也与智能语音等关键技术深度融合。依托这些技术，“出口成章，跃然纸上”的讯飞智能办公本可以实现语音直接搜索手写笔记内容，「一句话找到手写笔记」 ，满足用户在更多笔记场景下的记录、写作、搜索、多端同步需求，有效提高办公效率。

　　▌讯飞翻译机

　　我们基于注意力机制的Encoder-Decoder模型在「自然场景文字识别任务」 上，通过融合语言模型进行端到端训练，使得拍照模糊的文字也能通过语言模型“联想”而被正确识别。依托此项技术，讯飞翻译机拍照翻译更清晰更准确，能够满足更多消费者在国外旅游、购物的场景应用需求。

　　▌讯飞输入法

　　我们在「在线手写字符识别任务」 上取得突破性进展，将轻量级的卷积神经网络首次在手机设备上实际应用。依托此项技术，讯飞输入法手写输入体验显著提升。

　　坚守人工智能道路21年，我们不断攀越技术高峰，在智能语音、计算机视觉、自然语言理解等技术领域摘得一项又一项桂冠，但这并不是终点。

　　我们将始终秉承“顶天立地”的技术信仰，打造一件件“能听会说”“能看会认”“能理解会思考”的人工智能产品，用人工智能点亮人间烟火。