4月24日讯 近年来,在线文本识别模型取得了显著进展,但数学表达(ME)识别作为更为复杂的任务仍未得到足够关注。
谷歌研究团队推出了 MathWriting,一个专注于在线手写数学表达的数据集,包含230k 人工编写和400k 合成样本,超越了类似 IM2LATEX-100K 的离线 HME 数据集。与其他在线数据集兼容,MathWriting 以 InkML 格式共享,并通过栅格化墨迹有效扩展了离线 HME 数据集。这一举措为 ME 识别引入了新的标准,提供了标准化的真实表达以简化训练和强化评估,同时在 GitHub 上提供代码示例以便于使用。
与 CROHME23相比,MathWriting 样本数量几乎是其近3.9倍,标签数量经过归一化后增加了4.5倍。MathWriting 不仅具有更多人工编写的墨迹,还提供了更广泛的符号范围,包括大部分希腊字母和矩阵等,从而能够代表量子力学、微积分和线性代数等各种科学领域。
MathWriting 数据集包括253k 人工编写表达和6k 孤立符号用于训练、验证和测试,同时还有396k 合成表达。发布在知识共享许可下,以 LATEX 标准化注释作为真实标准,基于 MathWriting 的测试部分,使用字符错误率(CER)指标构建手写数学表达识别基准。各种识别模型,包括 CTC Transformer 和 OCR,展示了数据集的实用性。数据收集涉及人类贡献者通过 Android 应用程序复制渲染表达式,随后经过最少的后处理和标签归一化以提高模型性能。
MathWriting 数据集相比 CROHME23提供了手写数学表达的详细信息,包括广泛的标签和墨迹统计,为了多样性提供了宝贵信息。尽管存在识别挑战,但 MathWriting 是训练和评估手写识别模型的全面资源,为了提供对真实识别场景的见解。
MathWriting 具有广泛的应用,支持跨科学领域的识别训练,并能够生成合成表达式。与 CROHME23等数据集的整合有望提高模型性能和多样性。边界框数据有助于生成合成墨迹,可能为更自然的合成改进 LATEX 的严格结构。此外,还提供了用于 UI 功能的字符分割途径。未来的研究可以专注于优化训练 / 验证 / 测试分割以及开发针对数学表达的语言模型。
论文:https://arxiv.org/abs/2404.10690