探索古彝文AI识别技术：助力中国传统文化的传承与发扬

颜淡慕潇 2024-07-05 13:01:02 阅读 75

⭐️ 写在前面

⭐️ 一、什么是古彝文

1.1 古彝文介绍

1.2 古彝文与其他古文字示例

1.3 古彝文的重要性

⭐️二、AI识别技术的挑战与前景

2.1 挑战

2.2 前景

⭐️三、合合信息AI识别技术

3.1 智能文字识别技术👍👍

3.2 古文识别应用

⭐️四、AI技术效果

4.1 猜字识字

4.2 AI文档能力修复古籍

⭐️五、中秋祝福💝🫶

⭐️ 写在前面

随着科技的不断发展，OCR（Optical Character Recognition，光学字符识别）技术在各个领域得到了广泛应用。

-

近年来，古彝文作为一种具有悠久历史和独特魅力的文字，逐渐受到了学者们的关注。探索古彝文识别OCR技术，不仅有助于挖掘、整理和传承中国传统文化，还能为现代科技与文化的交流搭建桥梁。

⭐️ 一、什么是古彝文

1.1 古彝文介绍

彝文指的是云南、贵州、四川等地的彝族人使用的文字，其造字、使用方法在不同的区域之间表现出明显的差异。

1980年发布的四川规范彝文有819字，2012年发布的滇川黔桂通用彝文有5598字。

这两种彝文主要用于现代语境，在仪式、节庆、旅游景点等场合彰显彝族非物质文化遗产的传承，或用于民族地区相关政策和宣传文件的翻译，以及当代母语作家文学的创作。

区别于上述现代意义上的彝文，今天我们所谓的“古彝文”指的是在民间流通使用的原生态彝文，根据《滇川黔桂彝文字集》，这些文字多达87046字。

彝文起源于何时，尚未有官方的定论。有学者认为，古彝文的起源距今至少数千年，是世界上最古老的文字之一。

下图是毕节市彝文文献翻译研究中心展示古籍修复原件

下图是毕节市彝文文献翻译研究中心展示汉译书稿

1.2 古彝文与其他古文字示例

如下图所示，分别是：

古埃及文字古埃及象形文章象形文古彝文字义古彝文字

可以看到，古彝文与其他古文字中可能存在某些相似关联

1.3 古彝文的重要性

对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍，更深层、透彻地作用于传统文化保护。

⭐️二、AI识别技术的挑战与前景

AI技术在古彝文识别方面有着巨大的潜力，但也面临一些挑战。可以分为以下几个方面：

版式多样，文字识别存在挑战手写风格差异很大，手写识别难彝文古籍图像质量差彝文字笔画相近，增加AI识别难度

2.1 挑战

2.1.1 版式多样

汉文与彝文古籍的各类原稿的排版风格都不统一，字符间距和行距有密有疏，彝文古籍虽然没有大小字混排、双列夹字的校注传统，但也时常出现加字、替字、整句倒置和文字方向不统一等现象，这样会给文字定位造成挑战。

2.1.2 手写识别难

和汉文古籍一样，不同的彝文缮写员之间手写风格差异很大，这就需要大量的数据库来建立识别模型。

👇

古彝文目前没有公开数据集，而通晓此种文字的人越来越少，导致标注工作量大而人手少，数据量严重不足，亟须引入AI技术构建模型，以弥补本项目训练样本不足。

2.1.3 图像质量差

汉文和彝文古籍都经历了数代传承、战火与自然风蚀的洗礼，难免出现页面残缺、霉斑污渍等影响图像质量问题。

此外，由于彝文古籍的保存环境更为艰苦，文本还呈现墨色深浅不一、字符间距和行距大小不一的情况。合合信息智能文字识别技术可对图像质量进行增强，提升文字识别效率与准确性。

2.1.4 笔画相近，增加识别难度：

彝文字从来没有统一过，不仅异体字（两个或多个视觉上完全不同的字）很多，还存在大量的“变体字”，也即各个地方的布摩为防止敌方破译其经书而故意在现有字形上增加或减少一两个笔画产生的。

比如：下图中表示“种类”的彝文字[mo21]/[mɯ33]的四个变体（邵文苑供图）

比如下面两个形似，但是确实两个完全不同的文字，分别为“酒”、“仪礼”

2.1.5 异体众多

古彝文每个字的异体写法少则2-3个，多则几十种，前文已提及未经整理规范的古彝文字符数高达了87000余个，比康熙字典的字数还多，给识别带来极大困难。

除此以外，彝文古籍还存在“同音字混用”的现象：为了不使某些字的写法失传，布摩会在抄写两句重复经文时，会故意让第一句话采用本字，而在第二句中的相同位置用同音字来替换，合合信息智能文字识别技术将有助于应对文字识别中“理解、认知”层面的难题。

2.2 前景

随着科技的不断发展，这些挑战是可以克服的。古彝文是中国传统文化中的重要组成部分，其传承与发扬具有深远的意义。

AI识别技术为古彝文的识别和传承提供了有力的工具，可以帮助我们更好地理解和传承彝族文化。通过AI识别技术，我们可以将古彝文带入数字时代，为中国传统文化的传承和发扬做出新的贡献，让这一宝贵的文化遗产得以继续传承下去。

⭐️三、合合信息AI识别技术

3.1 智能文字识别技术👍👍

智能文字识别技术是合合信息核心技术之一，主要由智能图像处理、基于深度学习的复杂场景文字识别，自然语言处理（NLP）三大核心模块组成。

其中，智能图像处理技术可对曲面、阴影、摩尔纹等文档图像进行精准的矫正处理，为接下来的文字信息提取、识别创造了良好的条件；复杂场景文字识别技术可适应多语言、多版式、多样式等复杂场景，以进行文字提取，并结合领先的NLP技术，对识别出的结果进行语义理解。

近三年来，合合信息智能文字识别技术先后在ICDAR、ICPR等人工智能国际竞赛中斩获16项冠军，学术成果在CVPR、AAAI、ACL等顶会上发表，相关项目获中国图象图形学学会（CSIG）科技进步奖二等奖。

3.2 古文识别应用

合合信息在古文字识别领域已有了一定的积累和成果。在2021年、2022年的世界人工智能大会上，合合信息展现了智能文字识别技术在甲骨文、西周钟鼎文（金文）中的应用，获得了包括央视、人民日报、新华社等上百家主流媒体的关注。

虽然古彝文的识别研究尚处于起步阶段，但在引入先进的AI技术来建立统一的数据库以后，对于增强古彝文研究的连续性、降低繁琐的检索工作无疑有极大帮助。与古彝文数字化相关的研究目前还相对稀少，本项目将填补当前国内外研究的空白。

在过去的十几年中，合合信息以智能文字识别技术为核心，在图像的复杂版式识别、结构化智能理解层面做了大量的研究，并取得优秀的应用效果，为古彝文识别提供了技术支持。

校企合作

2022年12月21日，合合信息与上海大学社会学院正式签署校企合作协议，旨在完成以国家珍贵古籍《西南彝志》为中心的“贵州古彝文图像识别及数字化校对项目”。

👏👏👏👏

双方将不断探索用智能文字识别技术赋能海量古彝文原籍数字化的道路，这一工作在民族传统文化日渐濒危的当下有着独特的意义。

合合信息前期在甲骨文、金文中所作的研究，也让古彝文识别成为一件“水到渠成”的事情：甲骨文和古彝文追溯源头都属于骨刻文，文字自骨刻文起，后发展出甲骨文、金文、小篆、隶书、楷书等，文字间的识别有相通之处。

此次与上海大学联合开启的“贵州古彝文图像识别及数字化校对项目”校企合作，也成为合合信息智能文字识别技术赋能小语种保护及古文化传承的重要里程碑事件。