背景

望面部色泽之所以能够判别疾病，其原理在于面部血脉分布丰富，《灵柩·邪气脏腑病形》曰“十二经脉，三百六十五络，其血气皆上于面而走空窍”；其次，面部皮肤嫩薄，体内气血盛衰变化，最容易通过面部色泽变化显露出来；此外，患者面部多暴露于外，方便医生观察。面部色泽对于疾病的判断也具有重要意义，可以用于判断气血盛衰、识别病邪性质、确定疾病部位、预测疾病转归。

舌诊是通过观察舌质和舌苔的变化，了解机体生理功能和病理情况的侦察方法，在疾病发展的过程中，舌诊的变换往往比较明显，故舌诊在望诊中具有举足轻重的地位。《笔花医镜·望舌色》云：“舌者心之窍，凡病具现于舌，能辨其色，证其自然”。《医生棒喝》记载：“观舌本，可验其阴阳虚实；审苔垢，即知其邪之寒热浅深也。”强调通过全面观察舌质、舌苔，便可推测其发病的性质。由于舌与脏腑、经络、气血津液关系十分密切，其变化与体内的各种变化同步，所以有人把舌象比作反映内脏变化的“镜子”。临床实践证明，凡体质禀赋的强弱，正气的盛衰、病情的深浅、预后的吉凶均能客观地从舌象上反映出来，为医生临床诊断提供重要的依据。

将人工智能应用于传统的舌面望诊任务中，已经成为当下研究的热点。李福凤等将最小偏差法和线性判别式分析相结合，在多个色彩空间中进行实验，找到了面部光泽识别的最佳空间和模型，取得了89%的高准确率；陆萍等利用神经网络分析中医面诊证素辨证，构造了一个高效经济的基于证素辨证的面诊神经网络结构；沈兰荪等利用图像分析技术研究中医舌诊客观化，提出了舌体区域分割、裂纹分析、舌苔和舌质特征分析等一套算法，并通过临床证明了其有效性；唐俊安等利用snake模型分割舌象，在RGB色彩空间中通过对“湿热症”和“湿寒症”两种舌象的检测和对比，证明了提出算法对其症的有效性；郝一鸣等通过分析收集糖尿病患者的13个舌诊参数和糖尿病相关指标GHb，发现舌色的S值与GHb高度相关，可为糖尿病中医证候临床诊断提供客观依据。

基本原理

通过图像全方位识别患者的舌、面等多种症状，为医生提供高可靠的临床诊疗参考意见，加快医生工作效率，协助医生提升诊断的准确性。

舌面诊断系统共包含三个子系统，分别为面象诊断系统、舌象诊断系统和图像预处理系统。·

（1）其中面象诊断系统包含了7个子系统，分别为：眼睑浮肿识别系统、面部光泽识别系统、川字眉识别系统、双眼皮识别系统、脸型识别系统、眉毛浓淡识别系统和唇厚薄识别系统。

（2）舌象诊断识别系统包含5个子系统，分别为：苔色识别系统、苔腻识别系统、舌体胖瘦识别系统、裂纹识别系统和齿痕识别系统。

图-舌面诊断系统架构

首先，通过目标检测算法识别人脸和舌头区域，获得人脸区域和舌头区域的外接矩形框；然后，对获得的人脸区域和舌头区域进行具体部位的提取。系统识别到人脸区域进行特征点回归的操作获得人脸的特征点信息，同时对人脸区域进行实例分割获得眉毛、眼睛、鼻子、嘴唇、皮肤、头发、耳朵、口、脖子等，系统对识别到的舌体区域进行舌体分割，获得没有背景干扰的舌体，提高舌诊的精度，用于后续的舌诊计算机识别；然后，系统根据提取到的实例图片和面部特征点等多种信息对舌面特征进行预测；最后，可视化预测结果。

图-舌面系统处理流程

研究过程中，通过对舌面图像定位，去噪，采用先进深度学习技术实现对患者的舌苔，舌质，面象等多种特征的精准识别，为医生提供可靠的临床诊疗意见，提升诊断的效率和准确性。

图-舌面诊研究过程

核心模块

1、图像质量检测

根据舌面图像的具体情况进行色彩校正，光照还原，模糊检测，高频信息滤波等预处理。图像在拍摄过程中，由于光照、抖动、雾等一系列因素可能使图像质量过差。所以，通过图像预处理模块，减少或者去除这些不利因素对图像质量造成的影响。

基于Laplacian高频信息的模糊图像检测：模糊的图像具有很少的高频信息和大量的低频信息。纹理，材质等属于图像的低频信息，轮廓，边缘等属于图像的高频信息。因此通过评估高频信息能够简单有效地反映图像的模糊程度。Laplacian算子是一种二阶微分算子，常被用于提取图像的高频信息。Laplacian算子做模糊检测的具体流程分三步。首先，彩色图片转换为灰度图像；其次，对灰度图像进行4领域的Laplacian算子滤波，提取高频图像；最后，计算高频图像的标准差σ，当σ小于一定的阈值时，则该图像模糊，否则该图像清晰。

基于导向滤波的图像去噪：去噪算法主要是去除图片中存在的噪声，本系统使用的去噪算法有传统的高斯滤波和导向滤波。导向滤波是一种包边滤波器，能够在去噪的同时保留边缘高频信息，导向滤波的指导图片为待滤波图片的灰度图。该方法能够很好的去除雾天图片的影响。

2、面象特征分析

面象诊断系统包含了7个子系统，分别为：眼睑浮肿识别系统、面部光泽识别系统、川字眉识别系统、双眼皮识别系统、脸型识别系统、眉毛浓淡识别系统和唇厚薄识别系统。

人脸关键点检测是人脸识别和分析领域中的关键一步，它是诸如人脸识别、面部情感分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。系统对识别到的人脸区域进行特征点回归操作获得人脸的特征点信息，同时对人脸区域进行实例分割获得眉、眼、鼻、唇、发、耳、口、颈等。由于人脸图片特征点标注工作需要耗费大量的资源，因此系统采用无监督的面部特征点回归算法，在只有少量标注的情况下，充分考虑未标注图片的信息，提高算法的回归精度和识别准确率。

3、舌象特征分析

舌象诊断识别系统包含5个子系统，分别为：苔色识别系统、苔腻识别系统、舌体胖瘦识别系统、裂纹识别系统和齿痕识别系统。

由R-CNN和Fast RCNN算法发展而来的Faster RCNN算法是目前主流的目标检测算法。Faster RCNN将特征提取，候选区域抽取，特征金字塔网络，目标框回归，分类等整合到一个深度网络中，相比之前的RCNN类网络，很好的平衡了检测精度和检测速度，综合性能提升明显。本项目Faster RCNN的特征抽取层采用了更加轻量级的FBNet网络，检测速度有了更进一步提高。训练数据来源于基层医生采集的真实舌面数据，标注工作由具有中医临床知识的中医师进行标注。当高质量图片输入后，算法会返回图片中所有的舌面坐标信息。

临床应用

传统舌面望诊的难点：传统的中医舌面望诊是通过医生观察患者舌面做出结论，诊断结果往往和医生的临床经验，学习经历、断病时状态等因素有关，具有很强的主观性。同时传统舌面望诊也易受光线，气候，地域等外界因素的干扰。针对这些问题，近年来，随着计算机信息技术图像识别的高速发展，以计算机图像分析技术为主要手段，将中医舌面诊断客观化研究与计算机技术紧密结合，为中医舌面诊断客观化提供了新的方向。

系统可以通过患者的舌、面图片，快速预测中医舌面特征有：眼睑浮肿、面部光泽、川字眉、眼皮层数、脸型、眉毛浓淡、唇厚薄、苔色、苔腻、舌体胖瘦、裂纹和齿痕。帮助医师在门诊过程中提升效率、准确率。

产品示例

只需三步即可生成中医体质报告：用户拍摄自己的舌部、面部照片，上传后系统立刻检测，给出分析报告，检测有效率可以达到90%以上。

图-产品流程

在提供体质报告的同时，还能够根据商家的产品进行个性化定制，支持在用户的体质基础上推荐相应的茶饮产品/保健产品/专科医生等，并关联销售路径。这种对应关系建立在专业的中医理论基础上，通过科学的方法与体质相匹配。

现已全面开放API对接，可以方便快捷的集成在网页、app、小程序等，我们提供专业的医学保障和技术支持，欢迎各位交流讨论学习！