python计算机视觉~舌象图片中舌体倾斜判别

Posted Socialphobia_FOGO

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python计算机视觉~舌象图片中舌体倾斜判别相关的知识,希望对你有一定的参考价值。

返回至系列文章导航博客

1 简介

在智能舌诊时,需要判断舌头的胖瘦,这需要舌头在图片中处于近似垂直的位置才方便判断,不能过于倾斜。那么如何让计算机智能地知道舌体是否倾斜呢?这是这篇文章讨论的重点!
首先也是最重要的前提是让计算机知道那些像素点是属于舌体的,这需要用到Unet语义分割,在我的【python-Unet】计算机视觉 舌象舌头图片分割 机器学习文章中有详细的讲解,这里不做过多的赘述。
假设我们现在通过上述文章获得了舌体分割好的图片如下图所示:

现在我们就来讨论这个舌体是否倾斜!

2 实现概述

分析舌体的胖瘦最重要的一点是舌体是否摆正,即舌体的中轴线应与水平轴呈约为90°的夹角。若舌体过斜,那么后续的分析毫无意义。将分隔的舌体轮廓像素点进行标记,后计算像素矩阵中每一行像素点在水平轴上的平均坐标像素点。示例图如下:

由于舌体大致呈现对称形态,故中轴线应将近垂直水平轴。为方便计算,将像素点标记图旋转90度,那么舌体中轴线应与水平轴的夹角为0,即tanα=0。将标记中轴线上的点进行直线拟合(y=kx+b),若舌体呈现垂直状则k应趋近于0,即k→0。经过不断测试不影响后续判断的k的取值范围应是-0.2~0.2。若用户上传的舌体图片拟合直线的斜率超出k的取值范围,则提示用户重新拍摄。直线拟合图如下:

3 代码细节

3.1 统计舌体轮廓以及“对称轴”坐标

首先应将分隔好的图片中的舌体轮廓像素点坐标统计出来,然后在横坐标固定的维度上取同一横坐标上的两个轮廓像素点,取其距离的平均值,计算出在该横坐标纬度上的属于对称轴的像素点坐标。

from PIL import Image
import numpy as np


def contour_to(in_path=r"result\\blend.png", out_path=r"result\\inline.png"):
    """
    将分隔好的图像数据进行描点
    in_path为绿底+原图图片
    put_path为黑底+白点图片
    返回对称轴坐标以及轮廓坐标
    """
    img_before = Image.open(in_path)
    img_before_array = np.array(img_before)  #把图像转成数组格式img = np.asarray(image)

    shape_before = img_before_array.shape
    
    height = shape_before[0]
    width = shape_before[1]
    dst = np.zeros((height,width,3))
    
    wire = []
    axle_wire = []
    outcome_wire = []
    

    for h in range(0,height):
        lis = []
        h_all = 0
        w_all = 0
        for w in range (0,width-1):
            (b1,g1,r1) = img_before_array[h,w]
            (b2,g2,r2) = img_before_array[h,w+1]
            if (b1, g1, r1) == (1,204,182) and (b2,g2,r2) != (1,204,182): 
                dst[h, w] = (255,255,255)
                lis.append((h,w))
                outcome_wire.append((h,w))
            elif (b1, g1, r1) != (1,204,182) and (b2,g2,r2) == (1,204,182):
                dst[h, w+1] = (255,255,255)
                lis.append((h,w+1))
                outcome_wire.append((h,w+1))
            else:
                pass

        if len(lis) == 0:
            pass
        else:
            for i in lis:
                h_all += i[0]
                w_all += i[1]
            h_avg = h_all//len(lis)
            w_avg = w_all//len(lis)
            dst[h_avg, w_avg] = (255,255,255)
            axle_wire.append((h_avg, w_avg))

    img2 = Image.fromarray(np.uint8(dst))
    img2.save(out_path,"png")
    
    wire.append(axle_wire)
    wire.append(outcome_wire)
    
    return wire

实现效果如下如所示:

可见该段代码成功地标记出舌体的轮廓以及其“对称轴”~

3.2 利用一元函数拟合计算其对称轴斜率

import numpy as np 
import matplotlib.pyplot as plt
def Least_squares(axle_wire):
    """
    拟合中轴线函数,判断图片是否倾斜
    
    """
    a1, a2 = zip(*axle_wire)
    x = list(a1)
    y = list(a2)
    x_ = np.mean(x)
    y_ = np.mean(y)
    m = np.zeros(1)
    n = np.zeros(1)
    k = np.zeros(1)
    p = np.zeros(1)
    for i in np.arange(50):
        k = (x[i]-x_)* (y[i]-y_)
        m += k
        p = np.square( x[i]-x_ )
        n = n + p
    a = m/n
    b = y_ - a* x_
    if abs(a) > 0.2:
        print("图片过于倾斜!")
        return 0
    else:
        return 1


经过不断测试不影响后续判断的k的取值范围应是-0.2~0.2!

至此,舌体倾斜判断算法结束

以上是关于python计算机视觉~舌象图片中舌体倾斜判别的主要内容,如果未能解决你的问题,请参考以下文章

python-Unet计算机视觉~舌象舌头图片分割~机器学习

python-Unet计算机视觉~舌象舌头图片分割~机器学习

Android图片旋转,缩放,位移,倾斜,对称完整演示样例——imageView.setImageMatrix(matrix)和Matrix

计算机双目视觉视觉角匹配算法

Python计算机视觉:视频人脸马赛克

Python计算机视觉:视频人脸马赛克