一种用于斑马线型人行横道检测的盲人辅助眼镜.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108764150A(43)申请公布日2018.11.06(21)申请号201810534763.2(22)申请日2018.05.29(71)申请人杭州视氪科技有限公司地址310000浙江省杭州市余杭区五常街道五常大道181号9幢202-7(72)发明人程瑞琦杨恺伦汪凯巍于红雷(74)专利代理机构杭州求是专利事务所有限公司33200代理人黄欢娣邱启旺(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)A61H3/06(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种用于斑马线型人行横道检测的盲人辅助眼镜(57)摘要本发明公开了一种斑马线型人行横道检测的盲人辅助眼镜。利用相机采集图像，利用小型处理器对采集的图像进行处理，输出斑马线型人行横道的距离和方向。该方法能够检测白天、黑夜等不同光照条件下的斑马线型人行横道，该方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足视障人士过马路、无人车导航等应用场景的要求。CN108764150ACN108764150A权利要求书1/2页1.一种斑马线型人行横道检测的盲人辅助眼镜，其特征在于，包括眼镜本体，嵌入式安装在其中一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个相机，以及设置在镜腿尾部的耳机；所述小型处理器中存储有包含有一个训练好的神经网络；相机、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，相机实时地采集周围场景的彩色图像，小型处理器对获取的彩色图像进行处理，识别斑马线型人行横道信息，并将结果转化为声音信号，并传给耳机，告知用户。所述的神经网络通过以下方法训练得到：(2.1)彩色相机采集包含斑马线型人行横道的彩色图像Color。(2.2)将Color转为灰度图像，标记能够使得斑马线条带和背景分离的二值化阈值。(2.3)按照步骤(2.2)的方法标记m张(m>20)Color图像，将图像下采样到9*9大小，并将下采样的图像输入到三层前馈神经的网络(从输入层到输出层的网络层数依次分别为81、24、11)中进行训练；11个输出节点表示的二值化阈值分别是30、80、110、130、140、150、160、170、180、195、215。2.根据权利要求1所述的盲人辅助眼镜，其特征在于，检测方法包括如下步骤：(1)采集彩色图像Color，Color面积大小为W×H＝area，W为Color的水平方向像素数，H为Color的竖直方向像素数。(2)将Color转换为灰度图像。将灰度图像或其下采样图像输入神经网络，将神经网络的输出层中数值最大值的节点所对应的阈值t作为二值化阈值，对灰度图像或其下采样图像进行阈值分割，提取灰度图像中灰度值大于t的合格像素。(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，并提取该最小矩形区域的长边与Color竖直边的夹角b；进一步对候选区域经过候选区域面积a，夹角b和凹凸性的筛选(若其重心在区域的边界之外，则判定为凹图形，否则判定为凸图形)，筛选出a1<a<a2、0<b<b2、且为凸图形的候选区域作为合格候选区域，其中，a1、a2分别为合格候选区域面积的下限和上限，b2为合格候选区域夹角b的上限；由合格候选区域构成候选集合C。(5)选取C中不相同的任意两个初始合格候选区域i和j，再从C中选择除i和j以外、但与i、j相近的合格候选区域k，由i、j和一个或多个相近的合格候选区域k组成一致集合Sij；所述相近的合格候选区域的选择标准如下：①相近的合格候选区域的k的重心与合格候选区域i、j重心的连线距离均小于t1,②相近的合格候选区域的k的最小矩形区域长边与i或j的最小矩形区域长边夹角大于t2,③i、j重心连线与相近的合格候选区域k的最小区域矩形的两条相对的边相交；其中t1为相近的合格候选区域与初始合格候选区域的距离上限，t2为相近的合格候选区域与初始候选区域的夹角上限；(6)对一致集合Sij中的每个合格候选区域，计算其灰度平均值作为该区域的灰度值，记为v，及其最小矩形区域的长边与Color竖直边的夹角，记为g；计算Sij中所有候选区域的v的平均值m1、所有候选区域的g的平均值m2，剔除Sij中偏离的合格候选区域，所述偏离的合格候选区域为|v-m1|>t3且|g-m2|>t4,其中t3是判断为偏离区域的灰度阈值，t4是判断为偏离区域的夹角阈值。(7)在C中选取遍历所有的i和j组合，重复步骤(5)；对得到的每个一致集合Sij，计算集2CN108764150A权利要求书2/2页合内的标准差值D，选择D值最小的