项目介绍:柜式结算台检测识别系统采用深度学习算法进行商品的检测与识别,其运行环境为PC端linux系统。该系统采用双算法进行目标检测与分类,检测算法采用Faster RCNN,采用vgg16进行商品分类。其sku的数量根据不同的应用场景从几十到几百不等。
项目环境:linux+docker+tensorflow 语言:python
项目职责:1、商品图片的采集、预处理、标注。采用语义分割模型DeepLabResNet对采集的原始图片进行语义分割得到分割的商品图像,采用opencv的算法实现多种商品(分割好的商品图像)的组合及背景替换从而合成训练 图像样本,同时产生相对应的商品位置和类别标签信息;
2、优化目标检测和分类算法;调整目标检测算法fasterRcnn中anchor的尺寸来更好地对画面占比很小的商品和长宽比例 较大的商品进行回归,提高识别效果;调整学习率并加入困难训练样本进行模型微调训练,提高分类准确率。
3、在docker与anaconda环境下搭建主流的深度学习环境,训练与维护商品检测识别模型,并进行本地部署;
4、负责特定门店(广州COMMA精品生活超市的烘焙区,公司自营便利店,绿叶居烘焙店等)的视觉结算台上新商品时的 数据采集,目标检测和分类数据处理,输出目标检测模型和分类模型。
5、撰写 map代码用于统计目标检测的准确度。
项目业绩:1:在商品识别中,验证集中的map(iou=0.5)能达到97%;分类的准确率能达到98.2%;
2:该结算平台被广泛的应用于便利店、书店、烘焙等。