基于视觉的手势识别及其在机械臂控制系统中的应用开题报告

1. 研究目的与意义（文献综述包含参考文献）

文 献 综 述1 、研究背景和意义随着计算机技术的发展，人机交互技术应用越来越广泛[1-4]。

传统的的人机交互方式主要以鼠标，键盘为主，手势识别[5-7]因其具有的自然、直接、有效的交互特点，越来越受到研究人员的关注，在某些领域逐渐取代鼠标，键盘等传统人机交互方式。

传统手势识别主要是模拟数字图像处理，需要借助配置有特殊传感器的手套来获取手势信息，该种方式，不仅成本高，而且识别手势数量和准确度都比较低。

2. 研究的基本内容、问题解决措施及方案

一、本课题主要研究如下内容：本课题基于机器视觉，聚焦手势识别，利用摄像头获取图像信息，基于opencv，深度学习实现手势分割，手势检测，手势追踪，手势识别，以舵机控制的机械臂模块作为响应终端，借助手势变化来控制机械臂。

具体步骤如下：（1）通过intel-d435摄像头获取手势图像（2）通过人体肤色检测获取手部区域（3）通过图像分割获取感兴趣区域，缩小识别区域，提高识别准确率（4）通过核化相关滤波器进行手势跟踪（5）通过训练好的神经网络模型识别手势（6）将手势信息转化为舵机控制信息，通过串口通信传递给机械臂，进而控制机械臂进行运动二、拟采用的研究手段（途径）如下：主要步骤如下：（1）选取摄像头：好的实验工具可以达到事半功倍的效果，本次实验采用intel-d435摄像头，该摄像头为双目摄像头，除了可以获取2d信息外，还可以获取3d信息，并且api功能齐全，十分适合实验研究。

（2）准备数据集：为了获得神经网络模型，需要大量的手势图像进行模型训练，通过摄像头获取手势图像，并为每一个图像做好标注。