大规模视频手势识别

大规模视频手势识别

3D动作识别样例

功能：使用3DCNN模型对数据进行分类推理。
样例输入：使用video2bin脚本将视频文件转为数据文件。
样例输出：10个动作的置信度。

前置条件

请检查以下条件要求是否满足，如不满足请按照备注进行相应处理。如果CANN版本升级，请同步检查第三方依赖是否需要重新安装（5.0.4及以上版本第三方依赖和5.0.4以下版本有差异，需要重新安装）。

样例准备

1. 获取源码包。

   可以使用以下两种方式下载，请选择其中一种进行源码准备。

   • 命令行方式下载（下载时间较长，但步骤简单）。

     # 开发环境，非root用户命令行中执行以下命令下载源码仓。    
     cd ${HOME}     
     git clone https://gitee.com/ascend/samples.git

      
     注：如果需要切换到其它tag版本，以v0.5.0为例，可执行以下命令。

     git checkout v0.5.0

      
   • 压缩包方式下载（下载时间较短，但步骤稍微复杂）。
     注：如果需要下载其它版本代码，请先请根据前置条件说明进行samples仓分支切换。

      # 1. samples仓右上角选择 【克隆/下载】 下拉框并选择 【下载ZIP】。    
      # 2. 将ZIP包上传到开发环境中的普通用户家目录中，【例如：${HOME}/ascend-samples-master.zip】。     
      # 3. 开发环境中，执行以下命令，解压zip包。     
      cd ${HOME}    
      unzip ascend-samples-master.zip

      

2. 获取此应用中所需要的原始网络模型。

   模型名称	模型说明	模型下载路径
   3DCNN	3D动作识别模型。是基于tensorflow的3DCNN模型。	请参考https://gitee.com/ascend /ModelZoo-TensorFlow/tree/master /TensorFlow/contrib/cv/3dcnn /ATC_3DCNN_tensorflow_AE目录中README.md 下载原始模型章节下载模型和权重文件。

   # 为了方便下载，在这里直接给出原始模型下载及模型转换命令,可以直接拷贝执行。也可以参照上表在modelzoo中下载并手工转换，以了解更多细节。     
   cd ${HOME}/samples/python/contrib/3Dgesture_recognition/model    
   wget https://modelzoo-train-atc.obs.cn-north-4.myhuaweicloud.com/003_Atc_Models/AE/ATC%20Model/3D_gesture_recognition/3d_gesture_recognition.pb
   atc --model=3d_gesture_recognition.pb --framework=3 --output=3d_gesture_recognition --soc_version=Ascend310 --input_shape="X:1,16,112,112,3" --input_format=NDHWC

    

3. 获取样例需要的测试图片。

   执行以下命令，进入样例的data文件夹中，下载对应的测试图片。
   cd $HOME/samples/python/contrib/3Dgesture_recognition/data
   wget https://modelzoo-train-atc.obs.cn-north-4.myhuaweicloud.com/003_Atc_Models/AE/ATC%20Model/3D_gesture_recognition/testdata/test_float32_actiontype7.bin
   cd ../src

    

样例运行

注：开发环境与运行环境合一部署，请跳过步骤1，直接执行步骤2即可。

1. 执行以下命令,将开发环境的 3Dgesture_recognition 目录上传到运行环境中，例如 /home/HwHiAiUser，并以HwHiAiUser（运行用户）登录运行环境（Host）。

   # 【xxx.xxx.xxx.xxx】为运行环境ip，200DK在USB连接时一般为192.168.1.2，300（ai1s）为对应的公网ip。
   scp -r $HOME/samples/python/contrib/3Dgesture_recognition HwHiAiUser@xxx.xxx.xxx.xxx:/home/HwHiAiUser
   ssh HwHiAiUser@xxx.xxx.xxx.xxx
   cd ${HOME}/3Dgesture_recognition/src    

    

2. 运行样例。

   python3.6 3Dgesture_recognition.py ../data/

    

查看结果

运行完成后，会在屏幕上打印10个动作的置信度。

常见错误

请参考常见问题定位对遇到的错误进行排查。如果wiki中不包含，请在samples仓提issue反馈。