跟着技能的开展，研制人员越来越期望寻觅一些不同的人机交互方法，其间实时手部姿势估量便是科学家们要点重视的研讨方向之一 。简略的说，手部姿势估量是让核算机理解人体肢体言语的一种手法。经过该技能，人机交互不再限于文字接口或许鼠标键盘操控的用户图画界面。
近来，
快手
上线了手部姿势估量功用，成为职业首家。这个功用让普通人动动手，就可以完成酷炫的特效。用户只需依照阐明做出相应的手势，就可以被加上各种有意思的特效。用户在运用这款产品拍照时，算法会自动辨认出手型类别，并估量手部要害点方位。依据要害点方位和手型类别，可以发生不同的特效作用或许跟画面内容进行人机交互。用户既可以经过手型触发相应的特效作用，也可以完成指节级精准操控。
揭秘手势辨认，快手处理了哪些问题？
手势辨认技能由快手 2016 年组成的 Y-Lab 团队手势研制小组研制。这一年，为了研制出更多能给用户带来别致体会的新技能，快手组成了一支由高学历研制人员组成的部队，研讨范畴触及人工智能、机器学习、核算机视觉、核算机图形学和增强实际 等。2018 年，为了让技能能更好的和产品结合，快手将 Y-Lab 更名为Y-tech。
据 Y-tech 手势研制组负责人介绍，手势辨认技能是指检测图片或视频中的人手，并猜测检出人手的手型以及要害点方位的技能。
常见的手势辨认技能包含：手型辨认、二维手部姿势估量和三维手部姿势估量。从手型辨认到三维手部姿势估量，需求辨认的信息越来越多，研制困难指数级添加。在上面演示的功用里，就包含了：人手检测、手型辨认和二维手部姿势估量。
现在手型辨认在业界已比较老练，而二维手部姿势估量现在还不是很老练，据介绍，快手应该是业界首家在移动端上运用该技能的公司。而三维手部姿势估量技能难度较大，现在只能经过特别的硬件，比方双目和深度摄像头才干完成。
研制手势辨认过程中，Y-tech 团队积累了许多技能和处理方案，包含算法战略、网络结构规划、模型优化和底层加快等，这些经历也完全可以复用到其他场景中。
比较于现在人工智能范畴落地比较广泛的人脸辨认，手势辨认技能存在着一些技能难点，Y-tech 手势研制负责人表明：“手部的自由度很高，自遮挡严峻，特征不明显，相对人脸会更难一些。”
以快手为例，现在这一功用可一起检测多手，支撑多达17种手型辨认，并可以辨认 21 个手部二维要害点。为了完成这些功用，研制团队克服了不少难题：
- 人手在相机中的占比较小，高效的进行小方针检测现在在业界是很难的问题；
- 人手自遮挡严峻、关节活动自由度高；
- 用户手机只要单目图画，需纯靠视觉算法完成；
- 用户手机摄像头拍照质量不同，用户在摆相同手型时方法多样。
该负责人表明，团队先是改进了检测算法的结构，提高了小方针的检测才能，而且依据人手的特色，交融先验常识，下降问题复杂度，达到了提高猜测作用。
因为不同用户手机的运算才能是不同的，而同一款软件要想被更多用户运用，就要统筹各种机型的状况，快手AI实验室经过两方面处理了这一难题：
一、在算法层面，研制人员规划了高效的神经网络结构，而且在不同的机型上采用了不同算法战略；
二、在工程完成上，经过快手自研的 YCNN 对不同手机的硬件架构做了高度的适配和功用优化，可以运用 CPU、GPU、NPU、DSP 等多种运转形式，处理了AI技能运转受限于用户设备核算量的问题。
下一步：未来将测验三维手部重建
关于快手来说，在手机运用中添加手势辨认功用是一项测验，功用上肯定是有不少需求完善的当地，研制团队告知咱们，现在该产品算法对运动含糊和手部堆叠的处理还不完善，是接下来需求要点处理的问题，而且未来团队会测验在端上进行三维手部重建，为更准确的动作辨认和交互做技能储备。除了在短视频范畴有所运用，在游戏、增强实际、直播、教育等范畴运用手势辨认技能也将成为一种趋势，相同也是快手探究的方向。
手势辨认技能开展至今，已经有不少企业在不同的范畴进行过测验，未来手势辨认的运用场景也是非常宽广的，除了小手辨认和运动含糊等传统问题之外，怎么结合端上双目摄像头和深度摄像头信息提高手势辨认作用也将是职业要点重视的问题。