姿态估计是什么？让机器看懂人的动作

姿态估计（Pose Estimation）是从图像或视频中找出人体或物体关键点、推断其姿态的技术。以人体姿态估计为例，它要定位头、肩、肘、腕、髋、膝、踝等关键点的位置，再把它们按骨架连接起来，得到一个“火柴人”式的骨架图。有了这个骨架，机器就能知道一个人是站着、坐着、举手还是摔倒了。姿态估计也可以用于动物、手部、面部，甚至机械臂和物体的六自由度姿态。

传统方法的难点

早期方法依赖人工设计的特征、模板匹配和人体的几何模型，把身体看成由多个部件组成的结构，逐个寻找。但人的姿态千变万化，衣服宽松、身体被遮挡、背景复杂、多人重叠时，这些方法很容易出错。

深度学习的起点

2014 年，谷歌的 Alexander Toshev 和 Christian Szegedy 提出了 DeepPose，首次用深度神经网络做人体姿态估计。它把姿态估计当成一个回归问题：网络直接输出各个关节的坐标。为了提高精度，它采用级联的结构，后一个网络在前一个预测的基础上，对局部区域放大细看、修正位置。这种从整体出发理解姿态的方法，在多个学术基准上取得了当时最好的成绩。

之后的方法改用热力图：为每个关键点预测一张概率图，热度最高的位置就是关键点，精度更高。处理多人场景时，有两种思路：自顶向下，先检测出每个人，再分别估计姿态；自底向上，先找出画面里所有的关键点，再把它们分配给不同的人，OpenPose 就是后者的代表。如今的模型已能在手机上实时运行，并能从单目视频估计三维姿态。

应用

健身和体育训练中纠正动作；动画和游戏中的低成本动作捕捉；老人看护中的跌倒检测；体感游戏和手势交互；康复医疗的动作评估；视频生成中用骨架控制人物的动作。在这些场景中使用时，要注意保护被拍摄者的隐私。