谷歌新引擎可将深度学习提速 1000 倍：1 个 GPU 几分钟搞定强化学习训练

图片地址：https://img.ithome.com/newsuploadfiles/2021/7/3100bb0e-b712-4420-a4a1-9cad4bf24258.gif

7 月 22 日消息，机器人要如何完成这样一个动作？我们一般会基于强化学习，在仿真环境中进行模拟训练。这时，如果在一台机器的 CPU 环境下进行模拟训练，那么需要几个小时到几天。但现在，只需一个 TPU/GPU，就能和数千个 CPU 或 GPU 的计算集群的速度一样快，直接将所需时间缩短到几分钟，相当于将强化学习的速度提升了 1000 倍！这就是来自谷歌的科学家们开发的物理模拟引擎 Brax。三种策略避免逻辑分支现在大多数的物理模拟引擎都是怎么设计的呢？将重力、电机驱动、关节约束、物体碰撞等任务都整合在一个模拟器中，并行地进行多个模拟，以此来逼近现实中的运动系统。▲ 对于每个模拟时间步长，力和力矩被整合在一起这种情况下，每个模拟器中的计算都不相同，且数据必须在数据中心内通过网络传输。这种并行布局也就导致了较高的延迟时间 —— 即学习者可能需要超过 10000 纳秒的等待时间，才能从模拟器中获得经验。那么怎样才能缩短这种延迟时间呢