疫情期间的旅行方式，谷歌街景创意玩法，全新体验来袭｜MIXLAB 人工智能

因为本次新冠疫情的大流行，世界各地的人都被迫宅在了家中，如今最常去的也就是杂货店或者超市吧，不能旅行，没有派对，但这些限制也是阻挡不了派对文化盛行的国外友人的，他们利用现有的AI技术，将Google的街景玩出朵花来了。

Virtual Walks 

是一个使用 Pose Estimation 模型和LSTM神经网络一块儿在Google Street View 中模拟步行的项目。对于姿式估计，已修改了 PoseNet 模型，而对于动做检测部分，使用 TensorFlow 2.0 开发了 LSTM 模型。

该项目可以借助 Google Street View 模拟世界各地的街道。Tensorflow 2.0，Selenium 和 Python 3.7是该项目中使用的主要技术。

它是如何工做的呢？

PoseNet 已与 LSTM 模型结合在一块儿，能够推断出该人正在执行的动做。一旦检测到动做，就将其粘贴到控制器：与Google街景互动的部分。

1 将打开 Selenium Firefox 窗口。

2 该系统使用网络摄像头拍摄要进行步行的四个主要动做之一的人的照片：

• 站
• 步行
• 右转
• 转左

3 对于每张拍摄的照片，PoseNet用于推断图像中关节的位置。

4 从必须知足对所检测到的关节的置信度的某些考虑因素的帧开始，每组5帧。缺乏联合推断是在第一帧后面的帧中进行的。

5 每组帧都传递到带有FF神经网络的LSTM模型，并预测动做。

6 预测的动做将传递给Selenium控制器，并在打开的 Firefox 窗口中将其变为现实

本文采用的模型是LSTM，由于咱们认为它在方法上是正确的，而且是精度最高的模型。固然还有其余模型可代替LSTM，在5帧组中的各个帧之间计算关节速度，并将其与关节位置一块儿传递给PCA和FF神经网络以预测动做。

因为动做预测（取决于主机的规格）可能比平均步行速度快得多，所以动做只能每 0.5秒执行一次，此参数是可定制的。

安装及使用，请查看:

https://github.com/Moving-AI/virtual-walk

-END-

转发任一MixLab 的文章到朋友圈

让更多人了解无界社区

加小编好友

加入AR/VR社群

本文分享自微信公众号 - 无界社区mixlab（mix-lab）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。