接球小游戏玩腻了？换个姿式让PaddleX帮你吊打游戏系统
点击左上方蓝字关注咱们php
【飞桨开发者说】曹志浩，PPDE飞桨开发者技术专家，哈尔滨工业大学(深圳) 在读，研究方向为计算机视觉图像与视频处理。html
嘿，兄弟，下面这个小游戏熟悉吧。
python
（游戏截图）git
这个小游戏你是否是自打会走路开始就在玩了呢？可是不是也仍是会输给游戏系统得不到高分？不用怀疑本身手残，让咱们走进AI的世界，尝试使用飞桨PaddleX开发一款“莫得感情”的自动接球程序，实现一顿让朋友们目瞪口呆、让游戏系统"自我怀疑"的操做吧！github
项目效果
web
项目使用工具简介
算法
飞桨PaddleX是自动接球项目关键算法的生产工具。PaddleX是飞桨推出的全流程、低代码开发工具，集飞桨飞桨智能视觉领域图像分类、目标检测、语义分割、实例分割任务能力，将深度学习开发全流程从数据准备、模型训练与优化到多端部署端到端打通，并提供统一任务API接口及图形化开发界面Demo。开发者无需分别安装不一样套件，以低代码的形式便可快速完成飞桨全流程开发。api
PaddleX 还沉淀了质检、安防、巡检、遥感、零售、医疗等十多个行业实际经验，并提供丰富的案例实践教程，全程助力开发者产业实践落地。开发者能够依照案例教程来『按图索骥』，快速端到端的实现产业实际项目落地。浏览器
案例集详情请参考：微信
https://paddlex.readthedocs.io/zh_CN/develop/examples/index.html
项目开发过程介绍
本项目代码和文件已所有放在AI Studio，项目连接：
https://aistudio.baidu.com/aistudio/projectdetail/628547
01
安装PaddleX
pip install paddlex -i https://mirror.baidu.com/pypi/simple
02
准备训练数据集
数据集为做者本身录的一段游戏视频，对视频切帧后使用labelImg对每帧图像进行标注，获得训练所需的数据集。这里主要标注两种类别：board（接球的板子）和ball（球）。
（使用labelImg对图片进行标注）
根据官方文档定义的数据集格式：
https://paddlex.readthedocs.io/zh_CN/develop/data/format/detection.html
准备好train_list.txt、val_list.txt、labels.txt。批量生成train_list.txt、val_list.txt的代码：
import os
path1 = 'jpg/'
path2 = 'xml/'
# 获取dir
dir1 = os.listdir(path1)
f_train = open('train_list.txt', 'w')
f_val = open('val_list.txt', 'w')
for i in dir1:
if int(i.split('.')[0])%30 == 0:
f_val.write(path1+i.split('.')[0]+'.jpg '+path2+i.split('.')[0]+'.xml'+'\n')
else:
f_train.write(path1+i.split('.')[0]+'.jpg '+path2+i.split('.')[0]+'.xml'+'\n')
f_train.close()
f_val.close()
03
导入PaddleX并指定0号GPU卡
import os os.environ['CUDA_VISIBLE_DEVICES'] = '0' import paddlex as pdx
04
数据预处理
4.一、数据预处理和数据加强
在PaddleX中，transforms用于定义模型训练和验证过程当中，输入图像的处理流程。在训练过程当中，使用MixupImage、RandomDistort、RandomExpand等图像加强策略，使得模型的泛化能力更强。
PaddleX中transforms模块参考文档：
https://paddlex.readthedocs.io/zh_CN/develop/apis/transforms/det_transforms.html
from paddlex.det import transforms train_transforms = transforms.Compose([ transforms.MixupImage(mixup_epoch=250), transforms.RandomDistort(), transforms.RandomExpand(), transforms.RandomCrop(), transforms.Resize(target_size=608, interp='RANDOM'), transforms.RandomHorizontalFlip(), transforms.Normalize(), ]) eval_transforms = transforms.Compose([ transforms.Resize(target_size=608, interp='CUBIC'), transforms.Normalize(), ])
4.二、数据集的定义
PaddleX中数据集读取模块参考文档：
https://paddlex.readthedocs.io/zh_CN/develop/apis/datasets.html#
因为labelImg标注的数据采用VOC格式保存，所以咱们使用paddlex.datasets.VOCDetection接口加载数据集。
train_dataset=pdx.datasets.VOCDetection( data_dir='dataset', file_list='dataset/train_list.txt', label_list='dataset/labels.txt', transforms=train_transforms, shuffle=True) eval_dataset = pdx.datasets.VOCDetection( data_dir='dataset', file_list='dataset/val_list.txt', label_list='dataset/labels.txt', transforms=eval_transforms)
05
定义YOLOv3网络并开始炼丹
咱们使用效果更优的Darknet53做为YOLOv3的Backbone，设定训练过程当中的批大小为8，初始学习率为0.0001并采起warmup策略，学习率在第50轮，和90轮时进行衰减，一共训练100轮。
网络结构以下图：
（YOLOv3网络结构）
YOLOv3论文地址：
https://arxiv.org/abs/1804.02767
PaddleX中关于目标检测模型的参考文档：
https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html
num_classes=len(train_dataset.labels) model=pdx.det.YOLOv3(num_classes=num_classes, backbone='DarkNet53') model.train( num_epochs=100, train_dataset=train_dataset, train_batch_size=8, eval_dataset=eval_dataset, learning_rate=0.0001, warmup_steps=500, lr_decay_epochs=[50,90], save_interval_epochs=20, save_dir='output/yolov3_darknet53')
06
对模型进行测试
image_name = '0.jpg' result = model.predict(image_name) pdx.det.visualize(image_name,result, threshold=0.5, save_dir='PrePicture')
测试结果可视化以下：
07
对游戏进行控制
对截屏获得的游戏画面进行实时推理，预测出board（接球的板子）和ball（球）的位置后，经过python操控鼠标移动board，使得board和ball的中心点在同一条竖线上，这样就能保证board永远能接到ball了。
可视化说明以下：
控制代码：
if __name__ == '__main__':
# 定义参数
distance = 1 # 鼠标移动distance距离，能够调整
image_name = '0.jpg' # 截屏获得的图片
# 启动火狐浏览器
driver = selenium.webdriver.Firefox()
while True:
window_capture(image_name)
result = model.predict(image_name)
# 计算球的中心和板子的中心
center_x1 = result[0]['bbox'][0]+result[0]['bbox'][2]/2
center_y1 = result[0]['bbox'][1]+result[0]['bbox'][3]/2
center_x2 = result[1]['bbox'][0]+result[1]['bbox'][2]/2
center_y2 = result[1]['bbox'][1]+result[1]['bbox'][3]/2
# 实现控制
if(center_x1>center_x2):
driver.execute(Command.MOVE_TO,{'xoffset':distance,'yoffset':0})
else:
driver.execute(Command.MOVE_TO,{'xoffset':-distance,'yoffset':0})
项目小结
感谢飞桨平台提供丰富的深度学习资源，让AI替代我与朋友玩游戏的愿望得以实现。你们也能够尝试使用飞桨PaddleX实现更多好玩的游戏，例以下面这些：
期待你们更多更精彩的做品呦。
如在使用过程当中有问题，可加入PaddleX QQ交流群进行交流：1045148026。
若是以为PaddleX为你带来一些启发、真实好用的话，还请不要吝啬，给他点亮Star哦！
·飞桨PaddleX 项目地址·
GitHub:
https://github.com/PaddlePaddle/PaddleX
Gitee:
https://gitee.com/paddlepaddle/PaddleX
·PaddleX官方文档·
https://paddlex.readthedocs.io/zh_CN/develop/index.html
·PaddleX官网地址·
https://www.paddlepaddle.org.cn/paddle/paddlex
扫描二维码 ｜ 关注咱们
微信号 : PaddleOpenSource
END