历经两个多星期的实验做业终于完成了,在此记录一下本身的学习过程以及学习心得。python
说实话,对于python初学者来讲,入门其实挺简单的,固然前期也会遇到不少的问题,好比‘idle中调用anaconda中的库’、自定义模块建立、以及相关的库的学习等等。固然,时间证实一切,坚持就是胜利,克服枯燥终究会挺过去的,哈哈哈哈!json
首先,这次网络爬虫选取的网站是哔哩哔哩官网(在此以前的一次爬虫实例:网络游戏排名爬虫),主要爬取内容是全站的视频信息,将其整合到图形用户界面(GUI),而且以雷达图的形式直观的展现其各方面的数据信息。网络
主要模块:框架
自定义框架爬虫ide
雷达图可视化分析工具
GUI简单呈现学习
开发环境:python3.7开发工具
开发工具:IDLE 或 pycharm网站
构建框架:(如下为这次程序的总体框架),代码很少,做为学习则以面向对象的思路构建此框架。spa
文件目录:
目录介绍:
爬虫模块:SpiderManager.py、JsonParse.py、UrlFactory.py、WebDownloader.py
GUI模块:BiliTkinter.py
数据可视化模块:AnalyseA.py
文件:href.json、image
href.json文件内容:
以{
“av号”:[
“标题”,
“分类”
}
的形式做为实时爬取的API(搜索API)
雷达图:
GUI界面:
never give up!