第3组团队Git现场编程实战

1.组员职责分工

张逸杰：复制监督整个编程任务的进程以及协助组员编程
黄智锋、刘汪洋：负责UI设计
苏凯婷、鲍冰如：爬取数据并负责测评出福州最受欢迎的商圈
陈荣杰、杨锦镔：爬取数据并负责测评出福州人均消费50如下，50-100、100-200、200以上最佳（性价比最高）的前五家美食餐厅
王嵚、林家伟：爬取数据并负责测评出测评出福州最佳美食汇集地
吴智勇、黄彬煌：爬取数据并负责测评出福州服饰类综合评分最高的商圈

2.github提交日志

3.程序运行截图

测评出福州最受欢迎的商圈

测评出福州人均消费50如下，50-100、100-200、200以上最佳（性价比最高）的前五家美食餐厅

测评出福州最佳美食汇集地

测评出福州服饰类综合评分最高的商圈

4.程序运行环境

统一运用windows操做系统、python语言、pycharm程序编程。

5.GUI界面

6.基础功能实现

首先分别用爬虫对美团网的各个所需数据进行爬取。例如：要测出福州最受欢迎的商圈，就在美团网上搜索范围福州并进行筛选最后将数据爬取下来.而后再编写算法对数据进行筛选，最后作成图展现。

7.鼓励有想法且有用功能

测评出福州各个消费等级的休闲娱乐场所前五名

8.遇到的困难及解决方法

遇到的困难

杨锦镔：昨晚在晚上看了一下有关爬虫的知识，一看就会，一作就废，早上具体实现的时候却一直提取不出所想的信息。
黄智锋：困难:作UI的困难主要是选背景和排版上面，要选出符合主题的图片，而后还要根据要插入的内容合理修改图片
刘汪洋：我以为作UI找合适的图挺难的，其余的不是特别难，主要是烦，个人队友就深有体会。
苏凯婷：一开始在作的时候比较迷茫，不知道应该爬取那个网页比较合适，因此浪费了大量的时间，在纠结应该使用哪一个app对应的网页。致使浪费了一些时间，第二就是关于工具的安装，昨晚将大量的时间花费在对于爬虫的学习，只是看过去，并无亲自去尝试实践，然而今天好像没有用到不少很难的爬虫的操做，第三，最近对python的使用频率比较低，因此早上在写的时候卡卡的，很容易出现报错，而后心态就爆炸，总的来讲仍是挺糟糕的。
鲍冰如：首先是技术和知识方面，没有实现了解更多的爬虫知识，实战的时候一边担忧本身会拖后腿一边学习爬虫一边运用到这次的任务里，就很难，太难了，一开始不肯定商圈的定义，计划爬取美团和百度地图和高德地图对商圈的信息，but技术硬伤搞好久也没搞出来，心态很崩。
张逸杰：爬取数据的时候一直爬不到某个数据，搞得有些心烦，耽误了其余工做的进展。
陈荣杰：在用etree解码时，pycham报错，显示没有这个模块
王嵚：不会爬虫
黄彬煌：一开始浏览了关于福州有几个商圈的问题，获得的都是模糊的概念，没有具体定案。而后尝试在口碑，淘宝，美团几个网站寻找关于服饰类的商品，但愿能获得相似于商家发布地的筛选，而后再经过发布地反推归类到几个模糊的商圈地，最后再完成最佳服饰类商圈统计等操做。可是，找不到关于服饰类的分类。最后，经过对服饰类关键字的搜索，成功在美团上找到商品，更喜人的是，美团还有自带对商圈的划分。可是在用爬虫技术对网站进行操做时，由于对爬虫知识的不熟悉，几乎是遇到一个问题便解决一个，但最后卡在了python里的html模块的fromstring函数显示没有此函数。
吴智勇：1.口碑api彷佛是为了给加入商户使用的，不够友好。2.lxmlstring函数使用中遇到了困难3.对于同一界面的不一样选项，对于网页属性来讲彷佛没有任何改变
林家伟：1.在爬?取美团美食网页数据时，用python的lxml库一直没法定位到标签获取店铺连接2.讲爬取到的数据分类保存到本地t?xt文件，python读取文件数据出现许多格式问题

解决的方法

杨锦镔：问同窗，百度，勉强可以提取出部分信息。
黄智锋：网上阅览图片，找出清晰度较高且符合主题的图片，修改图片主要是利用ps反复配色，寻找最适合的修改方案。
刘汪洋：互相讨论商量，找到都以为好的共识。
苏凯婷：工具在一开始就进行了及时安装，队友很快告诉我能够经过直接在美团上搜索商圈得到信息，对于程序出现的报错以及暂时性的语法的遗忘，经过查看本身第一次编程的做业获得了很好的解决。
鲍冰如：后来以为百度地图的商圈信息比较符合要求，而后开始疯狂尝试爬取，kt是个人救星，坐在我旁边，给我分享她搜索到的有用的网站，还会给我解释一些技术问题，在必定程度上解决了个人技术方面的问题，虽然最后仍是没搞出来，可是kt完成了，不要脸地说一句Kt完成了就是咱们完成了。
张逸杰：最终仍是百度了报错而后修改为功，改用正则匹配的形式爬取。
陈荣杰：lxml版本下错了了，更新一下就好
王嵚：上网百度
黄彬煌：只能另寻其余方法模板去爬取网站上的信息。
吴智勇：没解决
林家伟：1.因为实在找不到缘由，因此放弃使用lxml，利用正则表达式提取所需数据2.利用eval()，split?()，强制转换等方式，在提取数据后，对数据进行字符串，字典，列表的转换

马后炮

杨锦镔：若是之前的空闲时间能拿来学习，那么今天我必定能作出来。
黄智锋：若是这蛇皮机房电脑网速不那么慢那么卡，那么这背景图也不会那么丑
刘汪洋：若是我会爬虫，那么可能能给他们帮上点忙。
苏凯婷：若是没有那么菜那么就不会这么惨了
鲍冰如：若是没有kt,那么我会更菜
张逸杰：若是个人组织和领导能力再强一点，编码能力再强一点，咱们组必定可以作完，没作完很惋惜。
陈荣杰：若是我会爬虫，那么我就能按时完成
王嵚：若是我前一天晚上好好准备一下 今天也就至于这么废物
黄彬煌：若是很早的时候就掌握了爬虫，那么就没那么多事了
吴智勇：若是团队协做交流能更加紧密，那么过程因该会更加顺利
林家伟：若是我能再强一点，就可以带zyj飞

评估每位组员贡献比例

组员名字	张逸杰	黄彬煌	吴智勇	苏凯婷	鲍冰如	黄智锋	陈荣杰	杨锦镔	王嵚	林家伟	刘汪洋
贡献比例	12	10	8	10	10	10	8	8	7	9	8

psp表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	10	20
Estimate	估计这个任务须要多少时间	5	5
Development	开发	10	10
Analysis	需求分析 (包括学习新技术)	60	50
Design Spec	生成设计文档	0	0
Design Review	设计复审	0	0
Coding Standard	代码规范 (为目前的开发制定合适的规范)	10	10
Design	具体设计	10	15
Coding	具体编码	60	140
Code Review	代码复审	10	10
Test	测试（自我测试，修改代码，提交修改）	30	20
Reporting	报告	0	0
Test Repor	测试报告	0	0
Size Measurement	计算工做量	0	0
Postmortem & Process Improvement Plan	过后总结, 并提出过程改进计划	10	10
	合计	215	300

学习进度表

第N周	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时（小时）	重要成长
9	100	1800	20	100	学会了一些简单的爬虫知识