团队任务 | 预估时间 | 实际时间 | 完成日期 |
---|---|---|---|
新增其余学院的爬虫 | 180 | 130 | 11.30 |
新增其余学院的数据库字段修改 | 180 | 160 | 12.1 |
新增其余学院的数据库部署到es | 180 | —— | —— |
前端和新增学院数据的交互 | 300 | —— | —— |
实现网站的定时爬取以及es的自动同步(绝对路径版) | 200 | 180 | 11.30 |
实现网站的定时爬取以及es的自动同步(相对路径版) | 60 | 120 | 12.1 |
主界面设置最新通知播报栏样式 | 300 | —— | —— |
将项目部署到服务器 | 200 | —— | —— |
扩大使用范围至移动端 | 100 | —— | —— |
前端界面的美化 | 100 | —— | —— |
需求说明书的调整 | 60 | —— | —— |
搜索引擎测试 | 80 | —— | —— |
用户使用调查 | 100 | —— | —— |
Beta阶段发布说明 | 200 | —— | —— |
成员 | 任务安排 | 预期任务量/小时 |
---|---|---|
秦玉(组长) | 修改计算机工程学院字段内容并同步到es、编写博客园 | 180 |
陈晓菲 | 修改计算机工程学院字段内容并同步到es、编写博客园 | 180 |
韩烨 | 新增其余学院的数据库字段修改 | 180 |
姚雯婷 | 新增其余学院的数据库字段修改 | 180 |
罗佳 | 实现网站的定时爬取以及es的自动同步(相对路径版) | 180 |
高天 | 申请服务器的域名 | 180 |
新增的轮机工程学院的搜索引擎,在后端同步mysql到es上之后,在前端上的页面上还须要新增轮机工程学院的搜索选项,可是不了解前端向es传递参数时怎么分别判断读取哪个索引。javascript
在申请域名时十分的艰难,手续极其复杂,首先要购买支付云空间,而且上传我的信息,上传以后腾讯在四个工做日内完成审核,审核经过后相关信息材料由腾讯提交到管局,管局须要二十个工做日进行审核。html
参考百度的抖索引擎后发现,它能够在输入关键字以后直接回车进行搜索,而咱们的抖索引擎还没办法这样,只能点击鼠标才能够。考虑到从键盘进行输入后,直接按回车比较方便,因此咱们在html里加入了这一段代码,就实现了回车搜索。前端
<script type="text/javascript" language="javascript"> document.onkeydown =cdk; function cdk(){ if(event.keyCode==13) add_search() } </script>
由于新增了文章建立时间的字段,因此须要新爬取网页中的建立时间数据。但因为轮机工程学院的文章网页中建立时间只包括年月日,而计算机的精确到了时分秒,因此为了统一格式,须要对轮机工程学院爬取到的建立时间数据进行处理。
经过正则表达式将建立时间数据按年月日进行分割,分别赋值给三个相应变量,使用datetime.datetime()函数将三个变量串起来,再使用strftime(SQL_DATETIME_FORMAT)函数定义其格式。java
因以前提到使用批处理文件自动处理,在冲刺一时已经实现了,可是因为是绝对路径,不具备特别好的可移植性,因此在本次冲刺中特地将实现网站的定时爬取以及es的自动同步的bat文件升级为相对路径版本,具备良好的可移植性,只须要将整个项目打包过去,在其余电脑上就能够一键爬取网站并部署到es,直到最后的网页自动弹开。mysql
https://www.leangoo.com/kanban/board/go/2565273正则表达式