日志中心收集网站访问数据内容linux
基于nginx记录用户cookie的行为,进行分析 nginx
1、用户cookie。mongodb
须要建立3个cookie文件_gtra、_gtrb、_gtrc,其中_gtra用来追踪用户,_gtrb和_gtrc联合来标记一次会话。浏览器
_gtra的过时时间为2年,内容为:域哈希.uid.第一次访问的时间.访问次数。 cookie
域哈希session |
域名的哈希值,每一个站点惟一dom |
uid网站 |
访客的惟一idui |
第一次访问的时间url |
访客第一次访问该站点的时间戳 |
访问次数 |
访客访问站点的次数 |
_gtrb的过时时间为30分钟,内容为:sessionid.当前页面访问时间.访问编号。
sessionid |
会话的惟一id |
当前页面访问时间 |
当前页面访问的开始时间戳 |
访问编号 |
访问的第一个页面为1,第二个为2..... |
_gtrc的过时时间为访客离开网站时,内容为:sessionid。
2、送到nginx的数据:
IP |
经过nginx变量$remote_addr得到 |
domain |
js脚本收集 |
url |
js脚本收集 |
referrer |
来源url,js脚本收集 |
http_user_agent |
经过nginx变量$http_user_agent |
gtra |
cookie文件_gtra的内容 |
gtrb |
cookie文件_gtrb的内容 |
gtrc |
cookie文件_gtrc的内容 |
3、能够统计包括如下数据:
一、访问人数(包括整站的和单个页面的,一个用户为一次访问)。
二、访问次数(包括整站的和单个页面,一个session为一次访问)。
三、pv。
四、页面停留时间。
五、网站停留时间。
六、平均访问页数。
七、跳出率和跳出页面。
八、用户的访问路径。
九、基于某个特定url的统计(如统计搜索关键字和产品详情的浏览)。
4、统计方法说明:
一、访问人数的统计。经过cookie文件_gtra的“uid”数量可统计访问人数。
二、访问次数的统计。经过“sessionid”数量能够统计访问次数。
三、pv的统计。经过记录的数量能够统计pv,一条记录为一个pv。
四、页面停留时间的统计。具备一样“sessionid”的数据为同一次会话里产生的访问,经过cookie文件_gtrb的“访问编号”能够肯定用户一次会话里的访问顺序,经过后一个页面的访问时间减去前一个页面的访问时间,可获得前一个页面的停留时间。因为用户离开页面的停留时间没法计算,故统计页面平均停留时间时剔除离开页面。
五、网站停留时间。由每次会话里总的页面停留时间相加而后平均得出,因为已经剔除离开页面的停留时间,统计所得的时间会比实际停留时间略短。
六、平均访问页数的统计。经过汇总每次会话的访问页数而后平均后得出。
七、跳出率和跳出页面的统计。查找只访问了一个页面的会话可得出跳出页面;跳出率则经过“只访问一个页面的会话/全部会话” 得出。
八、用户的访问路径统计。具备相同“sessionid”的数据,按“访问编号”的顺序则为访问页面的顺序,即用户的访问路径。
九、 基于某个特定url的统计(如统计搜索关键字和产品详情的浏览)。只需分析记录的“url”以及参数便可。
备注:经过cookie文件_gtrb和_gtrc联合标记一次会话。js数据收集脚本会首先检查这两个文件,若是缺乏任意一个文件,标记为一个新的会话开始,而后从新生成这两个cookie文件并写入内容;若是_gtrb和_gtrc都存在,说明已是在一个会话中。
5、保存到MongoDB的数据格式:
ip |
IP地址 |
userid |
用户id |
firstVisitTime |
第一次访问时间 |
visitCount |
访问次数(第几回访问) |
browser |
使用的浏览器名称 |
os |
使用的操做系统名称 |
sessionid |
访问会话的id |
domain |
访问的域名 |
url |
网页地址 |
referrer |
当前访问的来源地址 |
startTime |
访问的开始时间 |
visitNum |
访问编号 |
mongodb数据格式以下:
{
"_id":ObjectId("52b13e1d7f8b9a4f518b456f"),
"ip":"10.10.10.105",
"userid":"9EEBCF42-2DC7-4AD9-9CCF-AAA7248B0AF2",
"firstVisitTime":"2013-12-18 01:39:21",
"visitCount":1,
"browser":"Firefox/24.0",
"os":"Linux x86_64",
"sessionid":"83fc9094d1ca40df8660cac218501197",
"domain":"www.csc86.com",
"url":"http://www.csc86.com/",
"referrer":"",
"startTime":"2013-12-18 01:39:21:234",
"visitnum":1
}