相信坚持的力量！Elastic 日报 1000期+ 了......

一、什么是 Elastic 日报？
Elastic 日报是由魏彬老师（中国首位 Elastic 认证工程师）发起的，对标参考的是湾区日报。

发布周期：天天推送 3 篇+ Elastic stack 相关文章。
发布地址：Elasticsearch 中文社区网站：elasticsearch.cn，并支持邮件推送。
核心使命：专一 Elastic Stack 技术栈，天天精选推送3篇优质文章，助力你我天天精进一点点。
第 1 期日报的发布日期为：2017-07-30日，除节假日外，周末无休，到今天已坚持了近3年。

二、Elastic 日报编辑
几乎都是来自一线互联网公司的 Elastic Stack技术栈的实践者、爱好者。

共10几位编辑，天天一位轮值（共7位），一位负责审稿，其余替补辅助。

三、Elastic 日报文章怎么选择？
积累的境内外优秀博客资源库文章筛选，如：Elasticsearch 官方博客

平时工做实战中发现的优秀博文或者精彩问答

国内外资源库的检索 包含但不限于：google，stackoverflow，discuss.elastic.co，github，twitter, facebook, 微信搜索，微博搜索，知乎，简书等

平时关注的 Elasticsearch 相关公众号的推文

朋友圈、看一看等发现的好友推荐的文章

等等等等

总之，各位编辑不会放过全球任何一篇 Elastic Stack 优秀文章。

四、Elastic 日报 是 Elastic stack 技术圈子 最牛逼的文章汇集地，没有之一！
如题，不解释。

五、1000 期日报可视化统计分析
5.1 实现步骤拆解
爬虫确立数据源

Elastic 日报是分散到Elastic 中文社区的，时间跨度3年+，能够逐个翻看，但要仅针对全量的日报文章检索，是不支持的。

数据清洗

（1）各位编辑的风格有不一致的地方，须要清洗一致。

（2）为实现数据的多维分析，日报数据作必要的字段扩充。

数据建模（Mapping定义）

结合可视化分析呈现，准确敲定字段类型。

数据可视化分析 多种分析维度展现日报数据。

从采集到最后可视化的全过程推荐阅读：实战 | ELK实现全量Elastic日报（2017-2019）多维度可视化分析。

本文是基于去年思路作了扩展，细节再也不重复赘述。

5.2 可视化分析结果
5.2.1 全维度展现

5.2.2 总量统计
1000篇 日报，共 2707 篇文章（过滤掉了一些广告文）。

5.2.3 走势统计

按月统计，借助：data_histogram实现。

5.2.4 日报编辑发文统计

日报编辑发文占比统计 Top 10。

5.2.5 日报标题词频统计

词云图是借助Kibana实现，词频统计图为了清晰展现借助excel报表实现。

词云实现借助: fielddata实现。

能够看到：系统、构建、指南、运行、插件、性能、实现、索引、分析、优化、实战、监控、查询 这些都是Elastic 从业者最熟悉的词！

5.2.6 日报来源统计
这是本次统计较去年文章不一样的地方。主要作了：短地址转长地址，长地址提取主域名，主域名统计分析。

看的出来，这就是Elastic Stack 最牛逼博文来源的排行榜！

微信公众号、Elastic 官方博客、Github的文章位列前三甲，文章质量相对较高，深得各位编辑的喜好！

值得一提的是：国外博客平台：medium 相似国内的简书，文章质量极高！

这也给咱们后续筛选优质技术博文提供了依据。

六、实践避坑
6.1 词云呈现
text 类型自己不支持聚合，建模阶段须要开启：fielddata:true。以实现 text 字符串的切分。

为后续词云作准备。

实现以下：

"title": {
"type": "text",
"analyzer": "ik_smart",
"fielddata": true,
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
6.2 短地址转长地址
日报 url 格式都是短连接地址。若是要作发文域名统计，势必要先将短地址转为长地址。

而后将长地址的主域名解析提取出来。

短地址转长地址方案有不少，推荐以下 head 请求方式实现：

[root@centos ~]# curl -s head http://t.cn/A6y0HNBq |grep HREF | awk -F "=" '{ print $2 }' | awk -F "\"" '{ print $2}'

https://medium.com/@tharangarajapaksha/elk-stack-in-k8s-cluster-13bb509185e0
其余方案以下，对非国内长连接不适用。

try:
response = urllib.request.urlopen( url, timeout=500 )
except Exception as e:
print( "error: " + str( e ) )
return ""

return response.geturl( )
七、全量 日报 Excel 下载地址
全量日报列表下载，全网首发。

留言回复：日报 获取下载连接。

相信能助力你的工做，节省你的时间。

七、小结
medcl 大神在1000期的日报群里写到：“这就是坚持的力量”！

是的，相信坚持的力量，才能变不可能为可能，变可能为必定能！

期待第10000期，第100000期 Elastic 日报......

不足之处：仍没有 content 文章正文内容，由于涉及不一样网站的解析、不一样语种的翻译，

若是有了content 文章正文内容就能构建 Elastic 日报全文知识库，方便全文检索，更有价值！

更短期更快习得更多干货！

全国近 1/4 的 Elastic 认证工程师都出自这里！

阅读原文