ELK学习3-kibana 深刻学习

时间 2019-11-15

标签 elk 学习 kibana 深刻繁體版

原文原文链接

kibana 是一个数据显示工具，一般和 es 配套出现html

7.4 的版本中开发工具（Dev Tool）里新提供了 grok 正则验证工具能够很好的验证 logstash 的匹配语法是否正确。java

经常使用使用方法

词频统计

你知道一本书中，做者那些词用的最多吗？这些词在书籍中是否很重要。git

es 默认的分词器主要针对的是英文的，因此咱们须要安装中文分词，如下以 ik 分词器为例进行安装（网上的教程有些我以为没有细说）github

经过 GitHub 获取插件包。shell

点击 GitHub 插件包项目头部的 releases 项
找到你 es 对应的版本包（./bin/elasticsearch -v）
下载 elasticsearch-analysis-ik-x.x.x.zip 包
打开 es 安装目录中的 plugins 目录
解压 zip 压缩包到 plugins/ik 中

经过 kibana 开发工具设置 es 的字段使用 ik 分词器, 如下是个人执行服务器

PUT article
{
  "mappings": {
    "properties": {
      "id": {
        "type": "long"
      },
      "title": {
        "type": "text"
      },
      "author": {
        "type": "text"
      },
      "content": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart",
        "fielddata": true
      }
    }
  }
}

POST article/_doc/1
{
    "id": 1,
    "title": "做为高级Java，你应该了解的Linux知识",
    "author": "小姐姐的味道",
    "content": "做为一个javaer，我之前写过不少关于Linux的文章。但通过多年的观察，发现其实对于大部分人，有些东西压根就用不着。用的最多的，就是到线上排查个问题而已，这让人非常苦恼。那么，咱们就将范围再缩小一下。...."
}

POST article/_doc/2
{
    "id": 2,
    "title": "不停服! 怎么迁移数据",
    "author": "草堂笺",
    "content": "前言数据迁移时, 为了保证数据的一致性, 每每伴随着停服, 此期间没法给用户提供服务或只能提供部分服务. 同时, 为了确保迁移后业务及数据的正确性, 迁移后测试工做也要占用很多时间. 如此形成的损失是比较大的....."
}

PUT article/_doc/2
{
    "id": 2,
    "title": "testing不停服! 怎么迁移数据",
    "author": "草堂笺",
    "content": "前言数据迁移时, 为了保证数据的一致性, 每每伴随着停服, 此期间没法给用户提供服务或只能提供部分服务. 同时, 为了确保迁移后业务及数据的正确性, 迁移后测试工做也要占用很多时间. 如此形成的损失是比较大的....."
}

DELETE article/_doc/2

GET article/_search
{
  "size": 0,
  "aggs": {
    "messages": {
      "terms": {
        "size": 1000,
        "field": "content",
        "include": "[\u4E00-\u9FA5]{2,}",
        "exclude": "一.*"
      }
    }
  }
}

添加自定义单词网络

ik 的中文词库并不太完整，有些须要本身的定义它没有的词。如富叔堡、嘤嘤怪、全员恶人等网络名词。app