Golang轻便的实时日志相似slack收集应用

时间 2019-11-10

标签 golang 轻便实时日志相似 slack 收集应用栏目 Go 繁體版

原文原文链接

wslog原理

利用github.com上无数的slack hook 日志工具sdk
遵循 slack hook API 规范 https://api.slack.com/incomin...
wslog暴露Http API来收集slack hook api 规范的json日志
wslog提供websocket API像前端实时展现收集的日志,提供http api 展现搜索历史日志

视频DEMO

视频演示地址 https://www.bilibili.com/vide...javascript

1. 为何要开发这个应用

咱们程序员再开发中须要不停的查看日志来解决bug,我在google上一直都没有找到一款轻便简洁有效的日志收集应用.
而这款应用能够结局一下疼点:php

1. linux下查看日志学习曲线较陡, tail/cat/grep/sed 命令眼花缭乱
1. ELK日志服务器部署困难繁琐,其次对机器的性能内存要求很高,ELK基于elasticSearch/java内存无底洞.
1. 使用Slack Hook收集日志: 国内网络加载slack界面很是吃力,各类js/css下载失败,更甚对于免费用户日志数量还有数量条数限制(<10000条).
1. 钉钉Bot Hooks收集日志: 钉钉办公工具是大资本加剥削工薪阶级的工具(哈哈),你怎么能使用钉钉来解析日志的收集展现呢?

2. wslog的优点

2.1 部署简单

wslog 后端基于golang开发,一次编译多平台可执行文件.
wslog UI基于浏览器,支持任意平台.
wslog 数据库使用SQLite3和go语言内存数据库,没有任何数据库运维工做和数据库限制.

前端代码和后端代码都编译到一个可执行二进制文件中,双击二进制文件就能够执行.css

2.2 多平台支持

wslog 支持单机运行,能够支持windows/linux服务器运行.
支持各类主流操做系统windows/linux/mac/中标麒麟/国产linux操做系统.
支持任意架构arm/x86,支持树莓派系统...前端

2.3 实时日志输出

wslog采用websocket通信,像聊天工具那样实时输出日志,
也能够在日志历史列表中快捷查看日志vue

2.4 日志分类

日志从功能来讲，可分为诊断日志、统计日志、审计日志. wslog日志支持debug/info/warning/error/fatal等日志级别java

2.5 日志全文检索

wslog 能够轻松的在数百万条日志中快速的定位你的日志node

2.6 全面兼容支持slack-hook日志sdk

进入wslog->hook 建立hook,复制hook_url,把hook_url粘贴替换以前slack_hook sdk 配置.python

2.7 全面兼容支持slack_hook API的第三方日志收集SDK

3. 编译/安装

能够访问在线demo网站 http://felix.mojotv.cnlinux

3.1 go语言编译安装

设置环境变量laravel

设置GOBIN
添加GOBIN到PATH环境变量

go get github.com/dejavuzhou/felix
felix ssh -h
felix sshw

3.2 mac 系统安装运行

curl https://github.com/dejavuzhou/felix/releases/download/0.3/felix-amd64-darwin -o felix
sudo chmod +x felix
./felix sshw

3.3 linux 系统安装运行

curl https://github.com/dejavuzhou/felix/releases/download/0.3/felix-amd64-linux -o felix
sudo chmod +x felix
./felix sshw

3.4 linux-arm(树莓派) 系统安装运行

curl https://github.com/dejavuzhou/felix/releases/download/0.3/felix-amd64-linux-arm -o felix
sudo chmod +x felix
./felix sshw

3.5 window 系统安装运行

curl https://github.com/dejavuzhou/felix/releases/download/0.3/felix-amd64-win.exe -o felix
./felix sshw

4. wslog 使用教程

这里就以golang的logrus包为例子,包日志介入wslog WebUI 实时显示

4.1 启动ws_log 服务

建立wslog 频道 http://localhost:2222/#/wslog/channel
建立wslog hook 同时关联到频道 http://localhost:2222/#/wslog/hook
复制hook url 地址

4.2 配置logrus slack

slackHook := "http://localhost:2222/api/wslog/hook-api?_t=B5tCwWtHKgHdhYQ4cmr5JQ"

func initSlackLogrus() {
    slackHook := "http://localhost:2222/api/wslog/hook-api?_t=B5tCwWtHKgHdhYQ4cmr5JQ"

    lvl := logrus.DebugLevel

    //logrus.SetFormatter(&logrus.JSONFormatter{})
    //file, _ := os.Create(time.Now().Format("2006_01_02.log"))
    //logrus.SetOutput(file)
    logrus.SetLevel(lvl)
    //给logrus添加SlackrusHook
    logrus.AddHook(&slackrus.SlackrusHook{
        HookURL:        slackHook,
        AcceptedLevels: slackrus.LevelThreshold(lvl),
        Channel:        "#felix",
        IconEmoji:      ":shark:",
        Username:       "felixAPP",
    })
}

4.3 在go中输出日志

//使用logrus 包方法打印日志
    title := utils.RandomString(34)
    logrus.WithField("time", time.Now()).WithField("fint", 1).WithField("fBool", false).WithField("fstring", "awesome").WithField("fFloat", 0.45).WithError(fmt.Errorf("error fmt format: %s", "felix is awesome")).Error("this mgs ", "error ", title)

4.4 在网页中查看实时日志,或者查看检索历史日志

http://localhost:2222/#/wslog-msg-rt 查看websocket 实时日志
http://localhost:2222/#/wslog-msg-hi 查看历史日志

4.1 WebUI简介

websocket-vuejs-table展现实时日志(原本打算作一个聊天窗口界面的,发现css比较复杂,前端知识比较平庸,因此就是elementUI的table实时展现日志)

API Hook

历史日志

4.2 PHP laravel/lumen 教程

编辑laravel/lumen .env 配置文件
设置 LOG_SLACK_WEBHOOK_URL
LOG_SLACK_WEBHOOK_URL=http://localhost:2222/api/wslog/hook-api?_t=B5tCwWtHKgHdhYQ4cmr5JQ

5. 将来展望

更具系统复杂程度错容易到难排序

演变成一个安装配置简洁实时日志展现工具
接入公司帐号作一个公司内部的日志收集平台
2C:作一个免费的网页版聊天工具,同时也能够作日志收集平台
2C:作一个国内版的slack聊天工具,不一样于钉钉/微信, 能够像slack那样利用API-HOOK开发各类各样的小应用

代码地址dejavuzhou/felix 欢迎提出issue 或者 PR 其余更多功能详解个人其余博客

原文来自个人博客网站tech.mojotv.cn