Grafana、elasticsearch、kafka、logstash和pinpoint结合

1、Grafana

1）下载安装

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm 
sudo yum localinstall grafana-4.2.0-1.x86_64.rpm 

2）启动

service grafana-server start

3）访问

地址 http://localhost:3000 就能够访问了。localhost为主机ip。用户名和密码都为admin

4）配置

 

 

2、elasticsearch

1）下载安装（注意elasticsearsh不容许使用root用户启动）

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz

tar -zxvf elasticsearch-5.3.0.tar.gz

2）修改配置

配置文件：elasticsearch-5.3.0/config/elasticsearch.yml

需修改的配置

cluster.name: my-elasticsearch

node.name: node-1

discovery.zen.ping.unicast.hosts: ["10.30.218.186"]

discovery.zen.ping.unicast.hosts: ["10.30.218.186:9200"]

discovery.zen.minimum_master_nodes: 1

3）启动

elasticsearch-5.3.0/bin/elasticsearch &

4）报错处理

a）Elasticsearch requires at least Java 8 but your Java version from /usr/bin/java does not meet this requirement

java版本不对，能够添加JAVA_HOME变量。

elasticsearch-5.3.0/bin/elasticsearch文件添加下面一行，将java引入。

JAVA_HOME=/var/elk/jdk1.8.0_111

b）ERROR: bootstrap checks failed
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

修改/etc/sysctl.conf

再最后一行加上

vm.max_map_count=655360

并执行

sysctl -p

从新启动elasticsearch

 

3、kafka

一、解压
tar -zxvf kafka_2.12-0.10.2.0.tar.gz

二、引入jdk1.8版本
vi kafka_2.12-0.10.2.0/bin/kafka-run-class.sh

增长以下配置项，添加jdk1.8
JAVA_HOME=/var/elk/jdk1.8.0_111

三、修改配置项
vi kafka_2.12-0.10.2.0/config/server.properties

#在集群中的节点，和其余两个节点区分开便可
broker.id=2

（效果同以前的版本的host.name及port）：注意绑定host.name，不然可能出现莫名其妙的错误如consumer找不到broker。这个host.name是Kafka的server的机器名字，会注册到Zookeeper中
listeners=PLAINTEXT://10.21.1.248:9092

advertised.listeners=PLAINTEXT://10.21.1.248:9092
#日志目录
log.dirs=/var/elk/kafka_2.12-0.10.2.0/logs
#zookeeper配置项（zookeeper另外搭建的集群）
zookeeper.connect=10.21.xx.83:2181,10.21.xx.249:2181,10.21.xx.248:2181

四、启动： nohup /var/elk/kafka_2.12-0.10.2.0/bin/kafka-server-start.sh /var/elk/kafka_2.12-0.10.2.0/config/server.properties &