ELK+Filebeat 实践 Error : read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout

问题描述：

这是一个i/o time 的问题，通常考虑就是磁盘满的问题。如下是我遇到的具体问题：

一、Kibana页面刷新，没有新数据出来，再次刷新或者点击页面上其余地方，kibana就变成这样了：

     这让我就猜想存储空间满了。

二、看filebeat的log ,发现全是  read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout 这样的log;

三、等到elk服务器上，想修改配置，发现修改不了，并报错 "Write Error!(File System full?)"

这个时候确认磁盘满了。

df -h 发现

进到目录里：

缘由：

主要是docker的device mapper存储机制，它会把你全部的容器存储到一个 100G 的简短文件中，而且限制每一个容器最大为 10GB 。所以这里发现docker里面/dev/mapper/docker-* 存储已经10G满了

解决方案：

清空两个大文件，即 logstash-plain.log 和 logstash.stdout 。

方法：

输入命令： # > logstash-plain.log