大数据爬坑行(二)安装flume(单机模式)

根据实际应用,我们管理的设备上的安装有运行检测的智能传感器,会将设备运行的状态信息以及环境信息传到应用服务器,应用服务器会将这些信息保存为运行日志。由于我们需要管理的设备数量非常多,超过50万台,因此这种日志信息的量非常大。因此我们需要通过flume监控应用中运行日志的文件夹,上传到hdfs(以后实时应用还需要上传到kafka)。我们采用的flume版本是1.6。 首先建立单节点flume作为测试
相关文章
相关标签/搜索