利用log4j+mongodb实现分布式系统中日志统一管理

背景

    在分布式系统当中，咱们有各类各样的WebService，这些服务可能分别部署在不一样的服务器上，而且有各自的日志输出。为了方便对这些日志进行统一管理和分析。咱们能够将日志统一输出到指定的数据库系统中，而再由日志分析系统去管理。而这个储存日志的数据库目前最适合的仍是mongodb，一是由于它轻便、简单，与log4j整合方便，对系统的侵入性低。二是由于它与大型的关系型数据库相比有很多优点，好比查询快速、储存结构（json）利于扩展、免费等。

log4j与mongodb整合

一、首先安装mongodb数据库，具体安装方法请百度；

二、在你的应用程序中引用如下类库：

Mongo Java driver jar包 下载 
Log4J jar包 注意版本，必定要1.2.16及以上。下载 
log4mongo-java jar包 下载

三、在你的web项目中建立log4j.properties文件。

四、配置log4j.properties文件，使之整合mongodb：

   1:  log4j.rootLogger=INFO,stdout,MongoDB

   2:

   3:  log4j.appender.MongoDB=org.log4mongo.MongoDbAppender

   4:  log4j.appender.MongoDB.databaseName=logs

   5:  log4j.appender.MongoDB.collectionName=log

   6:  log4j.appender.MongoDB.hostname=ubuntu

   7:  log4j.appender.MongoDB.port=27017

   8:

   9:  log4j.appender.stdout=org.apache.log4j.ConsoleAppender

  10:  log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

  11:  log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n

五、配置应用的日志输出格式：

   1:  log4j.logger.com.cnblogs.leefreeman.servlet=INFO,action

   2:  log4j.appender.action.Threshold = INFO

   3:  log4j.appender.action=org.apache.log4j.DailyRollingFileAppender

   4:  log4j.appender.action.encoding=utf8

   5:  log4j.appender.action.File=/opt/logs/action.log

   6:  log4j.appender.action.DatePattern  =  '_'yyyy-MM-dd'.log'

   7:  log4j.appender.action.layout=org.apache.log4j.PatternLayout

   8:  log4j.appender.action.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n

六、在应用程序中使用日志：

   1:  public class IndexServlet extends HttpServlet {

   2:      private static Logger logger = Logger.getLogger(IndexServlet.class);

   3:      private static final long serialVersionUID = -5244922269946905057L;

   4:

   5:      @Override

   6:      protected void doGet(HttpServletRequest req, HttpServletResponse resp)

   7:              throws ServletException, IOException {

   8:          logger.info("hello log4j+mongodb");

   9:          PrintWriter out = resp.getWriter();

  10:          out.print("hello world");

  11:          out.flush();

  12:          out.close();

  13:      }

  14:  }

七、经过Mongodb客户端系统，查看日志状况：

日志成功写入mongdb数据库，能够看到在数据库中日志的结构至关清晰。

使用日志系统管理mongodb的日志

能够开发一个日志系统链接mongodb数据库，进行日志数据的管理和分析。你也可使用mongodb目前有的一些Web客户端来管理，下面介绍两个mongodb经常使用的Web客户端：

mongovision：使用extjs做为前端，体验较好，但须要java7。

 

rock_mongo：基于php的MongoDB管理工具。

mongodb的部署方式

在咱们数据量不是太大的状况下，而且日志数据的重要性不是太强的时候，咱们能够快速搭建出最简单的mongodb单实例模式，来储存日志数据。这种方式最简单最快速。

当咱们考虑到安全、灾备等因素时，咱们通常能够考虑主-从模式搭建mongodb服务器。

采用主-从模式后主节点挂掉了后从节点能够接替主机继续服务。这种模式比单节点的高可用性要好不少。

若是有一天数据愈来愈多，你发现mongodb处理它们愈来愈吃力，你就得想办法怎么让它减压。通常的作法是，部署多个从节点，来分担主节点压力。在这里咱们能够想到Mysql的读写方案，一样也适合Mongodb。

你可让主节点用于写入，而从节点用于读操做（根据你的应用读和写操做的比例来分配）。这样读写分离，主从分担数据库操做压力。

关于mongodb各类模式的具体部署配置方法，在这再也不介绍有兴趣能够查下资料。此外在面对海量数据时，还有不少针对性较强的集群方案，但愿有经验的朋友介绍一下。