hdfs auditlog(审计日志)

时间 2019-11-19

原文原文链接

hdfs审计日志(Auditlog)记录了用户针对hdfs的全部操做，详细信息包括操做成功与否、用户名称、客户机地址、操做命令、操做的目录等。对于用户的每个操做，namenode都会将这些信息以key-value对的形式组织成固定格式的一条日志，而后记录到audit.log文件中。经过审计日志，咱们能够实时查看hdfs的各类操做情况、能够追踪各类误操做、能够作一些指标监控等等。java

hdfs的审计日志功能是可插拔的，用户能够经过实现默认接口扩展出知足本身所需的插件来替换hdfs默认提供的审计日志功能，或者与之并用。node

启用审计日志

若是仅仅只启用默认的AuditLogger（DefaultAuditLogger），则在log4j.properties添加以下配置(hdfs.audit.logger必须配置为INFO级别)便可，审计日志会与namenode的系统日志独立开来保存，log4j.appender.RFAAUDIT.File可配置保存的位置及文件。 FSNamesystem根据log4j.properties中hdfs.audit.logger是否为INFO，以及是否配置了DefaultAuditLogger以外的其余AuditLogger，来决定是否启用审计日志功能。web

#
# hdfs audit logging
#
hdfs.audit.logger=INFO,NullAppender
hdfs.audit.log.maxfilesize=256MB
hdfs.audit.log.maxbackupindex=20
log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=${hdfs.audit.logger}
log4j.additivity.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=false
log4j.appender.RFAAUDIT=org.apache.log4j.RollingFileAppender
log4j.appender.RFAAUDIT.File=${hadoop.log.dir}/hdfs-audit.log
log4j.appender.RFAAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.RFAAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n
log4j.appender.RFAAUDIT.MaxFileSize=${hdfs.audit.log.maxfilesize}
log4j.appender.RFAAUDIT.MaxBackupIndex=${hdfs.audit.log.maxbackupindex}

审计日志的接口及实现

Namenode开放了AuditLogger接口，并定义抽象类HdfsAuditLogger 实现AuditLogger，默认提供实现类DefaultAuditLogger。构造FSNamesystem时经过initAuditLoggers(Configuration conf)方法建立AuditLogger列表。在记录用户操做时，会将操做信息逐一传给列表中的每个AuditLogger，由其作对应的审计处理。apache

经过实现Auditloger接口或者扩展HdfsAuditLogger类，用户能够实现本身的AuditLogger来知足所需，例若有针对性的记录审计日志（当集群、访问量上规模以后疯狂刷日志必然对namenode有影响，有针对性的记录有必要的日志是缓解此情况的一种可选方案）、扩展功能、将日志接入实时系统作实时分析或监控等。用户经过配置项dfs.namenode.audit.loggers在hdfs-site.xml中配置Auditloger的实现类，多个实现能够经过逗号分开，更改配置后重启namenode接口生效。FSNamesystem的initAuditLoggers(Configuration conf)方法经过该配置项加载并实例化实现类，初始化后存入集合。若是用户没有配置，那么默认使用DefaultAuditLogger。若是启动了nntop功能，还会使用TopAuditLogger。app

FSNamesystem 初始化全部的AuditLogger：ide

private List<AuditLogger> initAuditLoggers(Configuration conf) {
    // Initialize the custom access loggers if configured.
    //DFS_NAMENODE_AUDIT_LOGGERS_KEY=dfs.namenode.audit.loggers
    Collection<String> alClasses = conf.getStringCollection(DFS_NAMENODE_AUDIT_LOGGERS_KEY);
    List<AuditLogger> auditLoggers = Lists.newArrayList();
    if (alClasses != null && !alClasses.isEmpty()) {
      for (String className : alClasses) {
        try {
          AuditLogger logger;
          if (DFS_NAMENODE_DEFAULT_AUDIT_LOGGER_NAME.equals(className)) {
            logger = new DefaultAuditLogger();
          } else {
            logger = (AuditLogger) Class.forName(className).newInstance();
          }
          logger.initialize(conf);
          auditLoggers.add(logger);
        } catch (RuntimeException re) {
          throw re;
        } catch (Exception e) {
          throw new RuntimeException(e);
        }
      }
    }

    // Make sure there is at least one logger installed.
    // 若是用户没有提供AuditLoggers，则默认使用DefaultAuditLogger
    if (auditLoggers.isEmpty()) {
      auditLoggers.add(new DefaultAuditLogger());
    }

    // Add audit logger to calculate top users
    // 默认topConf.isEnabled是开启的，用于指标聚合、上报
    // TopAuditLogger相似 top命令
    if (topConf.isEnabled) {
      topMetrics = new TopMetrics(conf, topConf.nntopReportingPeriodsMs);
      auditLoggers.add(new TopAuditLogger(topMetrics));
    }

    return Collections.unmodifiableList(auditLoggers);
  }

DefaultAuditLogger记录日志：oop

@Override
    public void logAuditEvent(boolean succeeded, String userName,
        InetAddress addr, String cmd, String src, String dst,
        FileStatus status, UserGroupInformation ugi,
        DelegationTokenSecretManager dtSecretManager) {
      if (auditLog.isInfoEnabled()) {
        final StringBuilder sb = auditBuffer.get();
        sb.setLength(0);
        sb.append("allowed=").append(succeeded).append("\t");
        sb.append("ugi=").append(userName).append("\t");
        sb.append("ip=").append(addr).append("\t");
        sb.append("cmd=").append(cmd).append("\t");
        sb.append("src=").append(src).append("\t");
        sb.append("dst=").append(dst).append("\t");
        if (null == status) {
          sb.append("perm=null");
        } else {
          sb.append("perm=");
          sb.append(status.getOwner()).append(":");
          sb.append(status.getGroup()).append(":");
          sb.append(status.getPermission());
        }
        if (logTokenTrackingId) {
          sb.append("\t").append("trackingId=");
          String trackingId = null;
          if (ugi != null && dtSecretManager != null
              && ugi.getAuthenticationMethod() == AuthenticationMethod.TOKEN) {
            for (TokenIdentifier tid: ugi.getTokenIdentifiers()) {
              if (tid instanceof DelegationTokenIdentifier) {
                DelegationTokenIdentifier dtid =
                    (DelegationTokenIdentifier)tid;
                trackingId = dtSecretManager.getTokenTrackingId(dtid);
                break;
              }
            }
          }
          sb.append(trackingId);
        }
        sb.append("\t").append("proto=");
        sb.append(NamenodeWebHdfsMethods.isWebHdfsInvocation() ? "webhdfs" : "rpc");
        logAuditMessage(sb.toString());
      }
    }

    public void logAuditMessage(String message) {
      auditLog.info(message);
    }

审计过程

客户端对hdfs的全部操做，无论成功与否都会由FSNamesystem记录下。以删除操做为例，FSNamesystem在正常删除给定src后调用logAuditEvent(true, "delete", src)记录这次成功的delete操做，若是删除失败抛出异常，则调用logAuditEvent(false, "delete", src)记录这次失败的delete操做。ui

boolean delete(String src, boolean recursive, boolean logRetryCache)
      throws IOException {
    waitForLoadingFSImage();
    BlocksMapUpdateInfo toRemovedBlocks = null;
    writeLock();
    boolean ret = false;
    try {
      checkOperation(OperationCategory.WRITE);
      checkNameNodeSafeMode("Cannot delete " + src);
      toRemovedBlocks = FSDirDeleteOp.delete(
          this, src, recursive, logRetryCache);
      ret = toRemovedBlocks != null;
    } catch (AccessControlException e) {
      logAuditEvent(false, "delete", src);
      throw e;
    } finally {
      writeUnlock();
    }
    getEditLog().logSync();
    if (toRemovedBlocks != null) {
      removeBlocks(toRemovedBlocks); // Incremental deletion of blocks
    }
    logAuditEvent(true, "delete", src);
    return ret;
  }
  


//判断是不是外部调用，只对rpc调用和webHdfs调用作审计
  boolean isExternalInvocation() {
    return Server.isRpcInvocation() || NamenodeWebHdfsMethods.isWebHdfsInvocation();
  }  

  //判断是否启用审计日志功能
  public boolean isAuditEnabled() {
    return !isDefaultAuditLogger || auditLog.isInfoEnabled();
  }
  
  //succeeded：操做是否成功     cmd:操做命令     src:操做对象
  private void logAuditEvent(boolean succeeded, String cmd, String src)
      throws IOException {
    logAuditEvent(succeeded, cmd, src, null, null);
  }
  
  private void logAuditEvent(boolean succeeded, String cmd, String src,
      String dst, HdfsFileStatus stat) throws IOException {
    if (isAuditEnabled() && isExternalInvocation()) {
      logAuditEvent(succeeded, getRemoteUser(), getRemoteIp(),
                    cmd, src, dst, stat);
    }
  }
  
  //获取操做对象的信息，调用全部的auditloger 作审计
  private void logAuditEvent(boolean succeeded,
      UserGroupInformation ugi, InetAddress addr, String cmd, String src,
      String dst, HdfsFileStatus stat) {
    FileStatus status = null;
    if (stat != null) {
      Path symlink = stat.isSymlink() ? new Path(stat.getSymlink()) : null;
      Path path = dst != null ? new Path(dst) : new Path(src);
      status = new FileStatus(stat.getLen(), stat.isDir(),
          stat.getReplication(), stat.getBlockSize(), stat.getModificationTime(),
          stat.getAccessTime(), stat.getPermission(), stat.getOwner(),
          stat.getGroup(), symlink, path);
    }
    for (AuditLogger logger : auditLoggers) {
      if (logger instanceof HdfsAuditLogger) {
        HdfsAuditLogger hdfsLogger = (HdfsAuditLogger) logger;
        hdfsLogger.logAuditEvent(succeeded, ugi.toString(), addr, cmd, src, dst,
            status, ugi, dtSecretManager);
      } else {
        logger.logAuditEvent(succeeded, ugi.toString(), addr,
            cmd, src, dst, status);
      }
    }
  }

审计日志接入实时系统的方法

方法1：扩展Log4J的appender，由appender将日志发送到kafka。
方法2：直接让kafka的producer读取日志文件。