基于.NetCore3.1系列 —— 日志记录之日志核心要素揭秘

时间  2020-08-06
标签 基于 netcore3.1 netcore 系列 日志 记录 核心 要素 揭秘 繁體版
原文   原文链接

1、前言

回顾：日志记录之日志配置揭秘
在上一篇中，咱们已经了解了内置系统的默认配置和自定义配置的方式，在学习了配置的基础上，咱们进一步的对日志在程序中是如何使用的深刻了解学习。因此在这一篇中，主要是对日志记录的核心机制进行学习说明。html

logging

2、说明

在上一篇中，咱们留下了两个问题git

  1. 日志记录的输出能够在哪里查看？而又由什么实现决定的呢？
  2. 如何管理输出不一样的日志呢？都有哪些方式呢？

第一个问题：在官方的实现有：Console 、Debug 、EventSource 、EventLog 、TraceSource 、Azure App Service，还有一些第三方实现，固然了咱们本身也是能够实现的。 是由ILoggerProvider 接口来决定实现的。github

第二个问题：由 log Level、EventId、Logger Provider、Log filtering、Log category、Log scopes 合做解决。c#

由上面的问题能够发现，咱们能够实现多种不一样的输出目标方式来实现写日志记录，可是又如何控制在写日志这个操做不变的状况下，实现不一样的输入目标，这个时候咱们就会想到，能够经过抽象的方式，将写日志这个操做动做抽象出来，而输出目标依赖这个动做实现具体的操做。因此当咱们调用写日志操做方法的时候，由此依次调用对应的具体实现方法，把日志写到具体的目标上。数组

这个过程具体是怎么实现的呢？咱们接着往下看。框架

3、开始

其实在学习以前，咱们应该都已经了解.net core框架有一个重要的特征就是依赖注入，经过在应用启动时候，将各类定义好的实现类型放入到一个集合容器中，经过在运行时，将从集合容器中取出放入对应的类型中。asp.net

日志记录的的实现方式也离不开这个。下面让咱们一块儿来看看。socket

3.1 日志记录器工厂

3.1.1 ILoggerFactory 接口

public interface ILoggerFactory : IDisposable
{
    ILogger CreateLogger(string categoryName);

    void AddProvider(ILoggerProvider provider);
}

ILoggerFactory是日志记录器的工厂接口类，用于配置日志记录系统并建立Logger实例的类，默认实现两个接口方法为，经过CreateLogger()方法来建立ILogger实例，（其中参数categoryName是一个日志类别，用于调用Logger所在类的全名，类别指明日志消息是谁写入的，通常咱们将日志所属的的组件、服务或者消息类型名称做为日志类别。） 而AddProvider()添加日志记录提供程序，向日志系统注册添加一个ILoggerProvider。工厂接口类的默认实现类为LoggerFactory , 咱们继续往下看：ide

3.1.2 LoggerFactory 实现

ILoggerFactory 的默认实现是 LoggerFactory ,在构造函数中，以下：函数

public class LoggerFactory : ILoggerFactory
    {
        private static readonly LoggerRuleSelector RuleSelector = new LoggerRuleSelector();

        private readonly Dictionary<string, Logger> _loggers = new Dictionary<string, Logger>(StringComparer.Ordinal);
        
        private readonly List<ProviderRegistration> _providerRegistrations = new List<ProviderRegistration>();
        
        private readonly object _sync = new object();
        
        private volatile bool _disposed;
        
        private IDisposable _changeTokenRegistration;
        
        private LoggerFilterOptions _filterOptions;
        
        private LoggerExternalScopeProvider _scopeProvider;
        
        public LoggerFactory() : this(Enumerable.Empty<ILoggerProvider>())
        {
        }
        
        public LoggerFactory(IEnumerable<ILoggerProvider> providers) : this(providers, new StaticFilterOptionsMonitor(new LoggerFilterOptions()))
        {
        }
        
        public LoggerFactory(IEnumerable<ILoggerProvider> providers, LoggerFilterOptions filterOptions) : this(providers, new StaticFilterOptionsMonitor(filterOptions))
        {
        }
        
        public LoggerFactory(IEnumerable<ILoggerProvider> providers, IOptionsMonitor<LoggerFilterOptions> filterOption)
        {
            foreach (var provider in providers)
            {
                AddProviderRegistration(provider, dispose: false);
            }

            _changeTokenRegistration = filterOption.OnChange(RefreshFilters);
            RefreshFilters(filterOption.CurrentValue);
        }
        
        private void AddProviderRegistration(ILoggerProvider provider, bool dispose)
        {
            _providerRegistrations.Add(new ProviderRegistration
            {
                Provider = provider,
                ShouldDispose = dispose
            });

            if (provider is ISupportExternalScope supportsExternalScope)
            {
                if (_scopeProvider == null)
                {
                    _scopeProvider = new LoggerExternalScopeProvider();
                }

                supportsExternalScope.SetScopeProvider(_scopeProvider);
            }
        }
    }

从LoggerFactory 中 的构造函数中能够发现，经过注入的方式获取到ILoggerProvider（这个在下文中会说明），并调用AddProviderRegistration方法添加注册程序，将ILoggerProvider保存到ProviderRegistration集合中。

AddProviderRegistration 方法：

这是一个日志程序提供器，将ILoggerProvider保存到ProviderRegistration集合中。当日志提供器实现 ISupportExternalScope 接口将单例 LoggerExternalScopeProvider 保存到 provider._scopeProvider 中。

ProviderRegistration集合:

private struct ProviderRegistration
{
   public ILoggerProvider Provider;
   public bool ShouldDispose;
}

其中的 ShouldDispose 字段标识在在LoggerFactory生命周期结束以后，该ILoggerProvider是否须要释放。虽然在系统中LoggerFactory为单例模式，可是其提供了一个静态方法生成一个可释放的DisposingLoggerFactory。

在LoggerFactory 实现默认的接口方法CreateLogger(),AddProvider()

查看源码以下：

CreateLogger

建立ILogger实例，CreateLogger() 源码以下：

public class LoggerFactory : ILoggerFactory
    { 
        private readonly Dictionary<string, Logger> _loggers = new Dictionary<string, Logger>(StringComparer.Ordinal);
        
         private readonly List<ProviderRegistration> _providerRegistrations = new List<ProviderRegistration>();
        
        private struct ProviderRegistration
        {
            public ILoggerProvider Provider;
            public bool ShouldDispose;
        }
        
        public ILogger CreateLogger(string categoryName)
        {
            if (CheckDisposed())
            {
                throw new ObjectDisposedException(nameof(LoggerFactory));
            }
            lock (_sync)
            {
                if (!_loggers.TryGetValue(categoryName, out var logger))
                {
                    logger = new Logger
                    {
                        Loggers = CreateLoggers(categoryName),
                    };
                    (logger.MessageLoggers, logger.ScopeLoggers) = ApplyFilters(logger.Loggers);

                    _loggers[categoryName] = logger;
                }
                return logger;
            }
        }
        
        private LoggerInformation[] CreateLoggers(string categoryName)
        {
            var loggers = new LoggerInformation[_providerRegistrations.Count];
            for (var i = 0; i < _providerRegistrations.Count; i++)
            {
                loggers[i] = new LoggerInformation(_providerRegistrations[i].Provider, categoryName);
            }
            return loggers;
        }
    }

从源码能够看出，CreateLogger方法中，会检测资源是否被释放，在方法中，根据内部定义的字典集合Dictionary<string, Logger> _loggers,判断字典中是否存在对应的Logger属性对象，若是不存在，会调用CreateLoggers方法根据以前注册的的全部ILoggerProvider 所建立出来 ProviderRegistration 集合来实现建立Logger属性集合（根据日志类别生成了对应实际的日志写入类FileLogger、ConsoleLogger等），并经过字典集合的方式保存categoryName和对应的Logger。

建立 Logger 须要的 LoggerInformation[]

internal readonly struct LoggerInformation
{
public LoggerInformation(ILoggerProvider provider, string category) : this()
{
ProviderType = provider.GetType();
Logger = provider.CreateLogger(category);
Category = category;
ExternalScope = provider is ISupportExternalScope;
}

public ILogger Logger { get; }

public string Category { get; }

public Type ProviderType { get; }

public bool ExternalScope { get; }
}

根据注册的ILoggerProvider，建立ILogger 其中的字段说明：

Logger ：具体日志类别写入途径实现类

Category ： 日志类别名称

ProviderType ： 日志提供器Type

ExternalScope ：是否支持 ExternalScope

继续看CreateLogger方法，在建立Logger以后，还调用了ApplyFilters方法：

private (MessageLogger[] MessageLoggers, ScopeLogger[] ScopeLoggers) ApplyFilters(LoggerInformation[] loggers)
        {
            var messageLoggers = new List<MessageLogger>();
            var scopeLoggers = _filterOptions.CaptureScopes ? new List<ScopeLogger>() : null;

            foreach (var loggerInformation in loggers)
            {
                RuleSelector.Select(_filterOptions,
                    loggerInformation.ProviderType,
                    loggerInformation.Category,
                    out var minLevel,
                    out var filter);

                if (minLevel != null && minLevel > LogLevel.Critical)
                {
                    continue;
                }

                messageLoggers.Add(new MessageLogger(loggerInformation.Logger, loggerInformation.Category, loggerInformation.ProviderType.FullName, minLevel, filter));

                if (!loggerInformation.ExternalScope)
                {
                    scopeLoggers?.Add(new ScopeLogger(logger: loggerInformation.Logger, externalScopeProvider: null));
                }
            }

            if (_scopeProvider != null)
            {
                scopeLoggers?.Add(new ScopeLogger(logger: null, externalScopeProvider: _scopeProvider));
            }

            return (messageLoggers.ToArray(), scopeLoggers?.ToArray());
        }

由源码能够看出，

MessageLogger[] 集合取值：

在获取LoggerInformation[]后进行传参，进行遍历，根据RuleSelector过滤器，从配置文件中读取对应的日志级别，过滤器会返回获取最低级别和对应的一条过滤规则，若是配置文件中没有对应的配置，默认取全局最低级别（MinLevel）,若是读取到的日志级别大于LogLevel.Critical,则将其加入MessageLogger[]。

过滤器的规则：

  1. 选择当前记录器类型的规则，若是没有，请选择未指定记录器类型的规则
  2. 选择最长匹配类别的规则
  3. 若是没有与类别匹配的内容，则采用全部没有类别的规则
  4. 若是只有一条规则，则使用它的级别和过滤器
  5. 若是有多个规则，请选择使用最后一条。
  6. 若是没有适用的规则，请使用全局最低级别

经过MessageLogger[]添加消息日志集合

internal readonly struct MessageLogger
{
    public MessageLogger(ILogger logger, string category, string providerTypeFullName, LogLevel? minLevel, Func<string, string, LogLevel, bool> filter)
    {
        Logger = logger;
        Category = category;
        ProviderTypeFullName = providerTypeFullName;
        MinLevel = minLevel;
        Filter = filter;
    }

    public ILogger Logger { get; }

    public string Category { get; }

    private string ProviderTypeFullName { get; }

    public LogLevel? MinLevel { get; }

    public Func<string, string, LogLevel, bool> Filter { get; }

    public bool IsEnabled(LogLevel level)
    {
        if (MinLevel != null && level < MinLevel)
        {
            return false;
        }

        if (Filter != null)
        {
            return Filter(ProviderTypeFullName, Category, level);
        }

        return true;
    }
}

internal readonly struct ScopeLogger
{
    public ScopeLogger(ILogger logger, IExternalScopeProvider externalScopeProvider)
    {
        Logger = logger;
        ExternalScopeProvider = externalScopeProvider;
    }

    public ILogger Logger { get; }

    public IExternalScopeProvider ExternalScopeProvider { get; }

    public IDisposable CreateScope<TState>(TState state)
    {
        if (ExternalScopeProvider != null)
        {
            return ExternalScopeProvider.Push(state);
        }
        return Logger.BeginScope<TState>(state);
    }
}

在MessageLogger[]中带有MinLevel属性和Filter委托两种过滤配置，而这两种配置的来源，在上一章中能够看到，分别是从配置文件（AddConfiguration）和直接使用委托（AddFilter）来进行配置的。

再由上面的IsEnabled方法能够看出，会先使用 MinLevel 过滤，再使用 Filter 进行过滤。因此这二者存在优先级。

ScopeLogger[ ] 取值 :

若是 ILoggerProvider实现了ISupportExternalScope接口，那么使用LoggerExternalScopeProvider做为Scope功能的实现。反之，使用ILogger做为其Scope功能的实现。

LoggerExternalScopeProvider ：

  • 经过 Scope 组成了一个单向链表，每次 beginscope 向链表末端增长一个新的元素，Dispose的时候，删除链表最末端的元素。咱们知道LoggerExternalScopeProvider 在系统中是单例模式，多个请求进来，加入线程池处理。经过使用AsyncLoca来实现不一样线程间数据独立。
  • 有两个地方开启了日志做用域：
  • 一、经过socket监听到请求后，将KestrelConnection加入线程池，线程池调度执行IThreadPoolWorkItem.Execute()方法。在这里开启了一次
  • 二、在构建请求上下文对象的时候(HostingApplication.CreateContext())，开启了一次

由上源码能够得出：在工厂记录器类中，经过系统依赖注入的方式解析全部注册的ILoggerProvider，而后调用其中的CreateLogger方法实现建立一个Logger实例对象，而这个Logger实例对象会根据根据注册的ILoggerProvider建立须要的 LoggerInformation[]，并将此对象做为参数进行ApplyFilters过滤器筛选,获得对应的最低等级或过滤规则，最后经过调用Log方法日志记录的时候，会遍历MessageLogger[]集合，根据logger日志类别对应实际不一样的日志写入类，调用ILoggerProvider具体实现类 (能够看下文说明) 中的Log方法。

AddProviderRegistration→CreateLoggers→LoggerInformation[]→ApplyFilters→MessageLogger[]→Log→ILoggerProvider ( 执行具体类中的Log方法 )

ILoggerFactory 来源：

在上一篇中咱们在对日志配置进行说明的时候，应用程序在启动初始化的时候会经过注入的方式CreateDefaultBuilder→ConfigureLogging→AddLogging

public static IServiceCollection AddLogging(this IServiceCollection services, Action<ILoggingBuilder> configure)
{
if (services == null)
{
   throw new ArgumentNullException(nameof(services));
}

services.AddOptions();
services.TryAdd(ServiceDescriptor.Singleton<ILoggerFactory, LoggerFactory>());
services.TryAdd(ServiceDescriptor.Singleton(typeof(ILogger<>), typeof(Logger<>)));

services.TryAddEnumerable(ServiceDescriptor.Singleton<IConfigureOptions<LoggerFilterOptions>>(
   new DefaultLoggerLevelConfigureOptions(LogLevel.Information)));

configure(new LoggingBuilder(services));
return services;
}

实现将把ILoggerFactory对象以依赖注入的方式托管到集合容器中，为程序调用提供使用。

logging

3.2日志记录提供器

3.2.1 ILoggerProvider 接口

建立ILogger实例的类型，根据日志类别名称建立一个新的ILogger实例

public interface ILoggerProvider : IDisposable
{
    ILogger CreateLogger(string categoryName);
}

这个是具体的日志写入类，在工厂记录器中咱们已经提到了这个，在LoggerInformation[]中会根据日志类别注册对应的ILoggerProvider，在系统中咱们就能够经过ILogger同时向多个途经写入日志信息。（这也是对上一篇中留下的问题进行再次说明）

ILoogerProvider继承了IDisposable接口，若是某个具体的ILoggerProvider对象须要释放资源，就能够将相关的操做实如今Dispose方法中。

默认的实现方式为多个，官方实现的由ConsoleLoggerProvider 、DebugLoggerProvider 、EventSourceLoggerProvider、EventLogLoggerProvider 、TraceSourceLoggerProvider

以ConsoleLoggerProvider为列

[ProviderAlias("Console")]
    public class ConsoleLoggerProvider : ILoggerProvider, ISupportExternalScope
    {
        private readonly IOptionsMonitor<ConsoleLoggerOptions> _options;
        private readonly ConcurrentDictionary<string, ConsoleLogger> _loggers;
        private readonly ConsoleLoggerProcessor _messageQueue;

        private IDisposable _optionsReloadToken;
        private IExternalScopeProvider _scopeProvider = NullExternalScopeProvider.Instance;
 
        public ConsoleLoggerProvider(IOptionsMonitor<ConsoleLoggerOptions> options)
        {
            _options = options;
            _loggers = new ConcurrentDictionary<string, ConsoleLogger>();

            ReloadLoggerOptions(options.CurrentValue);
            _optionsReloadToken = _options.OnChange(ReloadLoggerOptions);

            _messageQueue = new ConsoleLoggerProcessor();
            if (RuntimeInformation.IsOSPlatform(OSPlatform.Windows))
            {
                _messageQueue.Console = new WindowsLogConsole();
                _messageQueue.ErrorConsole = new WindowsLogConsole(stdErr: true);
            }
            else
            {
                _messageQueue.Console = new AnsiLogConsole(new AnsiSystemConsole());
                _messageQueue.ErrorConsole = new AnsiLogConsole(new AnsiSystemConsole(stdErr: true));
            }
        }
        private void ReloadLoggerOptions(ConsoleLoggerOptions options)
        {
            foreach (var logger in _loggers)
            {
                logger.Value.Options = options;
            }
        }
        public ILogger CreateLogger(string name)
        {
            return _loggers.GetOrAdd(name, loggerName => new ConsoleLogger(name, _messageQueue)
            {
                Options = _options.CurrentValue,
                ScopeProvider = _scopeProvider
            });
        } 
        public void Dispose()
        {
            _optionsReloadToken?.Dispose();
            _messageQueue.Dispose();
        }
 
        public void SetScopeProvider(IExternalScopeProvider scopeProvider)
        {
            _scopeProvider = scopeProvider;

            foreach (var logger in _loggers)
            {
                logger.Value.ScopeProvider = _scopeProvider;
            }

        }
    }

在ConsoleLoggerProvider类型定义中，标注了ProviderAliasAttribute特性，并设置别名为Console,因此在配置过滤规则的时候，能够直接使用这个名称。ILogger的建立实现了具体日志类ConsoleLogger。
LogerProvider

3.3 日志记录器

3.3.1 ILogger 接口

表示用于执行日志记录的类型，是系统中写入日志的统一入口。

public interface ILogger
{ 
    void Log<TState>(LogLevel logLevel, EventId eventId, TState state, Exception exception, Func<TState, Exception, string> formatter); 
    
    bool IsEnabled(LogLevel logLevel); 
    
    IDisposable BeginScope<TState>(TState state);
}

定义了三个方法，Log<TState>() 用于写入日志，IsEnabled()用于检查判断日志级别是否开启，BeginScope() 用于指日志做用域。

3.3.2 Logger 实现

ILogger执行记录接口类的具体实现Logger以下：

internal class Logger : ILogger
{
    public LoggerInformation[] Loggers { get; set; }
    public MessageLogger[] MessageLoggers { get; set; }
    public ScopeLogger[] ScopeLoggers { get; set; }

    public void Log<TState>(LogLevel logLevel, EventId eventId, TState state, Exception exception, Func<TState, Exception, string> formatter)
    {
        var loggers = MessageLoggers;
        if (loggers == null)
        {
            return;
        }

        List<Exception> exceptions = null;
        for (var i = 0; i < loggers.Length; i++)
        {
            ref readonly var loggerInfo = ref loggers[i];
            if (!loggerInfo.IsEnabled(logLevel))
            {
                continue;
            }

            LoggerLog(logLevel, eventId, loggerInfo.Logger, exception, formatter, ref exceptions, state);
        }

        if (exceptions != null && exceptions.Count > 0)
        {
            ThrowLoggingError(exceptions);
        }

        static void LoggerLog(LogLevel logLevel, EventId eventId, ILogger logger, Exception exception, Func<TState, Exception, string> formatter, ref List<Exception> exceptions, in TState state)
        {
            try
            {
                logger.Log(logLevel, eventId, state, exception, formatter);
            }
            catch (Exception ex)
            {
                if (exceptions == null)
                {
                    exceptions = new List<Exception>();
                }

                exceptions.Add(ex);
            }
        }
    }
    public bool IsEnabled(LogLevel logLevel)
    {
        var loggers = MessageLoggers;
        if (loggers == null)
        {
            return false;
        }

        List<Exception> exceptions = null;
        var i = 0;
        for (; i < loggers.Length; i++)
        {
            ref readonly var loggerInfo = ref loggers[i];
            if (!loggerInfo.IsEnabled(logLevel))
            {
                continue;
            }

            if (LoggerIsEnabled(logLevel, loggerInfo.Logger, ref exceptions))
            {
                break;
            }
        }

        if (exceptions != null && exceptions.Count > 0)
        {
            ThrowLoggingError(exceptions);
        }

        return i < loggers.Length ? true : false;

        static bool LoggerIsEnabled(LogLevel logLevel, ILogger logger, ref List<Exception> exceptions)
        {
            try
            {
                if (logger.IsEnabled(logLevel))
                {
                    return true;
                }
            }
            catch (Exception ex)
            {
                if (exceptions == null)
                {
                    exceptions = new List<Exception>();
                }

                exceptions.Add(ex);
            }

            return false;
        }
    }
}

源码中MessageLogger[]在上文已经提到了，其中保存了在配置中启用的那些对应的ILogger。

须要注意的是，因为配置文件更改后，会调用ApplyFilters()方法，并为MessageLogger[]赋新值，因此在遍历以前，须要保存当前值，再进行处理。不然会出现修改异常。

在系统中统一写入日志的入口，经过日志等级做为参数调用其IsEnabled方法来肯定当前日志是否执行对应具体日志的实现类，当符合条件执行具体日志输出到对应的写入途径中会调用对应的Log方法（须要提供一个EventId来标识当前日志事件）

ILogger默认的实现方式为多个，官方实现的由ConsoleLogger 、DebugLogger 、EventSourceLogger、EventLogLogger、TraceSourceLogger 具体日志实现类表明不一样的日志写入途径。

logger

4、总结

  1. 在ILoggerFactory和ILoggerProvider中都会经过方法建立ILogger对象，但二者是不相同的。在工厂默认实现LoggerFactory类型中它建立的ILogger对象是由注册到LoggerFactory对象上的全部ILoggerProvider对象提供一组 ILogger对象组合而成。而日志提供器ILoggerProvider建立的ILogger是日志实现输出到对应的渠道目标，写入日志。

  2. 日志记录器ILogger中的Log()方法会记录执行日志，在日志记录器工厂ILoggerFactory和日志记录提供器ILoggerProvider中两种不一样的ILogger实现对应的Log()方法实现的意思也是不一样的。在ILoggerFactory产生的是ILogger类型（也就是咱们最终使用的Logger），其Log()方法是依次调用Logger中包含的LoggerInformation[]数组中的ILogger。而ILoggerProvider产生的为各种不一样的XxxLogger（也就是上面说的Logger中的LoggerInformation数组包含的如ConsoleLogger、DebugLogger），其Log()方法是把日志写到具体的目标上去。

  3. 由上文能够发现，在asp.net core提供的日志记录的组件，经过工厂的一种方式，将日志记录器和日志记录提供器都放入到工厂这样的容器中，知足定义多个不一样的记录方式。在后续咱们能够经过自定义ILoggerProvider集成到Logger中，实现本身须要的日志记录输出方式。

  4. 若是有不对的或不理解的地方，但愿你们能够多多指正，提出问题，一块儿讨论,不断学习,共同进步。

  5. 官方源码 和 参考资料

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程