Dotnet core基于ML.net的销售数据预测实践

ML.net已经进到了1.5版本。做为Microsoft官方的机器学习模型，你不打算用用？

 

1、前言

ML.net可让咱们很容易地在各类应用场景中将机器学习加入到应用程序中。这是这个框架很重要的一点。

经过ML.net，咱们可使用手中的可用数据，进行预测、分析、检测，而不须要进行过于复杂的编程。

ML.net的核心，一样是机器学习模型。它采用一样的步骤，经过指定算法来训练模型，将输入数据转换为所需的预测数据。

更重要的是，ML.net基于.NET Core，这让它能够很是简单地跨平台，在Windows、Linux、MacOS上运行，并成为咱们服务端的一部份内容。

 

回到今天的主题。

咱们用实际的例子，完成一个经过历史销售数据进行单变量时序分析（单谱分析），以预测将来销量的需求。

    为了防止不提供原网址的转载，特在这里加上原文连接：http://www.javashuo.com/article/p-bhtbmdaf-nt.html

2、开发环境&基础工程

这个Demo的开发环境是：Mac + VS Code + Dotnet Core 3.1.2。

$ dotnet --info
.NET Core SDK (reflecting any global.json):
 Version:   3.1.201
 Commit:    b1768b4ae7

Runtime Environment:
 OS Name:     Mac OS X
 OS Version:  10.15
 OS Platform: Darwin
 RID:         osx.10.15-x64
 Base Path:   /usr/local/share/dotnet/sdk/3.1.201/

Host (useful for support):
  Version: 3.1.3
  Commit:  4a9f85e9f8

.NET Core SDKs installed:
  3.1.201 [/usr/local/share/dotnet/sdk]

.NET Core runtimes installed:
  Microsoft.AspNetCore.App 3.1.3 [/usr/local/share/dotnet/shared/Microsoft.AspNetCore.App]
  Microsoft.NETCore.App 3.1.3 [/usr/local/share/dotnet/shared/Microsoft.NETCore.App]

 

首先，在这个环境下创建工程：

1. 建立Solution

% dotnet new sln -o demo
The template "Solution File" was created successfully.

2. 此次，咱们用Console建立工程

% cd demo
% dotnet new console -o demo
The template "Console Application" was created successfully.

Processing post-creation actions...
Running 'dotnet restore' on demo/demo.csproj...
  Determining projects to restore...
  Restored demo/demo.csproj (in 143 ms).

Restore succeeded.

3. 把工程加到Solution中

% dotnet sln add demo/demo.csproj

基础工程搭建完成。

3、引入ML.net库

为了使用ML.net，咱们须要引入Microsoft.ML库：

% cd demo
% dotnet add package Microsoft.ML

除此以外，本文是基于时序的预测，还须要引入时序库Microsoft.ML.TimeSeries：

% dotnet add package Microsoft.ML.TimeSeries

 

咱们今天用到的算法是单谱分析（SSA）。SSA会将时序分解为一组主要成分， 并将这些成分解释为信号，对应于趋势、噪音、季节性及许多其余的因素，而后从新构建这些成分，用来预测将来某个时间的值。

4、准备数据

为了这个DEMO，我准备了一个包含整年365天实际销售金额的数据。

其中这个数据又分为了两部分，第一部分是前11个月的数据，用来作训练，第二部分是12月一个月的数据，用来评估模型。

两部分数据的连接以下：训练数据，评估数据

两个数据文件均为CSV文件，数据结构彻底相同，下面是一段内容范例：

2018-12-21,17959.0
2018-12-22,19537.03
2018-12-23,20068.0
2018-12-24,20013.0
2018-12-25,21005.0
2018-12-26,16876.0
2018-12-27,15150.0
2018-12-28,15669.0
2018-12-29,25048.0
2018-12-30,25236.0

5、代码开发

1. 准备一个输入模型ModelInput

public class ModelInput
{
    [LoadColumn(0)]
    public DateTime action_time { get; set; }
    [LoadColumn(1)]
    public float count { get; set; }
}

这个模型对应数据文件的结构，分两个字段，第一个是日期，第二个是对应的销售金额。

2. 准备另外一个输出模型ModelOutput

public class ModelOutput
{
    public float[] forecasted_count { get; set; }
    public float[] lower_count { get; set; }
    public float[] upper_count { get; set; }
}

这个模型跟随预测结果的输出，其中：

• forecasted_count - 预测时间段内的预测值
• lower_count - 预测时间段内预测值的下限
• upper_count - 预测时间段内预测值的上限

 

3. 初始化机器学习的实例

MLContext mlContext = new MLContext();

执行全部 ML.NET 操做都是从MLContext类开始，初始化 MLContext将建立一个新的 ML.net 环境，并在模型建立工做流对象之间共享该环境。

4. 加载数据

ML.net有多种数据的加载方式，能够经过文件、数据库、JSON/XML、内存中加载数据，甚至能够用自定义的数据库链接加载数据。

本文的DEMO中，数据在CSV文件中，因此，咱们采用下面的方式加载：

static readonly string _data1Path = Path.Combine(Environment.CurrentDirectory, "data1.csv");
static readonly string _data2Path = Path.Combine(Environment.CurrentDirectory, "data2.csv");

static void Main(string[] args)
{
    MLContext mlContext = new MLContext();

    IDataView data1View = mlContext.Data.LoadFromTextFile<ModelInput>(_data1Path, separatorChar: ',', hasHeader: false);
    IDataView data2View = mlContext.Data.LoadFromTextFile<ModelInput>(_data2Path, separatorChar: ',', hasHeader: false);
}

IDataView是数据的承载空间。

5. 定义时序分析管道

var forecastingPipeline = mlContext.Forecasting.ForecastBySsa(
    outputColumnName: "forecasted_count",
    inputColumnName: "count",
    windowSize: 7,
    seriesLength: 30,
    trainSize: 334,
    horizon: 7,
    confidenceLevel: 0.95f,
    confidenceLowerBoundColumn: "lower_count",
    confidenceUpperBoundColumn: "upper_count");

前面有说过，咱们采用单谱分析，因此代码中咱们选择了mlContext.Forecasting.ForecastBySsa。

解释一下这里面的几个参数：

• trainSize - 数据样本的数量，也就是训练数据的行数（在这个文件中，一行是一个数据样本，共334行）
• seriesLength - 从数据样本按时序采样时的间隔，这里是30天
• windowSize - 样本周期的天数，这里是7天
• horizon - 预测结果的天数
• confidenceLevel - 上下限的可信度。预测属于合理猜想，不老是彻底准确。
• 其它几个参数，对应输入输出模型的字段名

 

6. 训练模型

管道定义完成，数据加载完成，下面要进行数据训练。

SsaForecastingTransformer forecaster = forecastingPipeline.Fit(data1View);

跟随上一节，管道是单谱管道，因此训练也是单谱训练SsaForecastingTransformer。

 

程序执行到这里，数据训练完成。

7. 模型评估

模型评估不是必须环节。

模型评估的意义在于：经过评估模型的性能，来调整管道的参数，以达到最佳的预测效果。

模型评估也有多种方式。在这里，咱们采用平均绝对偏差和均方根偏差来作评估依据。

static void Evaluate(IDataView testData, ITransformer model, MLContext mlContext)
{
    IDataView predictions = model.Transform(testData);

    IEnumerable<float> actual =
        mlContext.Data.CreateEnumerable<ModelInput>(testData, true)
            .Select(p => p.count);

    IEnumerable<float> forecast =
        mlContext.Data.CreateEnumerable<ModelOutput>(predictions, true)
            .Select(p => p.forecasted_count[0]);

    var metrics = actual.Zip(forecast, (actualValue, forecastValue) => actualValue - forecastValue);

    var MAE = metrics.Average(error => Math.Abs(error));
    var RMSE = Math.Sqrt(metrics.Average(error => Math.Pow(error, 2)));

    Console.WriteLine("评估结果");
    Console.WriteLine("---------------------");
    Console.WriteLine($"平均绝对偏差: {MAE:F3}");
    Console.WriteLine($"均方根偏差: {RMSE:F3}\n");
}

在这个方法中，咱们取评估数据的实际值actual和经过训练数据生成的预测值forecast，计算两个偏差并输出。

在Main中调用此方法：

static void Main(string[] args)
{
        /* 这儿是前边训练的代码，略过 */

        Evaluate(data2View, forecaster, mlContext);
}
static void Evaluate(IDataView testData, ITransformer model, MLContext mlContext)
{
      /* 这儿是评估模型的方法，上面有，略过 */
}

输出结果相似于如下内容：

评估结果
---------------------
平均绝对偏差: 23.442
均方根偏差: 174.236

两个指标：

• 平均绝对偏差 - 度量预测与实际值之间的接近程度。 此值介于 0 到无限大之间。 越接近 0，模型的质量越好。
• 均方根偏差 - 汇总模型中的错误。 此值介于 0 到无限大之间。 越接近 0，模型的质量越好。

 

8. 预测

训练模型调整到满意后，便可开始预测的工做：

var forecastEngine = forecaster.CreateTimeSeriesEngine<ModelInput, ModelOutput>(mlContext);
ModelOutput forecast = forecastEngine.Predict();

这两行代码，在内存中加载前边训练好的模型，并进行预测操做。预测数据的结果放在forecast中。

对应于分析管道定义中的horizon，预测数据包含7天的预测结果。

9. 预测结果输出

放在forecast中的数据，对应模型ModelOutput，能够用在任何地方。

在本文中，咱们直接显示到Console：

IEnumerable<string> forecastOutput =
    mlContext.Data.CreateEnumerable<ModelInput>(data2View, reuseRowObject: false)
        .Take(7)
        .Select((ModelInput data, int index) =>
        {
            string action_date = data.action_time.ToString("yyyy-MM-dd");
            float actual_count = data.count;
            float lowerEstimate = Math.Max(0, forecast.lower_count[index]);
            float estimate = forecast.forecasted_count[index];
            float upperEstimate = forecast.upper_count[index];
            return $"日期: {action_date}\n" +
            $"实际值: {actual_count}\n" +
            $"预测下限估值: {lowerEstimate}\n" +
            $"预测估值: {estimate}\n" +
            $"预测上限估值: {upperEstimate}\n";
        });

Console.WriteLine("预测结果");
Console.WriteLine("---------------------");
foreach (var prediction in forecastOutput)
{
    Console.WriteLine(prediction);
}

运行结果相似于如下内容：

预测结果
---------------------
日期: 2018-12-01
实际值: 24566.08
预测下限估值: 16791.379
预测估值: 20394.115
预测上限估值: 23996.852

 

完成！

6、延伸内容

ML.net包含了不少机器学习的内容。其中，我本身认为时序预测是用途很广的一个部分，能够用在

• 销售预测
• 库存预警
• 活动策划辅助

以及其它诸如天气、股票、人口等诸多内容上，依靠过去和如今的数据，分析二者之间的关系，而后利用获得的这个关系去预测将来的数据。

所以，在这个分类中，个人第一篇文章就写了时序预测。

 

机器学习，核心是各类算法，而算法的基础是一类数学。这是一个很高的坎。刷算法，线性的部分还好，一旦到了幂次或矩阵，没有正统的学习，是很难有突破的。而即使刷通了，也只是皮毛性的理解，距离创造算法的大神，还有很长的距离。

因此，退而求其次，对不少人而言，与其花大功夫去研究算法，不如多研究下如何能把现有的算法或工具用好。

 

还有，在应用中，你能用机器学习来预测销量、预测库存，有没有很自豪？是否是很高大上？

 

（全文完）

 

本文的对应代码，在https://github.com/humornif/Demo-Code/tree/master/0013/demo

 

---

 

微信公众号：老王Plus 扫描二维码，关注我的公众号，能够第一时间获得最新的我的文章和内容推送 本文版权归做者全部，转载请保留此声明和原文连接