[GPU] Machine Learning on C++

1、MPI为什么物？

初步了解：MPI集群环境搭建

 

2、从新认识Spark

连接：https://www.zhihu.com/question/48743915/answer/115738668

马铁大神的phd thesis 总结里面说了一句话 大概意思是说 单纯的若是使用mpi 来实现一个算法 比spark 快五六倍是很正常的 可是spark 是一个 general 的 data flow 处理框架 就是能够在数据的生命周期里面 可使用spark 之上的具体实现来处理数据 ml 只是一部分而已 这就是spark 最大的卖点之一

因此你用这个Prophet平台来和spark 比 ml这方面的效率固然你要快了的 由于还有不少ml 专业的平台都要比spark 快 这就不列举了
由于spark 基于 mapreduce的 这种program model 就不是适合ml的 特别是ml 里面大量参数的模型 好比lda 之类的

btw： 若是做为一个严格的论文来看的话 把spark 做为baseline 而不是作普遍的实验比较的话好比 各类平台算法 数据集 算法

 

3、Microsoft Distributed Machine Learning Toolkit (DMTK)

连接来源： https://indico.cern.ch/event/605622/contributions/2482399/attachments/1418253/2172239/TMVA_ROOTMpi.pdf

<Parallelization in Machine Learning with Multiple Processes>

 

 

Goto:  https://github.com/Microsoft/DMTK

Ref:  微软分布式机器学习工具包DMTK——初窥门径

DMTK includes the following projects:

• DMTK framework(Multiverso): The parameter server framework for distributed machine learning.
• LightLDA: Scalable, fast and lightweight system for large-scale topic modeling.
• LightGBM: LightGBM is a fast, distributed, high performance gradient boosting (GBDT, GBRT, GBM or MART) framework based on decision tree algorithms, used for ranking, classification and many other machine learning tasks.
• Distributed word embedding: Distributed algorithm for word embedding implemented on multiverso.

 

4、GPU隆重登场

(1) OpenCV的OpenCL实现了下面的哪些算法？

• • Training Data
  • Normal Bayes Classifier
  • K-Nearest Neighbors
  • Support Vector Machines
    • Prediction with SVM
  • Decision Trees
    • Predicting with Decision Trees
    • Training Decision Trees
    • Variable Importance
  • Boosting
    • Prediction with Boost
  • Random Trees
  • Expectation Maximization
  • Neural Networks
  • Logistic Regression

 

 

Ref:  https://docs.opencv.org/2.4/modules/ocl/doc/ml_machine_learning.html 

在2.4版本中，kmean是opencl实现。

 

 

Ref:  https://docs.opencv.org/4.1.0/dd/ded/group__ml.html

在4.1版本中，LogisticRegression是opencl实现的么？

class  cv::ml::LogisticRegression

源代码： https://github.com/opencv/opencv/blob/master/modules/ml/src/lr.cpp

貌似不是gpu版本。

 

In a nutshell

Ref: How to use NVIDIA GPUs for Machine Learning with the new Data Science PC from Maingear

看样子你们才刚刚意识到这个事情，或者dnn就足够了。

Goto: [CUDA] Install H2O.ai，有部分GPU实现的算法。

• GLM: Lasso, Ridge Regression, Logistic Regression, Elastic Net Regulariation
• KMeans
• Gradient Boosting Machine (GBM) via XGBoost
• Singular Value Decomposition(SVD) + Truncated Singular Value Decomposition
• Principal Components Analysis(PCA)

Real time bench mark: https://www.youtube.com/watch?v=LrC3mBNG7WU，速度快二十倍。

 

End.