Mxnet Scala Package 学习笔记 一

前言

    从刚开始接触Mxnet这个框架到如今已经大概四个月了。Mxnet最吸引个人地方就是它提供了

不少语言的接口，其中有Scala（my favorite），这是我从Caffe转过来的缘由之一。

Mxnet是我第一个参与的开源项目，能够说这四个月来我学到了不少东西。

    本文的其中目的在于介绍一下如何用 Mxnet Scala 包来开发本身的 deep learning 的应用，有

哪些坑须要注意的，最后就是安利一下Mxnet 这个框架了。

    而后，还有就是Mxnet Scala Package已经开始 Spark了，有兴趣能够尝试一下。

 

正文

Eclipse配置Mxnet scala的开发环境

    这里我是直接用ScalaIDE来开发。下面介绍如何配置开发环境，过程很简单，就是有些小细

节须要注意。

 

编译Mxnet Scala 包

    首先要作的就是要编译出Mxnet的jar包了，环境配置具体能够看官方网站上的流程，这里就

不重复了，https://mxnet.readthedocs.io/en/latest/how_to/build.html，在 Ubuntu的配置按照流

程来的话通常没什么问题，CentOs的话就有点麻烦，但仍是能够的。

    个人环境是 atlas + cuda 7.5 + cudnn v4 + opencv 3.0。atlas + cuda 8.0 + opencv 3.0。而后修改一下make/config.mk，make -j4 就好了，编译完Mxnet以后就开始编译Scala 包了。

    首先要安装 JDK8，http://tecadmin.net/install-oracle-java-8-jdk-8-ubuntu-via-ppa/ 。

    而后下载maven，https://maven.apache.org/download.cgi，目前版本是 3.3.9。

    下载解压完成以后，在.bashrc文件中加入如下两句，而后 source ~/.bashrc：

    export M2_HOME=~/apache-maven-3.3.9
    export PATH=$M2_HOME/bin:$PATH

    假设maven目录在home目录下。而后只要可以找到mvn这个可执行文件就好了。

    而后在 Mxnet 目录下执行，make scalapkg便可，而后能够泡杯茶等了，第一次编译scala包

的话，会下载不少的jar文件，都放在 ~/.m2/repository/目录下。以后再编译的话就很快了。编

译完成以后，在 scala-package/assembly 目录下，若是你是在config.mk中设置了GPU支持的

话，那么编译好的jar包就在 linux-x86_64-gpu/target目录下。

    

配置ScalaIDE

    这里咱们先新建一个Scala Project，MxnetTest 。

        

      而后删除Scala library，接着导入 Mxnet scala jar 包。直接 Add External JARs，

       导入 assembly目录下的          

                mxnet-full_2.10-linux-x86_64-gpu-0.1.2-SNAPSHOT.jar

                mxnet-full_2.11-linux-x86_64-gpu-0.1.2-SNAPSHOT.jar

跑个Scala的例子 --- NeuralStyle

    首先把scala-package/examples/src/main/scala/ml/dmlc/mxnet/examples/neuralstyle

    下的两个Scala文件复制到 工程src目录下，而后稍微修改一下，把文件的第一行package

去掉。而后就是导入全部依赖包，直接暴力把 scala-package/examples/target/classes/lib

目录下的全部Jar包导入便可。

    还有把 scala-package/examples/src/main/resources/log4j.properties文件拷贝到工程

bin目录下。

    而后编译一下应该就能够准备运行了。若是想看看命令行怎么运行的话能够看看

scala-package/examples/scripts 目录下的 run_neuralstyle.sh 脚本。

    运行所需的图片和模型能够 example/neural-style/download.sh 这个脚原本下载。

    右键NeuralStyle -> Run As -> Run Configurations，在Arguments 那一栏作以下设置：

     

    而后 run 便可。跑到后面大概要占 2G左右的显存。若是显存不够的话，能够把

--max-long-edge 这个参数设置为小一些。

    大概运行600次迭代以后就能获得最终的结果了，和Python的例子给出的结果有点差距，效

果还能看，以前其实也是根据Python的例子改写成 Scala版本的，当时大概用了一周时间吧，

写好代码以后还要调下参数等等。

        

 

用Mxnet实现矩阵分解（Matrix Factorization With Mxnet）

    用Mxnet Scala 包实现一下矩阵分解，就是推荐系统经常使用到的矩阵分解，主要是参考这位大

神的博客，http://www.jianshu.com/p/ebf7bf53ed3e，

还有http://katbailey.github.io/post/matrix-factorization-with-tensorflow/。

    用到的数据集的下载地址：http://grouplens.org/datasets/movielens/100k/。

    因为目前的官方的Mxnet Scala 包尚未支持 sumAxis这个操做，由于实现这个矩阵分解的

功能须要用到这个operator，因此能够修改本身的Mxnet Scala源码，向Symbol.scala 中 object

Symbol 这个伴生对象加入

如下函数：

/**
 * Take sum of the src in the given axis
 *
 * Parameters
 * ----------
 * data : Symbol. Input data to sum.
 * axis : int, default=-1, means to reduce all the dimensions.
 */
def sumAxis(name: String = null, attr: Map[String, String] = null): SymbolCreateNamedFunc = {
  createFromNamedSymbolsNoCheck("sum_axis", name, attr)
}

    而后从新编译一下Scala 包便可。

    下面是完整的实现代码：

     https://github.com/Ldpe2G/DeepLearning/tree/master/Mxnet-Scala/MatrixFactorization

   这里实现上和上面那篇博客有些不同的地方，最终的结果，以RMSE这个指标来衡量的话，

能够达到 0.95x左右，比博客提到的0.8x差一点。这里若是不想改代码直接跑的话，能够把下

载的ml-100k.zip这个数据集放到project目录下的datas目录里解压。

    其实经过跟着实现一遍代码，我学会了如何利用深度学习框架来作矩阵分解了，感受真的很

神奇。

    最后但愿这篇博客可以对想了解 Mxnet Scala Package 开发的读者提供一些帮助。