本篇文章介绍如何安装Theano 及Keras， Tensorflow深度学习的框架在windows环境上，并快速的使用Keras的内建范例来执行人工神经网络的训练。
之前也有实作Tensorflow 及caffe在VM+ubuntu16.04环境安装的经验，甚至安装在NVIDIA的Jetson TX1 的惨痛经验XD(虽然后来也是有安装成功)。各深度学习的框架各有它的优缺点，有许多文章已做过类似的分析，在此我不会对这部分着墨太多，只会叙述自己之前安装的一些经验来提供大家参考，特别如果是要在windows环境上使用，并且具有NVIDIA CUDA支援GPU加速运算的功能。
虽然也很多人认为应该直接使用Linux环境会比较适合做深度学习框架的使用及学习，原因是使用Linux的人或网络资源比较多，而且Linux对于计算机硬件效能有优化。但对于Linux环境不熟的人，使用windows环境仍然有它方便性存在，而对于Python程序语言来说，其程序码在Linux环境或windows环境做切换是很容易的，当然Theano ，Keras，Tensorflow也可以安装在Linux环境上使用。接下来开始正式介绍如何在一般常见的笔电上建构这个环境，在一般的笔电上也可以使用GPU加速训练人工神经网络的快感。
<图一>为Keras 的lstm_benchmark.py 范例输出结果
首先我使用的笔电硬件是：
Intel CPU i7-6700HQ
存储器DDR3 8GB.
NVIDIA 950M
另一台笔电硬件是：
Intel CPU i5 5200U
存储器DDR3 8GB.
NVIDIA 940M
使用GPU加速及CUDA ，NVIDIA 的显卡仍然是必备，但是实际上测试最一般般常见
的940M ，950M显卡也可以使用，并且实测上其执行效能仍然快过单单使用CPU快很多
，底下安装好后我们会使用Theano提供的程序来做测试及比较。
接下来是软件环境的建构，大部分步骤其实是没有先后顺序之分的，例如先安装python
或是VS2015 ，只有少数步骤有先后顺序上的建议。底下是我的安装步骤。
1.安装Python 环境：
选择Anaconda或是Winpython都可以，实际上我都试过，而最后我是在Winpython上安装成功，这并不代表Anacona不行，只是刚好在Winpython上装成功就没再花心思在Anaconda上做Debug。重点是要使用x64 python 勿使用x86版本，原因是CUDA 的CUBLAS.lib只适用于x64版本，如果使用x86版本会遇到CUBLAS.lib 的相关error.
Winpython下载路径：https://winpython.github.io/
在此我是选择安装：WinPython-64bit-3.5.2.3Qt5.exe
3.5.2版带有Qt5的，因为平时也有用到Qt5，所以就一起安装这并不影响后续安装。
2.安装VS2015 update 3：
现在VS2015已有免费的社群版，然而我安装的另外从网络上下载的VS2015 pro update3 英文版。这边建议要安装英文版勿安装中文版，原因是先前遇过vs2015在编译CUDA时候遇到Unicode编码的问题，所以就干脆安装英文版。而如果直接安装社群版，MS会根据你的OS 环境语系自动选择则中文版。在windows环境里，VS2015会是用来编译CUDA的工具。
我安装的Windows环境是Windows 10，并且它自己已经明目张胆，大摇大摆，无视你的存在的更新到10.0.14393.0了(XD)。
安装后须将底下路径加入系统的环境变量path ，这样在命令视窗才找得到cl.exe。
C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin
3.安装GCC：
在windows 要安装GCC 可以使用MSYS2，有关MSYS2的安装请看底下连结：
写得非常清楚了，也不难安装，在此选择x86_x64版本可以安装的指定的D:\或预设C:\下。
https://shaochien.gitbooks.io/how-to-use-gcc-to-develop-c-cpp-on-windows/content/shell-select-and-install-gcc.html
安装后须将底下路径加入系统的环境变量path ，这样在命令视窗才找得到gcc或g++。
D:\msys64\mingw64\bin
D:\msys64\mingw64\lib
4.安装CUDA 及CuDNN：
CUDA 下载网址：https://developer.nvidia.com/cuda-downloads
选择CUDA 8.0 for Win 10 x64版本
CuDNN 下载网址：https://developer.nvidia.com/cudnn
请选择对应到CUDA 8.0的版本。
需注册(免费)才能下载CuDNN，非必要但是CuDNN并不难安装，只需要解压缩CuDNN档案
然后将里面bin/lib/include/的档案都copy到CUDA安装后对应的bin/lib/include/资料夹即可。
CUDA 0 安装成功预设路径应如同底下(请勿自行更改路径)
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0
安装好后将底下路径也加入系统的环境变量path ，这样在命令视窗才找得到nvcc。
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\libnvvp
5.安装Theano 及Keras：
实际上当安装好Winpython时已经同时包含Theano 及Keras了。可以不用再安装。
预设Theano 版本是0.8.2，Keras 是1.1.1。
如果需update theano,或 keras到最新版1.2.0
可以执行以下指令
pip install --upgrade Theano
pip install --upgrade keras
注意：一但你执行上述指令它会自动
Uninstalling numpy-1.11.2+mkl:
原因是pip自动搜寻到更新的
numpy-1.11.3-cp35-none-win_amd64.whl版本
但是这numpy版本并不带mkl涵式库，但这对Theano ，keras是必要的。
所以可以到底下连结重新下载新的numpy-1.12.0rc2+mkl-cp35-cp35m-win_amd64.whl
http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy
然后在你的winpython的环境下执行底下重新安装即可
pip install numpy-1.12.0rc2+mkl-cp35-cp35m-win_amd64.whl
请注意选择你所需要的版本。numpy-1.12.0rc2是目前最新的。
cp35 for python 3.5.2版
win_amd64 for x64
6.更改.theanorc.txt 及keras.json：
A.更改keras.json：
以上安装好之后，你可以先试着在winpython环境里打上python
>>import keras
应该会出现以下error,
{
File "D:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\keras\backend\tensorflow_backend.py", line 1, in
import tensorflow as tf
ImportError: No module named 'tensorflow'
...
}
原因是Keras可以用tensorflow 或theano 当backend，预设是tensorflow
这时我需将它改成使用theano 当backend。请到你winpython安装目录下的setting里
经过上述的执行应该会产生一个keras.json档在
D:\WinPython-64bit-3.5.2.3Qt5\settings\.keras
请将底下原本tensorflow改成theano，即可完成转换backend到theano。
##=======keras.json档
{
"epsilon": 1e-07,
"image_dim_ordering": "tf",
"floatx": "float32",
- "backend": "Tensorflow"
+ "backend": "theano"
}
P.S
*.1 -号为移除该行，+号为增加该行，-,+号都不该出现在实际档案里。
*.2 我的winpython 预设安装路径为D:\WinPython-64bit-3.5.2.3Qt5
*.3 对于winpython 环境而言的/Home目录是预设在
D:\WinPython-64bit-3.5.2.3Qt5\settings
并非C:\Users\使用者名称xxxx
这点请注意，所以接下来对于theano的设定档.theanorc.txt
也应放置于D:\WinPython-64bit-3.5.2.3Qt5\settings 目录下
B.更改.theanorc.txt：
请参考底下.theanorc.txt更改
device = gpu #指的是预设切换到使用GPU
floatX = float32 #for GPU 都是float32 ，for CPU 可以有float64
##===.theanorc.txt档for GPU
[global]
openmp=False
device = gpu
optimizer_including=cudnn
floatX = float32
allow_input_downcast=True
[lib]
cnmem = 0.8
[blas]
ldflags=
[gcc]
cxxflags = -D_hypot=hypot
[nvcc]
fastmath = True
--flags=-LD:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\libs
--compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin
可能Error 1:
接着试着在winpython环境里打上python
>>import theano
如果有跑出一大串行号及C++ code 就表示有error发生，如果发生底下error
{
C:\Users\shing\AppData\Local\Theano\compiledir_Windows-10-10.0.10586-SP0-Intel64_Family_6_Model_94_Stepping_3_GenuineIntel-3.5.2-64\lazylinker_ext\mod.cpp:1:0: sorry, unimplemented: 64-bit mode not compiled in
#include
^
...
}
可以试着下面解法：
开启在你winpython 目录下的D:\WinPython-64bit-3.5.2.3Qt5\scripts\env.bat
修改底下path 设定红色部分，也就是加入G++ x64的环境设定
实际上Vs2015/Nvcc 的路径也都可以直接改在如下
这样你的winpython环境也都是认得到。
#=====env.bat=============
if %ERRORLEVEL% NEQ 0 set PATH=D:\msys64\mingw64\lib;D:\msys64\mingw64\bin;%WINPYDIR%\Lib\site-packages\PyQt5;%WINPYDIR%\Lib\site-packages\PyQt4;%WINPYDIR%\;%WINPYDIR%\DLLs;%WINPYDIR%\Scripts;%WINPYDIR%\..\tools;%WINPYDIR%\..\tools\mingw32\bin;%WINPYDIR%\..\tools\R\bin\x64;%WINPYDIR%\..\tools\Julia\bin;%PATH%;
#}
可能Error 2:
如果出现以下error
{
64_Family_6_Model_94_Stepping_3_GenuineIntel-3.5.2-64\lazylinker_ext\mod.cpp:1:
D:/msys64/mingw64/include/c++/6.2.0/cmath:1133:11: error: '::hypot' has not been declared
using ::hypot;
} ^~~~~
请检查.theanorc.txt里有无底下宣告
[gcc]
cxxflags = -D_hypot=hypot
可能Error 3:
接着试着在winpython环境里再打上python
>>import theano
如果出现以下error
{
C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\INCLUDE\crtdefs.h(10):
fatal error C1083: Cannot open include file: 'corecrt.h': No such file or directory
}
必须新增底下到系统的环境变量里,原因是他会用到Windows Kits里的函式,不只VS2015
所也必须宣告进去。
INCLUDE=C:\Program Files (x86)\Windows Kits\10\Include\10.0.14393.0\ucrt
LIB=C:\Program Files (x86)\Windows Kits\10\Lib\10.0.14393.0\um\x64;C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10240.0\ucrt\x64
可能Error 4: 接着如果出现以下error
{
mod.cu(803): warning C4311: 'type cast': pointer truncation from 'CudaNdarray *' to 'long'
mod.cu(3374): warning C4312: 'type cast': conversion from 'long' to 'float *' of greater size
LINK : fatal error LNK1104: cannot open file 'uuid.lib'
}
增加底下到系统的环境变量path里。
C:\Program Files (x86)\Windows Kits\10\Lib\10.0.14393.0\um\x64
C:\Program Files (x86)\Windows Kits\10\Lib\10.0.14393.0\ucrt\x64
注意：有更改到系统环境变量都须重新登入或是重开机才会生效
最后再执行一次
在winpython环境里再打上python
>>import theano
如果最后出现底下DEBUG字符串，恭喜!代表安装Theano run with GPU成功了
{
DEBUG: nvcc STDOUT mod.cu Creating library C:/Users/shing/AppData/Local/Theano/compiledir_Windows-10-10.0.10586-SP0-Intel64_Family_6_Model_94_Stepping_3_GenuineIntel-3.5.2-64/tmp1qux40n6/md9b7b5ef5d727b2e8e3d2cc34bb9d0eb.lib and object C:/Users/shing/AppData/Local/Theano/compiledir_Windows-10-10.0.10586-SP0-Intel64_Family_6_Model_94_Stepping_3_GenuineIntel-3.5.2-64/tmp1qux40n6/md9b7b5ef5d727b2e8e3d2cc34bb9d0eb.exp
}
接着再打上python
>>> import keras
Using Theano backend.
以上也代表Keras也可以正常的工作，并且可以Base on Theano run with GPU。
接下来我们可以跑一些sample code来实际测试效能。
Theano实际测试：
首先我们在Theano的官网上可以发现有两个测试GPU的sample code：
http://deeplearning.net/software/theano/tutorial/using_gpu.html
我们就来实际跑看看使用CPU及GPU的差别。
如果在winpython想切回使用CPU跑，可以将.theanorc.txt 换成底下
##===.theanorc.txt for CPU
[global]
openmp=True
device = cpu
floatX = float64
allow_input_downcast=True
[gcc]
cxxflags = -D_hypot=hypot
第一个程序theano1.py
a.使用Intel CPU i7-6700HQ ，约2.488sec
b.使用GPU 950M 约0.4176 sec ，快了大约6倍。使用940M约0.9秒
第二个程序theano_gpu.py
a.使用Intel CPU i7-6700HQ ，约3.019 sec
b.使用GPU 950M 只需0.012 sec ，快了大约250倍。使用940M约0.015秒。
第二支程序与第一支程序的差异在于，第一个程序是函数将直接其结果作为NumPy ndarray返回，为了方便，该函数已从设备复制到主机。而第二个程序是将输入从主机复制到GPU，并且优化exp()function的执行。
f = function([], sandbox.cuda.basic_ops.gpu_from_host(T.exp(x)))
Keras实际测试：
首先我们先download keras 的examples.
直接使用git clone 的方式在命令视窗下执行，前提是已经有安装了git tool.
git clone https://github.com/fchollet/keras.git
切到keras的examples 目录
cd keras/examples/
该目录下有很多已建好的范例可以直接使用，并且都是python 的程序
Keras优点是其模块本身都可以使用Python程序语法自由组建，与caffe不同
使用caffe必须使用它定义类似Json的文档去建构网络架构。这会让你感觉不象是在写
python的程序。
首先直接先执行底下MLP网络范例试看看
python mnist_mlp.py
执行后一开始会出现很多底下DEBUG信息，这并不是错误，暂时可以不用管它，他会继续跑。
[2017/01/14更新] 用以下指令更新Theano 就不会出现DEBUG 信息了
pip install --upgrade --no-deps git+git://github.com/Theano/Theano.git
执行过程及结果如下：60000笔训练资料及10000笔测试资料，Epoch 20，得到accuracy 0.9843
这个使用950M跑的过程不到10分钟，之前用纯CPU跑约1个多小时应该有。
接下来再来跑一个大一点的范例试看看
python lstm_benchmark.py
一开始都会自动先下载data，这范例的data量很明显比刚刚大多了，到此可以先去喝杯咖啡~
经过多久没仔细计算，底下是跑出来的结果
如果有兴趣安装Pycuda ，也只要执行以下指令即可安装成功及使用，因为
CUDA在之前都已经安装成功了
pip install pycuda
[2017/01/14更新] Tensorflow 已可安装在Windows 上并可使用GPU运算加速
如果上述步骤都安装成功，那么额外再安装Tensorflow 只要按照官网以下的指令即可安装
Tensorflow 成功，并使用GPU运算
pip install --upgrade https://storage.googleapis.com/tensorflow/windows/gpu/tensorflow_gpu-0.12.1-cp35-cp35m-win_amd64.whl
[2017/01/15更新] 如果遇到以下错误
"can not opened CUDA library cupti64_80.dll locally"
试着将以下路径加入系统环境变量PATH
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\extras\CUPTI\libx64
因此Keras 也可以改成Tensorflow 当backend。下图即是用keras 的范例用Tensorflow当backend
来验证安装是否成功。从下图也可以看出可以成功的使用GPU CUDA
[2017/03/23更新]
更新至Tensorflow R1.0 ，只须执行下列指令
pip3 install --upgrade tensorflow-gpu
必须下载及更新Numpy+mlk，否则上述指令会让Numpy会失去MLK。
http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy
更新Kears2.0 ：
先用pip uninstall keras 卸载旧的keras
再到底下网址直接下载Keras-2.0.2.tar.gz (md5)
https://pypi.python.org/pypi/Keras
解压缩档案后：
在解压缩的资料夹里执行：
python setup.py install
测试Tensorflow 及keras version。
（本文已经授作者阿星授权，阿星原文：http://arbu00.blogspot.jp/2017/01/1-windowstheano-keras-gpu.html?m=1）