学习深度学习背景html
最近在作一款抢票软件,因为12306常常检测帐号状态,抢票抢着抢着就须要从新登陆了,而后登陆是须要验证码的。因此我最开始是想到了使用java基于感知哈希算法pHash作类似度匹配识别,结果测试发现精确度低的可怜。这里简单的说下逻辑。12306验证码是由8张小图片生成拼接在一块儿的。每次请求都是在服务器后台进行随机抽取图片制做验证码。而每一张小图的尺寸大小都是相同的。将图片使用java切割后生成8张小图。在进行pHash算法匹配图片类似度。结果识别度很是低了,就不必说继续作往下的逻辑,好比训练标签。作匹配分类图片等等。因此我就想到了如今的深度学习中的图像识别分类,因为零基础接触,安装前我也是借阅了不少相关的文章以及PDF。历经几天的学习以及安装,皇天不负有心人一路磕磕碰碰总算是把caffe安装好,因此这篇文章比较适合刚接触的新人。授人以鱼不如授人以渔 编译好的caffe我就不发了。 我总结这篇教程只是为了让哪些和我同样刚接触caffe的朋友能顺利的安装好这个NB的东西。java
安装前言:该文章适合新人阅读,因此安装步骤会有点啰嗦,其次就是咱们这里使用的是CPU来训练,因此是不用安装Cuda和CuDNN的。python
一、安装gitlinux
因为这里记录的是使用Windows系统安装,可是多数的操做仍是须要使用linux命令执行。因此为了便于执行linux命令须要先git。git
保持默认选项点击next,因为我是我的使用,因此选择第二项:Use Git from the Windows Command Prompt 接着继续默认选项走。github
安装完成后记得检测是否可用,确保万一,可能会出现部分电脑出现环境变量未自动配置好。算法
如未出现配置好环境变量请自行配置:编程
在系统变量中找到Path并在后面添加: C:\Program Files\Git\cmd;windows
二、安装Visual Studio 2015(如下简称VS2015)服务器
三、安装CMake &版本>=3.4
3.1 下载地址Cmake( 3.11.1版本)
下载地址:https://download.csdn.net/download/u014714937/10375108 或 https://cmake.org/download/
下载完成后解压出来:
3.2 配置环境变量
一样在系统变量中找到Path并在其后追加你的cmake解压出来的路径,个人电脑路径是> D:\DeepLearning\cmake-3.11.1-win64-x64\bin
注意:如在git环境变量后并无用 ; 符号结尾记得手动在cmake追加前添加 ;
3.3测试cmake
打开CDM>输入cmake -version 如出现版本信息则表示环境变量配置成功
C:\Users\Administrator>cmake -version cmake version 3.11.1 CMake suite maintained and supported by Kitware (kitware.com/cmake).
四、安装Python
4.1 下载python
下载地址: https://download.csdn.net/download/u014714937/10375211
4.2 安装python
安时候记得勾选"Add Python 3.6to PATH"表示对python环境变量的配置 若是没有特别的需求话建议使用默认安装:Install Now便可。
正常的话通常一分钟左右就安装好了
4.3测试python
4.4 安装python其余相关模块
4.4.1 安装 Anaconda
下载地址:https://www.anaconda.com/download/
Python 3.6 的下载Python 3.6 version版本,Python 2.7 的下载Python 2.7 version版本。
安装时选择用户,如没有特定需求建议全部用户(All Users),选择完路径没有特定需求一直下一步便可开始安装。文件较大,解压出来2个多G,安装过程须要耐心等待几分钟。
安装完成后出现一个是否安装微软快捷开发包。Install Microsoft VSCode 点击进行安装,安装完成后点击Skip便可。
4.4.2安装pip
下载地址:https://pypi.org/project/pip/#files
下载完成以后,解压到一个文件夹。这里解压后可能会出现的一个文件夹“dist” 而后这个文件夹里面才有一个压缩包,若是出现这种状况就须要解压真实的这个压缩包到目录上
解压完成后在当前目录按住Shift+鼠标右键后点击“在此处打开命令窗口”或用CMD控制台进入解压目录并输入:
python setup.py install
安装失败:
如输入安装命令出现,这种状况的缘由是由于当前目录下找不到这个执行命令,确认是不是在解压出来的PIP文件主目录下执行的
D:\DeepLearning\dist>python setup.py install python: can't open file 'setup.py': [Errno 2] No such file or directory D:\DeepLearning\dist>
安装完成:
检测安装:
打开CDM输入pip list 如出现版本信息则表示安装成功
D:\DeepLearning\dist>pip list Package Version ---------- ------- pip 10.0.1 setuptools 28.8.0
4.4.3 安装six : pip install six
D:\DeepLearning\dist>pip install six Collecting six Downloading https://files.pythonhosted.org/packages/67/4b/141a581104b1f6397bfa 78ac9d43d8ad29a7ca43ea90a2d863fe3056e86a/six-1.11.0-py2.py3-none-any.whl Installing collected packages: six Successfully installed six-1.11.0
4.4.4安装yaml: pip install pyyaml
D:\DeepLearning\dist>pip install pyyaml Collecting pyyaml Downloading https://files.pythonhosted.org/packages/4a/85/db5a2df477072b2902b0 eb892feb37d88ac635d36245a72a6a69b23b383a/PyYAML-3.12.tar.gz (253kB) 40% |█████████████ | 102kB 195kB/s eta 0:00:0 44% |██████████████▎ | 112kB 286kB/s eta 0:00 48% |███████████████▌ | 122kB 276kB/s eta 0:0 52% |████████████████▉ | 133kB 273kB/s eta 0: 56% |██████████████████▏ | 143kB 421kB/s eta 60% |███████████████████▍ | 153kB 354kB/s eta 64% |████████████████████▊ | 163kB 345kB/s et 68% |██████████████████████ | 174kB 382kB/s e 72% |███████████████████████▎ | 184kB 530kB/s 76% |████████████████████████▋ | 194kB 536kB/ 80% |██████████████████████████ | 204kB 544kB 84% |███████████████████████████▏ | 215kB 522 89% |████████████████████████████▌ | 225kB 61 93% |█████████████████████████████▉ | 235kB 7 97% |███████████████████████████████ | 245kB 100% |████████████████████████████████| 256k B 1.6MB/s Installing collected packages: pyyaml Running setup.py install for pyyaml ... done Successfully installed pyyaml-3.12
4.4.5 安装numpy: pip install numpy
安装过程可能会出现如下状况:
THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS FILE. If you have u pdated the package versions, please update the hashes. Otherwise, examine the pa ckage contents carefully; someone may have tampered with them. numpy from https://files.pythonhosted.org/packages/30/70/cd94a1655d082b8f024 b21af1eb13dd0f3035ffe78ff43d4ff9bb97baa5f/numpy-1.14.2-cp36-none-win_amd64.whl#s ha256=6be6b0ca705321c178c9858e5ad5611af664bbdfae1df1541f938a840a103888: Expected sha256 6be6b0ca705321c178c9858e5ad5611af664bbdfae1df1541f938a84 0a103888 Got 6e3df481acb4ee8249957a82771e7a23ab89368e7914bb131c368e83 b976f270
主要缘由:由于网速问题致使的,致使下载的文件不彻底出现不匹配的文件MD5
解决方法:从新执行该命令下载文件并安装,多试几回就行了。
安装完成:
Installing collected packages: numpy Successfully installed numpy-1.14.2
以上全部事情准备好了就能够开干了。
五、下载caffe并编译
5.1 下载caffe
小建议:咱们这里使用的是caffe官网提供的版本,部分朋友使用的是微软提供的windows版本 .如使用的是微软提供的windows版本好像是在caffe根目录下有一个windows文件夹,文件夹内容就是已经建立好caffe相关VS文件的,
因此可能在安装,使用过程上有差别,建议是使用本身编译安装的版本。由于使用已经建立安装好的caffe文件可能由于环境不一样遇到某种未知问题。例以下载的caffe里面建立好的VS文件是VS2013建立的并平台版本(SKD)和本机安装的有出入的话 反而会花更多的时间去调整配置。
使用git命令下载 git clone https://github.com/BVLC/caffe.git 也能够手动下载并解压出来
$ git clone https://github.com/BVLC/caffe.git Cloning into 'caffe'... remote: Counting objects: 54253, done. remote: Total 54253 (delta 0), reused 0 (delta 0), pack-reused 54253 Receiving objects: 100% (54253/54253), 62.60 MiB | 359.00 KiB/s, done. Resolving deltas: 100% (36633/36633), done. Administrator@STI5X9B683AVXOY MINGW64 /d/DeepLearning/caffe $
初始目录结构以下:
5.2 修改配置并执行建立caffe文件(这一步很重要)
经过caffe根目录找到并进入scripts文件夹后找到build_win.cmd并进行编辑。
主要修改部分语句是从第7行~31行之间 。70~99行之间,具体修改请经过下面步骤决定。
修改7~31行的if语句(if里面修改项描述同修改70~99行之间代码逻辑):
修改70~99行之间
对比能够发现 if和else里面的代码大同小异,可是却少了后面设置对应python中的Anaconda版本路径这几行代码。默认文件是没有这几行代码的,咱们须要手动复制if里面修改玩的代码至else代码中,修改以下:
编辑主要修改的项是:
一、修改成CPU计算训练 CPU_ONLY=1
二、修改对应的VS版本生成代码 MSVC_VERSION=14 // 2013的VS版本则修改成12 2015的VS版本则修改成14
三、修改编译方式,使用VS编译 不使用NinJa编译 WITH_NINJA=0 //这里必定要设为0。除非你想用ninja编译器来进行编译。
四、修改对应的python版本 PYTHON_VERSION=3 //2.7的python版本要修改成2 若是是3.5版本的python修改成3
五、修改python开发对应的Anaconda版本 //如第三项修改 PYTHON_VERSION 为3 的话将按照以下修改 安装的是python2.7的版本 那将修改EQU 2的记录
if !PYTHON_VERSION! EQU 3 ( set CONDA_ROOT=Anaconda3对应安装的目录地址 )
注:以上修改带有//描述的则须要经过计算机环境决定。
5.3 进行建立caffe可执行的VS文件
当以上内容都修改完成后,咱们来运行build_win.cmd开始来建立VS执行文件。就是用于编译的caffe文件。在caffe根目录下的scripts目录中Shift+鼠标右键打开“在此处打开命令窗口” 而后输入start build_win.cmd。
第一次开车-(翻车了):
D:\DeepLearning\caffe\caffe\scripts>start build_win.cmd
执行后貌似没有成功。
'"D:\VisualStudio\Common7\Tools\..\..\VC\vcvarsall.bat"' 不是内部或外部命令,也 不是可运行的程序 或批处理文件。 CMake Error at CMakeLists.txt:18 (project): Failed to run MSBuild command:.......此处省略一万字
出现了异常,什么错误呢。又是一个皇天不负有心人啊,通过百般的测试发现是由于VS安装环境的问题。像我以前安装这个VS2015的时候由于不用开发C++相关的内容,因此我在安装的时候选择了自定义安装并无勾选C++相关的编译器以及“内裤”。
因此致使在编译代码的时候找不到C++相关的命令。找到问题了如何解决呢?方法很简单,从新安装VS开发工具便可。
不不不,别急,还有一种方案。可能你不知 VS安装工具就是这么强大,不用卸载从新安装,它能够像打补丁同样,再从新打开安装程序而后选择你没有安装的功能进行安装便可。将编程语言中的Visual C++所有勾选上在点击下一步安装便可,通常安装这几个项的话半个小时左右(因电脑性能决定)。
万事俱备只欠东风了,安装好C++相关组件后咱们再次进行执行start build_win.cmd命令(注意:每次执行build_win.cmd 命令前记得清空build_win.cmd文件目录下的build文件夹的内容).........
第二次开车-(翻车了):
系统找不到指定的驱动器。 系统找不到指定的驱动器。 此处省略一万字.......============================================================ -- The C compiler identification is MSVC 19.0.24215.1 -- The CXX compiler identification is MSVC 19.0.24215.1 -- Check for working C compiler: D:/VisualStudio/VC/bin/x86_amd64/cl.exe -- Check for working C compiler: D:/VisualStudio/VC/bin/x86_amd64/cl.exe -- work s -- Detecting C compiler ABI info -- Detecting C compiler ABI info - done -- Check for working CXX compiler: D:/VisualStudio/VC/bin/x86_amd64/cl.exe -- Check for working CXX compiler: D:/VisualStudio/VC/bin/x86_amd64/cl.exe -- wo rks -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Detecting CXX compile features -- Detecting CXX compile features - done -- Found PythonInterp: D:/DeepLearning/Anaconda3/python.exe (found suitable vers ion "3.6.4", minimum required is "2.7") CMake Error at cmake/WindowsDownloadPrebuiltDependencies.cmake:40 (message): Could not find url for MSVC version = 1900 and Python version = 3.6. Call Stack (most recent call first): CMakeLists.txt:77 (include) -- Configuring incomplete, errors occurred! See also "D:/DeepLearning/caffe/caffe/scripts/build/CMakeFiles/CMakeOutput.log". ERROR: Configure failed D:\DeepLearning\caffe\caffe\scripts>
貌似又失败了,异常描述好像是由于python版本不一致致使的。因而乎我又安装了Anaconda2版本并进行修改了文件build_win.cmd文件
将对应的python版本匹配对应版本的Anaconda
:: Set python 2.7 with conda as the default python if !PYTHON_VERSION! EQU 2 ( set CONDA_ROOT=D:\DeepLearning\Anaconda2 ) :: Set python 3.5 with conda as the default python if !PYTHON_VERSION! EQU 3 ( set CONDA_ROOT=D:\DeepLearning\Anaconda3 )
第三次开车-(翻车了):
-- Found PythonInterp: D:/DeepLearning/Anaconda3/python.exe (found suitable vers ion "3.6.4", minimum required is "2.7") CMake Error at cmake/WindowsDownloadPrebuiltDependencies.cmake:40 (message): Could not find url for MSVC version = 1900 and Python version = 3.6. Call Stack (most recent call first):
当我第三次翻车后我就在思考了,我是否是不适合这个牛逼的东西,可是没办法啊,既然上了高速了又岂能随随便便下高速。因而乎我又进行了修改,将build_win.cmd文件中的判断python版本而后匹配对应Anaconda 都修改了为匹配Anaconda2。因而乎....
第四次开车-(飞起来了):
又是一个皇天不负有心人啊。成功了。
先看修改后的配置文件(记得if和else里面都要修改),至于为啥是这样呢 我也母鸡。。。多是个人配置或者环境致使的。按道理我配置的是python3.6的 应该Anaconda配置也要是3的版本才对,可是我引用Anaconda3就是不经过,因此只能改成Anaconda2让它经过先了,其次就是我在翻阅资料的时候看见有大佬说 若是说这里安装了Anaconda2/3都无法成功时还须要安装Miniconda2,原文意思是说后面引用都是Miniconda须要安装这个。可是我这里本机测试是正常的,因此我是没有安装了,若是须要安装的话经过这里进行下载安装,安装界面和安装Anaconda时选步是同样的。下载地址:https://conda.io/miniconda.html :
:: Set python 2.7 with conda as the default python if !PYTHON_VERSION! EQU 2 ( set CONDA_ROOT=D:\DeepLearning\Anaconda2 ) :: Set python 3.5 with conda as the default python if !PYTHON_VERSION! EQU 3 ( set CONDA_ROOT=D:\DeepLearning\Anaconda2 )
而后你会发现控制台正在默默的下载一个文件,下载的内容就是生成caffe项目时所需的依赖项。下载完成后自动生成Visual Studio对应版本的的sln文件。
如libraries_v140_x64_py27_1.1.0.tar.bz2文件出现下载失败致使编译失败,可经过手动下载该文件而后丢入到待解压目录中并再从新执行build_win文件。
本文提供下载地址 or 官方下载地址。下载完成后复制该压缩包并黏贴到 “C:\Users\Administrator\.caffe\dependencies\download”中,如用户名有差别须要自行查找 好比“C:\Users\XXXXX\.caffe\dependencies\download”。
而后打开caffe根目录\cmake\WindowsDownloadPrebuiltDependencies.cmake这个文件,把下载文件的部分代码注释掉:
而且打开 caffe根目录\scripts\download_prebuilt_dependencies.py文件 注释掉下载代码:
如网络状态较好,未出行以上状况咱们耐心的等待便可。........当依赖下载完成后就开始生成项目了。
通过耐心等待几分钟后至于生成完成了。
出现警告不用理会,咱们直接进入生成的文件夹进行打开caffe项目而后编译。就是build_win.cmd文件目录中的build文件夹。
进入这个文件夹后,里面结构大体这样,版本不一样,生成的文件有细微差别。而后直接双击 Caffe.sln文件会自动使用VS打开的。
5.4 进行编译caffe
我翻译资料的时候发现不少大佬说在生成解决方案的时候使用 Release 方式。而后平台版本调整为X64。使用Release和Debug的区别我就不在这里说了。可是这里编译模式呢 不会直接影响对caffe的使用,因此Debug也是能够的。
等待VS工具加载完项目后咱们点击顶部菜单栏的 生成>生成解决方案 或经过右侧项目栏也是能够的。结果是同样的。如编译正常经过的话 控制台打印信息以下:
此处省略一万零一字 41> -- Creating hardlink for opencv_imgcodecs310d.dll in D:/DeepLearning/caffe/caffe/scripts/build/test/Debug 41> -- Failed to create hardlink D:/DeepLearning/caffe/caffe/scripts/build/test/Debug/opencv_imgcodecs310d.dll. Copying instead. 41> -- Copying opencv_imgcodecs310d.dll to D:/DeepLearning/caffe/caffe/scripts/build/test/Debug 41> -- Creating hardlink for opencv_imgproc310d.dll in D:/DeepLearning/caffe/caffe/scripts/build/test/Debug 41> -- Failed to create hardlink D:/DeepLearning/caffe/caffe/scripts/build/test/Debug/opencv_imgproc310d.dll. Copying instead. 41> -- Copying opencv_imgproc310d.dll to D:/DeepLearning/caffe/caffe/scripts/build/test/Debug 41> -- Creating hardlink for python27.dll in D:/DeepLearning/caffe/caffe/scripts/build/test/Debug 45>------ 已跳过生成: 项目: runtest, 配置: Debug x64 ------ 45>没有为此解决方案配置选中要生成的项目 ========== 生成: 成功 40 个,失败 0 个,最新 0 个,跳过 5 个 ==========