GIScript2016-Docker上的Jupyter Notebook部署

GIScript2016是支持Python3的地理空间数据处理和分析工具包。

GIScript2016支持Jupyter和Spark，能够运行在单机以及大规模集群之上。GIScript with Jupyter+Spark on Docker这一技术栈很是强大，经过conda包管理程序还能够安装大量的科学计算包，如NumPy、Scikit、Pandas以及OpenCV、NLTK、Tensorflow、Keras等机器学习软件包，实在是大数据处理、分析和深刻研究的神器。

GIScript2016将C++系统库封装为Python的过程所有开源了出来，方便研究者使用C++编写本身的专业算法库，而后添加到这个框架中来，是编写高性能的Python扩展模块的极佳参考。

下面咱们在Docker中进行部署GIScript2016的方法，而后使用Jupyter Notebook进行基于浏览器的访问。一旦环境设置完毕，就能够在不少环境下部署Docker容器，使用很是方便。Jupyter Notebook是基于浏览器的编程“笔记本”，很是适合进行数据探索类的研究。

1.安装支持环境

1.1 安装Docker容器支持环境

我用的Mac OS X，如今的Docker已经原生支持了，不用像之前要安装VirtualBox，再使用Vagrant了。
到这里http://www.docker.io下载相应的版本，而后运行安装程序，就能够了。

若是使用Ubuntu，建议使用 http://get.docker.io下载的脚本进行安装，官方的安装方法貌似与Ubuntu内置的lxd有冲突，常常出问题。方法以下：

wget http://get.docker.io -O docker-setup.sh
sudo chmod +x docker-setup.sh
./docker-setup.sh

1.2 安装Jupyter Notebook容器

采用Jupyter的官方Docker技术栈。

docker run -it --name GISpark 
    -p 9000:8888 
    --user root -e GRANT_SUDO=yes 
    -v /本地目录/GISpark:/home/jovyan/work/GISpark 
    jupyter/all-spark-notebook

• 若是Docker下载太慢，尝试加入这个镜像库：https://pee6w651.mirror.aliyuncs.com

1.3 安装和更新容器内软件

打开浏览器，输入：http://localhost:9000。

在里面打开一个终端窗口，运行升级程序，安装须要的软件：

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install python3-dev

2. 下载和编译GIScript2016

2.1 下载源代码

git clone https://git.oschina.net/GIScript/GIScript2016.git

2.2 安装SIP

进入SIP目录，首先进入3dParty，运行：

python3 configure.py
make 
sudo make install

2.3 编译GIScript代码

返回上级目录，运行：

python3 configure.py

进入Build目录，运行：

sudo make install

2.4 编译问题解决

• 嗯，<sip.h>没找到？

进去SIP/Build目录，打开GNUmake.opt文件，按照下面修改：

# Set python.  If you don't
#PY_LIB     = "/usr/lib/python3"
#PY_INCLUDE = "/usr/include/python3.5m"
PY_LIB     = "/opt/conda/lib/python3.5"
PY_INCLUDE = "/opt/conda/include/python3.5m"

再次运行make，又出现fatal error: X11/Xlib.h: No such file or directory，估计是缺乏x11的支持库了。
安装x11的开发库：

sudo apt-get install libx11-dev

再次运行make，编译经过。

3. 运行测试

运行python3，输入：

from GIScript import GISCore

显示找不到啊，到/opt/conda/lib/python3.5/dist-packages下去看，文件全都在呢！

3.1 安装Python的GIScript库

估计是权限呐、路径呐啥的没有找到。换个目录试试：

cp GIScript ../site-packages

再次运行，此次成功了，不过又提示libSuBase.so: cannot open shared object file: No such file or directory。有一些基础动态库没有找到，下面还须要设置一下UGC基础库的路径。

3.2 设置UGC动态库的访问路径

这里须要修改start.sh这个文件，在启动Jupyter是设置，这个文件/usr/local/bin/目录下。 首先拷贝过来，修改，再拷贝回去。在前面添加内容：

# Add GIScript Library Path of UGC.
export SUPERMAP_HOME=/home/jovyan/work/supermap/GIScript2016
export LD_LIBRARY_PATH=$SUPERMAP_HOME/Bin64_Linux_gcc4_9:$LD_LIBRARY_PATH

而后从新启动docker。

docker stop GISpark
docker start GISpark

参考这里设置动态库的路径。除了上面的路径以外，由于Ubuntu14.04有点老了，还有一些系统库的版本须要更新。

cd /opt/conda/lib    #运行环境的系统库目录，根据版本不一样。
mv libstdc++.so libstdc++.so.x
mv libstdc++.so.6 libstdc++.so.6.x
mv libsqlite3.so.0 libsqlite3.so.0.x
mv libsqlite3.so libsqlite3.so.x
mv libgomp.so.1.0.0 libgomp.so.1.0.0.x
mv libgomp.so.1 libgomp.so.1.x
mv libgomp.so libgomp.so.x

3.3 运行例程

3.3.1 Jupyter Notebook

from GIScript import GISCore
print(GISCore)

将显示GISCore的帮助信息，系统配置成功。

3.3.2 Spark Shell

from GIScript import GISCore
from GIScript import Data
from pyspark import SparkConf, SparkContext

APP_NAME = "GeoTest For Spark"
 
def main(sc):
    pnt = GISCore.Point2D(12.0,32.0)
    geo = Data.GeoPoint()
    b = geo.Make(pnt)
    br = sc.broadcast(geo)
    c = sc.parallelize(range(0,1000),10).map(lambda x:br.value.GetPoint()).collect()
    for i in c:
        print(i)

    sc.stop()

if __name__ == "__main__":
    # Configure Spark
    conf = SparkConf().setMaster("spark://master:7077")
    conf = conf.setAppName(APP_NAME)
    sc   = SparkContext(conf=conf)

    main(sc)

3.3.3 获取文件信息

# coding: utf-8

import sys
from GIScript import GISCore,Conversion

'''
! \brief 文件路径定义
'''
strTiffPath  = "Raster/astronaut(CMYK)_32.tif"

if __name__ == '__main__':    
    try:
        fileParser = Conversion.FileParser()
        bOpen = fileParser.Open(strTiffPath, "fileTIF")
        if bOpen:
            rasterInfo  = fileParser.GetRasterInfo()
            nWidth      = rasterInfo.GetWidth()
            nHeight     = rasterInfo.GetHeight()
            pixelFormat = rasterInfo.GetPixelFormat()
            rc2Bounds   = rasterInfo.GetBounds()
            nBandCount  = rasterInfo.GetBandCount()
            nBlockSize  = rasterInfo.GetBlockSize()
            strPrj      = rasterInfo.GetProjection()
            dXRatio     = rc2Bounds.Width()/nWidth
            dYRatio     = rc2Bounds.Height()/nHeight
            colorset    = rasterInfo.GetColorset()
            dMax        = rasterInfo.GetMax()
            dMin        = rasterInfo.GetMin()
            dNoValue    = rasterInfo.GetNoValue()

            print("=========文件基本信息=========")
            print(" 图片宽：" , nWidth)
            print(" 图片高：" , nHeight)
            print(" 像素格式：",pixelFormat)
            print(" 波段数：", nBandCount)
            print(" 块大小：",nBlockSize)
            print(" 是不是块存储数据：",rasterInfo.GetIsTile())
            print(" Bound范围（左上右下）：(", rc2Bounds.left, ","\
                    ,rc2Bounds.top,  ",", rc2Bounds.right, ",", rc2Bounds.bottom, ")")

            print(" X、Y分辨率：", dXRatio, dYRatio)
            print(" 颜色表大小：" , len(colorset))
            print(" 极大值：" , dMax)
            print(" 极小值：" , dMin)
            print(" 无值：", dNoValue)
            

            if strPrj != "":
                print(" 投影：", strPrj)
            else:
                print(" 投影：平面坐标系")

            print("=============================")

            fileParser.Close()

    except SystemExit:
        raise
    except:
        sys.stderr.write(
"""An internal error occured.
""")
        raise

4. 后续计划

上面的配置完成后，咱们可以已经充分体会到了GIScript with Jupyter+Spark on Docker这一技术栈的强大能力，尤为是经过conda包管理程序还能够很是容易地进行各类科学计算包的安装，实在是大数据处理、分析和深刻研究的神器。下一步为了更好地部署和共享：

• 保存Docker 容器为镜像（docker commit），并推送到Docker Hub，这样其余人就能够经过docker pull快速搭建本身的环境了。
• 将上面的脚本整理为一个Dockerfile，从而能够快速从头编译本身的镜像，其余人也能够在此基础上进一步完善或添加本身的模块，提供更好的灵活性。
• 编写更多更好的Jupyter Notebook例程和教程，方便初学者更快地掌握这一强大的工具。