pyspider的环境安装

第一:确认本身的Python版本3.6.x(因该版本与pyspider较为适应,其余版本易出错)html

  若是不是3.6版本的,且想将版本替换成3.6版本的有如下处理方法:python

  1.再装一个3.6版本python,在pycharm中另外设置一个解释器路径只想python3.6dom

  2.删除python:ide

    1)经过控制面板删除,或者原python安装包中uninstall方法进行删除spa

    2)而后找到原来python安装路径,将路径上的python文件夹删除(路径能够在第一步前经过环境变量找到)命令行

第二:安装phantomjs,并配置环境变量code

  phantomjs下载地址:https://phantomjs.org/download.htmlpyspider

  下载并解压后,将路径手动添加至环境变量htm

第三:建立pyspider 的虚拟环境 blog

  养成习惯,通常而言,一个项目是一个虚拟环境,目的是防止外部安装包之间产生冲突致使代码出错

  具体步骤,面向百度,地址:https://jingyan.baidu.com/article/91f5db1b07b5b01c7f05e33b.html

  简单总结:

    1)建立一个文件夹供虚拟环境使用

    2)经过控制台进入该文件夹下,使用pip install virtualenv 安装虚拟环境建立须要的模块包

    3)经过命令建立虚拟环境 virtualenv pyspider(建立一个名为pyspider的虚拟环境,命令格式:virtualenv 环境名)

      但此时可能会复制本来存在的第三方安装包进入虚拟环境,为防止第三方安装包与pyspider所需第三方包产生冲突,对上述命令行进行再次修改

      virtualenv --no-site-packages pyspider 

      即:经过添加 --no-site-packages 命令行来阻碍复制第三方包

  虚拟环境命令:(venv:虚拟环境名)

    1)建立虚拟环境

     virtualenv venv 

    2)为环境指定Python解释器:

     virtualenv -p c:\python27\python.exe venv 

    3)激活虚拟环境

     activate venv 

    4)中止虚拟环境

     deactivate 

    5)删除虚拟环境

     rmvirtualenv venv  

    6)查看当前已建立的虚拟环境

     workon 

    7)切换虚拟环境

     workon venv 

    

第四:进入到第三步建立的环境中装pypsider模块包

  1.下载 pyspider(使用国内镜像源)

  pip install pyspider -i https://pypi.tuna.tsinghua.edu.cn/simple 

  2.运行 pyspider 运行报以下错误:

  Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.

  解决方案:

  删除wsgidav 而后从新安装2.4.1版本

  使用 pip install wsgidav==2.4.1 直接指定wsgidav的版本,进行覆盖安装

  3.再次运行 pyspider

  报错 cannot import name 'DispatcherMiddleware'

  解决方案:

  卸载 pip uninstall werkzeug

  安装指定版本 pip install werkzeug==0.16.0

  4.再次运行 pyspider 运行成功

  成功后在终端显示以下:

  

  在网页端显示以下:

  

只此,pyspider入门阶段的环境基本配置完毕。

相关文章
相关标签/搜索