自留备用

本地

  • 安装xamppsphp

  • 安装python
    安装python相关支持(数据库啥的,用的时候报错一项一项安装就行)python

  • 安装scrapydmysql

  • 安装scrapyd-client
    查看资料:https://blog.csdn.net/ruoshui_t/article/details/107025586web

  • 安裝Crypto 解密使用
    通常安裝完后显示找不见Crypto,找到python\lib\site-packages下的Crypto,把C改成大写Csql

报错 No module named ‘Crypto.Cipher’”
pip install pycryptodomedocker

IDE
  • python使用PyCharm
  • php使用VSCode
    查看资料:https://blog.csdn.net/ruoshui_t/article/details/106208987
建立项目
  • 建立文件夹
    scrapy startproject wxz 建立文件夹wxz
  • 进入 wxz\wxz>cd spiders
    spiders:是存放你Spider文件,也就是你爬取的py文件
  • 建立爬虫(一个项目能够建立多个)
    scrapy genspider taobaoSpider baidu.com // scrapy genspider 文件名称 须要爬取得域名
  • 运行爬虫
    scrapy crawl maoyanSpider

Linux服务器

默认自带python2 须要安装python3,建议3.6
python2不可删除数据库

服务器使用scrapyd会有问题,由于有两个python版本,
服务器安装程序是所有使用pip3,执行程序使用python3apache

安装web
安装apache
安装mysql
安装phpdjango

apache配置,默认项目在www下(配置文件中有具体路径),若是换目录须要权限
我不会给权限,不会开端口
因此我全给关掉了服务器

关闭权限控制器 使用setenforce 0
关闭关闭防火强 service iptables stop
以上重启无效

定时任务

查看资料:https://blog.csdn.net/ruoshui_t/article/details/107025713

python写服务器

一、安装Django
pip install Django

二、建立项目
django-admin startproject 项目名称

三、建立应用
python manage.py startapp 应用名

四、运行项目
python manage.py runserver 8081

docker