python爬虫学习 day001

python3 + pip安装

Anaconda

Anaconda就是能够便捷获取包且对包可以进行管理，同时对环境能够统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。

特色

• 开源
• 安装简单
• 高性能使用python和R
• 免费社区
• conda包
• 环境管理器
• 1000 +开源

mongodb安装

用来存储爬虫爬取的结果，以便进行处理爬取的数据存储。mondodb安装能够自行百度进行安装，安装过程比较简单。集群环境以及keyfile之类的后续会有专门的博客进行介绍。

Redis安装

内存数据库，能够用来缓存数据，提升运行效率。

mac下使用：

• brew services start redis
• redis-cli
• redis.conf在/usr/local/etc/目录下
• auth password 登陆密码校验

MySql

关系型数据库，用来存储数据。目前在大部分互联网公司中，使用的很是普遍。具体的安装过程，直接google。

pgsql

开源，也有不少大型互联网公司使用。性能不错。

sqlite3

轻量级的本地数据库。若是要支持网络数据库，须要添加网络模块。另外若是要支持集群，须要额外的模块进行支持。

py2和py3同时支持

将python3安装目录下的python可执行文件名字该python3.windows操做系统下会有exe后缀。另外须要将python2和python3所在的目录加入到环境变量path下，便可在命令行下同时使用python2和python3.另外pip2和pip3是一样的。