Python后端相关技术/工具栈

• 编辑器

最多见: vim / SublimeText2 / PyCharm

Vim有兴趣能够看看 k-vim 适合Python/Golang开发

• 本地环境
  pip/easy_install 包管理

virtualenv + virtualenvwrapper 库/版本管理, 环境隔离

ipython/ipdb

• Web 框架
  Python 的Web 框架很是多……

我的偏好[有分前后]

flask 轻量! 能够灵活组合各种组件进行开发(第三方组件很丰富), 简单高效, 便于快速开发和维护.

tornado 异步, 高性能, 最新版本4.0

django 有些重, 配置和约定众多, 能够快速开发一些”管理”性质的后台, 其版本更新很是快

其余:

bottle 类flask, 一个文件, 足够小

• ORM
  SQLAlchemy

SQLAlchemy is the Python SQL toolkit and Object Relational Mapper that gives application developers the full power and flexibility of SQL.

彷佛这个就足够了, 无出其右

• 模板

只提第三方(不少框架自带了, 例如Django/Tornado), 话说天下模板都大同小异

Jinja2, 最喜欢的一个, 以前写了篇 PYTHON模板-JINJA

Mako, 介绍PYTHON模板-MAKO

还有挺多的, 后续了解后补充

• 代码管理及Wiki

使用git, 搭建gitlab
gilt针对项目级别, 能够用markdown写一些文档, 能够简单的code review, 能够进行讨论等等.

Wiki的选择:

gollum 很赞

trac老牌, 可是我的不大喜欢其语法编辑方式.

• 代码发布

fabric + rsync

rsync 用于生产代码目录的同步, 足够简单强大

fabric 用于自动化部署, 将流程固化到脚本中重复使用, 提升效率下降风险, PYTHON FABRIC实现远程操做和部署

Fabric is a Python (2.5-2.7) library and command-line tool for streamlining the use of SSH for application deployment or systems administration tasks.

• 项目部署

nginx 服务器, 主要用于负载均衡, 反代等

gunicorn a Python WSGI HTTP Server for UNIX, 用来运行Flask项目

Supervisor A Process Control System, 配置管理各类程序, 进程监控, 自动重启等

• 监控

nagios 服务器各种参数监控, 负载,内存,IO, 网络等, 也能够配置对进程进行监控报警

sentry 实时收集事件日志, 能够在管理后台查看到当前程序异常及报错具体信息, 很强大的平台, 支持多种语言的程序

statsd + graphic

statsd 实时服务数据收集(e.g. counters and timers) 收集后数据提供给graphic进行展现

graphic 企业级开源监控工具(数据绘图工具)，用于采集服务器实时信息并进行统计, Graphite 本身自己并不收集具体的数据，这些数据收集的具体工做一般由第三方工具或插件完成. 其控制台前端项目 tessera

• NOSQL

redis 缓存/持久化/特殊需求(计数-排行榜-时间线等)

memcached 集群, 多用于有时限性质的缓存

mongodb 在技术选型玩了下, 没有正式在生产用过

• 数据库

mysql 不解释, 感受是否是全部Python的底层db都是mysql……

postgresql 开发日志统计系统使用过, 学院派, 各类牛叉的功能, 对json的支持使人印象深入.

• 抓取

beautifulsoup 配合urllib2或者requests库进项简单的抓取分析工做

scrapy 很牛的抓取框架, 适合规模较大,需求复杂的的抓取任务

• 搜索
  solr

完成搜索功能, 虽然Python也有一些实现, 可是感受仍是使用成熟的方案会好些, 文档/资源丰富, 便于开发和维护. Solr, 足够简单及强大.

• 好用的第三方

requests HTTP for humans, 很是好用, 强烈推荐

jieba 中文分词

• 异步和队列

gearman 支持分布式的任务分发框架, 并行/不一样语言之间的通讯. 以前使用主要用来跨机器任务分发.

celery 分布式任务队列

zeromq 以前使用的消息系统是基于这个的, 没有研究过

• 日志

logstash 日志收集和分析, 支持不一样来源不一样格式, 进行统一收集和分析处理

Elasticsearch 数据

Kibana A log analyzing web interface for logstash and elasticsearch

三者组合

• 项目管理

tower