2017年总结及2018年计划

　　时间的车轮已经滚过了2017，原本是计划年末12月份结束以前将过去一年的工做和学习总结下，无奈一直托更，看来拖延症仍是没有改善；趁着2018年到来之时，月初留空，就将这件事情落实下。

　　其实2017年大概就是折腾如下三件事情：

　　1、以性能为相关的工做，这占用这一年的大部分时间，包括性能测试，性能分析和性能调优。

　　一、性能测试：这没什么好说的，大都是重复的执行，先根据测试需求将测试场景设计好，而后重复执行，找到问题就须要记录，而后从新执行验证，挺枯燥的。

　　二、性能分析：性能分析的关键在于数据的收集，没有数据收集何来分析呢，大数据分析也是这套路；数据收集又在于监控，针对不一样的运行环境部署相应的监控配置；待数据收集完毕后，按预期的数据需求来分析数据，服务器的性能分析基本都是看CPU，内存，磁盘和IO，网络和IO等这些数据。大多数服务器又分为应用，中间件，数据库，让服务器专心干一种事情。

　　CPU分析

　　在观察CPU性能的时候，按照负载特征概括的方法，能够检查以下清单：　　

　　* 整个系统范围内的CPU负载如何，CPU使用率如何，单个CPU的使用率呢？
　　* CPU负载的并发程度如何？是单线程吗？有多少线程？
　　* 哪一个应用程序在使用CPU，使用了多少？
　　* 哪一个内核线程在使用CPU，使用了多少？
　　* 中断的CPU用量有多少？
　　* 用户空间和内核空间使用CPU的调用路径是什么样的？
　　* 遇到了什么类型的停滞周期？

　　这里列举了一些系统性能分析工具，调用路径和停滞周期的分析可使用perf工具，dstat工具也比较经常使用，也可使用DTrace等更灵活的工具。

　　

工具	描述
uptime	平均负载
vmstat	包括系统范围的CPU平均负载
top	监控每一个进程/线程CPU用量
pidstat	每一个进程／线程CPU用量分解
ps	进程状态
perf	CPU剖析和跟踪，性能计数器分析

更强大的工具可使用火焰图，火焰图能够帮助分析CPU的调用路径。

内存分析

内存问题检查清单：

* 系统范围内的物理内存和虚拟内存使用率
* 换页、交换、oom的状况
* 内核和文件系统缓存的使用状况
* 进程的内存用于何处
* 进程为什么分配内存
* 内核为什么分配内存
* 哪些进程在持续地交换
* 进程或者内存是否存在内存泄漏？

内存的分析工具以下：

工具	描述
free	缓存容量统计信息
vmstat	虚拟内存统计信息
top	监视每一个进程的内存使用状况
ps	进程状态
Dtrace	分配跟踪

 

除了DTrace，全部的工具只能回答信息统计，进程的内存使用状况等等，至因而否发生内存泄漏等，只能经过分配跟踪。可是DTrace须要对内核函数有很深刻的了解，经过D语言编写脚本完成跟踪。Perf也有一些诸如cache-miss、page-faults的事件用于跟踪，可是并不直观。

 

磁盘和IO分析

对于磁盘IO，能够列出以下等问题来帮助咱们分析性能问题：

* 每块磁盘的使用率是多少？
* 每块磁盘上有多长等待队列？
* 平均服务时间和等待时间时多少？
* 是哪一个应用程序或者用户正在使用磁盘？
* 应用程序读写的方式是怎样的？
* 为何会发起磁盘IO，内核调用路径是什么样的？
* 磁盘上的读写比是多少？
* 随机IO仍是顺序IO？

 Linux对磁盘的性能分析工具主要以下：

工具	描述
iostat	各类单个磁盘统计信息
iotop、pidstat	按进程列出磁盘IO的使用状况
perf、Dtrace	跟踪工具

磁盘上是随机IO仍是顺序IO，不少时候并无很好的方式去判断，由于块设备回写磁盘的时候，随机IO可能已经被整理为顺序IO了。对于磁盘的分析一样可使用perf跟踪事件或者DTrace设置探针。 

 

网络和IO分析

 

对于网络性能，能够列出一下问题来帮助参考分析：

* 平均数据包的大小（RX、TX）是多少？

* 协议是什么？TCP or UDP？
* 活跃的TCP/UDP端口是多少？B/s、每秒链接数？
* 哪一个进程在主动地使用网络？

 

Linux对网络的性能分析工具主要以下：

工具	描述
netstat	网络栈和接口统计信息
sar	统计信息历史
ifconfig	接口配置
perf、Dtrace	TCP/IP栈跟踪：链接、数据包、丢包，延时

 

以上内容参考《性能之巅：洞悉系统、企业与云计算》和服务器性能优化的正确姿式，http://www.brendangregg.com，了解详细的内容也能够去阅读。

 

三、性能调优：这一年的调优主要是数据库方向的调优，由于性能测试发现数据库是性能瓶颈的问题所在，引发性能瓶颈的缘由是数据库服务的IO负载高和表索引；将磁盘从普通的硬盘换成SSD能够解决IO负载高的问题，表索引的问题须要将关键的SQL语句找出来，针对性优化。具体的优化步骤因为篇幅过大，这里不作详细解说，有时间另外开篇。

 

关于性能调优的问题，能够看看《性能之巅：洞悉系统、企业与云计算》和《图解性能优化》这两本书，京东上都有售，价格加起来差很少200来块钱，不算太贵。

 

2、学习Python接口测试和Django

 

2016年末看到虫师在博客更新关于Pyhton接口测试方面，因而也跟着节奏学习；到3月份实体书《Web接口开发与自动化测试——基于Python语言》，主要仍是学习Django接口开发和测试，而后也写了一个简单的博客系统，一直修修补补，到如今也没完工。

 

3、学习Pyhton爬虫和多线程

 

学习爬虫开始目的是为了网上爬点妹子下来，也是在网上发现这个网站比较有趣：http://cuiqingcai.com/，而后就是跟着玩，接着玩了大概3个月，从8月到11月，天天下班回去就研究爬虫写代码；主要是学习Requests库，Beautiful Soup，xpath语法，多线程和MongoDB。

 

以上就是这一年折腾的事情了，对于2018年，计划是作这三件事，从新学习Java，架构和性能调优，数据库。