数据量估计

每秒2万条

一分2*60=120万

一小时 120*60=7200万

每条按1K计算

72000000*1K=70312.5Mb=68.6645508Gb

硬盘

一个月 69G*24*31=51336G=50T

每数据备份三份： 50T*3=150T

数据冗余20%： 150*0.2=30T

文件系统：3T

总共硬盘：150+30+3=183T

规划 

20台服务器

每台5个硬盘，每一个硬盘2T

每台内存： 128GB（spark随计算复杂度对内存需求越高）

每台：24CPU

参考博客

http://www.itweet.cn/2016/01/25/Hadoop-Disk-Planning/

https://hadoopecosystemtable.github.io/

http://www.aboutyun.com/thread-17211-1-1.html

https://bigdata-ny.github.io/2016/08/21/airbnb-hadoop-hive/

https://yq.aliyun.com/articles/59064

http://www.ha97.com/5673.html