postgresql cstore_fdw安装与性能测试

据介绍，cstore_fdw实现了 PostgreSQL 数据库的列式存储。列存储很是适合用于数据分析的场景，数据分析的场景下数据是批量加载的。
这个扩展使用了Optimized Row Columnar (ORC)数据存储格式，ORC改进了Facebook的RCFile格式，带来以下好处:

压缩:将内存和磁盘中数据大小削减到2到4倍。能够扩展以支持不一样压缩算法。
列投影:只提取和查询相关的列数据。提高IO敏感查询的性能。
跳过索引:为行组存储最大最小统计值，并利用它们跳过无关的行。

其实官方自测性能也最多就提高了1倍，大多数在10%到50%之间（这里也有一个测试：http://blog.chinaunix.net/uid-20726500-id-4325901.html，不过LZ是根据实际生产场景进行的）。趁着假期对比各基于SQL的数据库平台，顺带测一下。

注：pg目前自己没有列式存储特性（只有基于pg的纯粹列式模式pg），却是有提交的patch，能够参考https://yq.aliyun.com/articles/691878，可是没有被合并。

安装

从https://github.com/citusdata/cstore_fdw下载最新版本，例如cstore_fdw v1.6.1，支持pg 11.5。

安装protobuf-c，以下：

一开始某台测试机器由于不能访问外网，下载了yum install protobuf-c-develprotobuf-c-compiler和protobuf源码进行安装。好不容易安装好了，可是最后安装cstore_fdw自己时，遇到Unrecognized syntax identifier "proto3". This parser only recognizes "proto2"（这里有个未经验证的解决方法：https://blog.csdn.net/AmbitiousRuralDog/article/details/80774518），罢了，最后仍然回去使用yum安装了。
而后编译cstore_fdw便可。以下：
postgresql.conf中增长shared_preload_libraries 配置，以下：

shared_preload_libraries = 'cstore_fdw'    # (change requires restart)

 测试：

-- load extension first time after install
CREATE EXTENSION cstore_fdw;

-- create server object
CREATE SERVER cstore_server FOREIGN DATA WRAPPER cstore_fdw;

-- 建立测试表，具体能够参考github官网

CREATE FOREIGN TABLE xxx_FDW
(
-- 字段列表
)
SERVER cstore_server
OPTIONS(filename '/disk01/cstore/xxx_FDW.cstore',compression 'pglz');

-- 执行SQL（多表关联，只有一张大表是cstore，其余都是普通pg表）

最后效果比greenplum和postgresql都慢了N倍(无论是否压缩，10/11均如此)，可能不太适合咱们的场景（官网的场景和上面网上的都是单表统计）。

附protobuf-c源码安装过程：
https://github.com/protocolbuffers/protobuf
下载2.6.0，而后正常编译。

tar zxvf protobuf-2.6.0.tar.gz
cd protobuf-2.6.0
./configure --prefix=/usr/  #必须在/usr下，不能/usr/local，不然最后install会提示必需要以/usr/lib结尾
make
sudo make install
在/etc/ld.so.conf 中添加一行： /usr/lib，保存退出
/sbin/ldconfig -v
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig  #这一步不执行会提示找不到protobuf

https://github.com/protobuf-c/protobuf-c/releases下载1.2.1，大多数要求protobuf 2.6.0以上。./configure --prefix=/usr/localmake & make install这样就安装完成了，只是最后报了上面的错误。