工做中遇到千万级单表数据查询优化,博主第一时间想到表分区,特此记录问题的解决过程,避免你们采坑。
数据库表分区把一个大的物理表分红若干个小的物理表,并使得这些小物理表在逻辑上能够被当成一张表来使用。
PostgreSQL数据库中对表作分区,与11g以前的Oracle相似,须要手动建立分区表、索引等。经过继承,好比按时间,每个月建立一个表分区,数据记录到对应分区中。javascript
建立主表结构, 表名称 three_height_data_value, 其中的时间字段名: gather_timejava
CREATE TABLE "public"."three_height_data_value" ( "data_id" varchar(64) COLLATE "pg_catalog"."default" NOT NULL, "data_time" timestamp(6) NOT NULL, "data_value" float8 NOT NULL );
建立存储过程,使用动态SQL, 将大表分区的运维操做实现自动化。linux
CREATE OR REPLACE FUNCTION auto_insert_into_three_height_data_value() RETURNS trigger AS $BODY$ DECLARE time_column_name text ; -- 父表中用于分区的时间字段的名称[必须首先初始化!!] curMM varchar(6); -- 'YYYYMM'字串,用作分区子表的后缀 isExist boolean; -- 分区子表,是否已存在 startTime text; endTime text; strSQL text; BEGIN -- 调用前,必须首先初始化(时间字段名):time_column_name [直接从调用参数中获取!!] time_column_name := TG_ARGV[0]; -- 判断对应分区表 是否已经存在? EXECUTE 'SELECT $1.'||time_column_name INTO strSQL USING NEW; curMM := to_char( strSQL::timestamp , 'YYYYMM' ); select count(*) INTO isExist from pg_class where relname = (TG_RELNAME||'_'||curMM); -- 若不存在, 则插入前需 先建立子分区 IF ( isExist = false ) THEN -- 建立子分区表 startTime := curMM||'01 00:00:00'; endTime := to_char( startTime::timestamp + interval '1 month', 'YYYY-MM-DD HH24:MI:SS'); strSQL := 'CREATE TABLE IF NOT EXISTS '||TG_RELNAME||'_'||curMM|| ' ( CHECK('||time_column_name||'>='''|| startTime ||''' AND ' ||time_column_name||'< '''|| endTime ||''' ) ) INHERITS ('||TG_RELNAME||') ;' ; EXECUTE strSQL; -- 建立索引 strSQL := 'CREATE INDEX '||TG_RELNAME||'_'||curMM||'_INDEX_'||time_column_name||' ON ' ||TG_RELNAME||'_'||curMM||' ('||time_column_name||');' ; EXECUTE strSQL; END IF; -- 插入数据到子分区! strSQL := 'INSERT INTO '||TG_RELNAME||'_'||curMM||' SELECT $1.*' ; EXECUTE strSQL USING NEW; RETURN NULL; END $BODY$ LANGUAGE plpgsql;
说明:
(1) 代码中使用了 TG_ARGV[0] 来获取调用时传入的参数: 用于分区的时间字段名.web
(2) 代码中,经过内置参数 TG_RELNAME 得到了父表的表名称.sql
(3) 首先根据插入时间, 判断对应分区表是否存在? 若存在, 直接插入对应分区子表数据库
(4) 若分区表还不存在, 先建立分区子表和索引, 而后插入数据到所建的子表中.运维
以上代码, 在PostgreSQL v9.4 中调试经过. 理论上, v8.4以上均支持.svg
CREATE TRIGGER insert_three_height_data_value_trigger BEFORE INSERT ON three_height_data_value FOR EACH ROW EXECUTE PROCEDURE auto_insert_into_three_height_data_value('data_time');
确保postgresql.conf中的constraint_exclusion配置项没有被disable 。这一点很是重要,若是该参数项被disable,则基于分区表的查询性能没法获得优化,甚至比不使用分区表直接使用索引性能更低。post
psql -d db1 -U userA
接着输入密码,进入数据库后,输入:性能
\i /pathA/xxx.sql
这种方式无需先登陆数据库,直接用一个命令就能够了
psql -d db1 -U userA -f /pathA/xxx.sql
–查询指定分区表
SELECT nmsp_parent.nspname AS parent_schema , parent.relname AS parent , nmsp_child.nspname AS child , child.relname AS child_schema FROM pg_inherits JOIN pg_class parent ON pg_inherits.inhparent = parent.oid JOIN pg_class child ON pg_inherits.inhrelid = child.oid JOIN pg_namespace nmsp_parent ON nmsp_parent.oid = parent.relnamespace JOIN pg_namespace nmsp_child ON nmsp_child.oid = child.relnamespace WHERE parent.relname = 'plc_import_data_value';
查询全部区表
SELECT nspname , relname ,COUNT(*) AS partition_num FROM pg_class c , pg_namespace n , pg_inherits i WHERE c.oid = i.inhparent AND c.relnamespace = n.oid AND c.relhassubclass AND c.relkind = 'r' GROUP BY 1,2 ORDER BY partition_num DESC;