原由:算法
前段时间,由于涉及到一张表的大数据操做,要同时进行增删改,我跟师傅想了不少优化办法,结果都不尽人意。刚开始用的就是原始算法,先更新现有记录,再插入知足要求的其余记录,最后再删除多余记录,可是少许数据还能够,10W条数据就不行了,前台的超时时间是60s,远远没法知足要求。以后又想办法将任务进行拆分,根据每条记录流水号尾字符不一样进行拆分,用多个线程同时执行,一直拆分红10个任务(尾字符分别为0、一、二、3 ... 9),用十个线程同时去执行,可是时间仍是很慢,最多处理13W条数据左右,50W条数据就让人没法忍受了。最后无奈只好把以前的优化所有铲掉,改成merge into操做,再作了一些优化,将50W条数据的单线程耗时缩短到三十多秒,特此,将merge into的用法总结以下:(http://blog.csdn.net/yuzhic/article/details/1896878)大数据
有一个表T,有两个字段a、b,咱们想在表T中作Insert/Update,若是条件知足,则更新T中b的值,不然在T中插入一条记录。在Microsoft的SQL语法中,很简单的一句判断就能够了,SQL Server中的语法以下: 优化
if exists(select 1 from T where T.a='1001' ) update T set T.b=2 Where T.a='1001' else insert into T(a,b) values('1001',2);
Oracle中,要实现相同的功能,要用到Merge into来实现(Oracle 9i引入的功能),其语法以下:
spa
MERGE INTO table_name alias1 USING (table|view|sub_query) alias2 ON (join condition) WHEN MATCHED THEN UPDATE table_name SET col1 = col_val1, col2 = col_val2 WHEN NOT MATCHED THEN INSERT (column_list) VALUES (column_values);
严格意义上讲,”在一个同时存在Insert和Update语法的Merge语句中,总共Insert/Update的记录数,就是Using语句中alias2的记录数”。因此,要实现上面的功能,能够这样写:.net
MERGE INTO T T1 USING (SELECT '1001' AS a,2 AS b FROM dual) T2 ON ( T1.a=T2.a) WHEN MATCHED THEN UPDATE SET T1.b = T2.b WHEN NOT MATCHED THEN INSERT (a,b) VALUES(T2.a,T2.b);