一个大数据批量插入和更新的问题

sql server批量插入数据和 更新数据。 sql

加入如今有个需求是这样的, 数据库

用户上传两个文件,每一个文件的数据条数都很大,若是一条数据既在A表出现,又在B表中出现,那么A表该条数据某个值设置为true; sqlserver

在代码中处理这个问题的方便之处在于,你能够将比对后最终的数据存入数据库,可是发现,即便将两个表的数据都读到内存中,可是4,5十万的信息量,在内存中做上述逻辑依然会很慢。由于内存中查找数据彷佛是便利,因此花费总时间很大。 server

若是将A表批量存入数据库,再经过B表的数据批量更新A表相关数据的字段,,同样是查找,可是数据库经过在相关列上创建了索引,因此查找时间至关短。 索引

若是能够,将数据查询的任务交给 sqlserver,由于它对经过索引来查询数据,比较快。 内存

相关文章
相关标签/搜索