MSSQl分布式查询

MSSQlServer所谓的分布式查询(Distributed Query)是可以访问存放在同一部计算机或不一样计算机上的SQL Server或不一样种类的数据源, 从概念上来讲分布式查询与普通查询区别 它须要链接多个MSSQL服务器也就是具备多了数据源.实如今服务器跨域或跨服务器访问. 而这些查询是否被使用彻底看使用的须要. 

本篇将演示利用SQlExpress连接远程SQlServer来获取数据方式来详细说明分布式查询须要注意细节.先看一下系统架构数据查询基本处理:

固然若是采用了分布式查询 咱们系统采起数据DataBase也就可能在多个远程[Remote Server]上访问时: 

如上截取系统架构中关于数据与缓存流向中涉及的分布式查询业务, 当咱们从客户端Client发起请求数据时. 首先检查MemCache Server缓存服务器是否有咱们想要数据. 若是没有我须要查询数据库.  而此时数据要求查询多个远程服务器上多个数据库中表, 这时利用分布式查询.得到数据 而后更新咱们在缓存服务器MemCache Server上数据保持数据更新同步, 同时向客户端Client直接返回数据.那如何来执行这一系列动做中最为关键分布式查询?

<1>分布式查询方式

咱们知道Microsoft微软公用的数据访问的API是OLE_DB, 而对数据库MSSQlServer 2005的分布式查询支持也是OLE_DB方式.SQL Server 用户可使用分布式查询访问如下内容：

A:存储在多个 SQL Server 实例中的分布式数据

B:存储在各类可使用 OLE DB 访问接口访问的关系和非关系数据源中的异类数据

OLE DB 访问接口将在称为行集的表格格式对象中公开数据。SQL Server 容许在 Transact-SQL 语句中像引用 SQL Server 表同样引用 OLE DB 访问接口中的行集,[其实不用关心这个行集概念 它的功能相似SQl中临时表 不过它容积更大 能容纳类型更多 更丰富]

SQL Server 实例的客户机与 OLE DB 访问接口之间的链接 以下图:

在MSSQL2005中则支持两种方式来进行分布式查询:

<A>使用添加连接服务器方式(Add Link Server)

<B>使用特定名称及特定数据源来直接指定(Add Host Names) 

其实这两种方式在实际运用中是有区别的:

方式A:Add Link Server方式创建服务器之间关联.建立一个连接的服务器，使其容许对分布式的、针对 OLE DB 数据源的异类查询进行访问. 通常适用于持久的数据操做 对于数据量偏大 服务器之间交付时间长特色.

方式B: Add Host Name 利用域来惟一识别数据库以及数据库表对象. 来实现跨服务器访问. 这种方式通常比较简单 主要适用于对数据需求临时性查询是使用偏多. 不适合作大批量数据提取. 有性能瓶颈.

<2>分布式查询实现

在进行实现分布式查询以前.本次测试Demo对应的SQL版本:

肯定SQLServer版本后以下会演示两种方式来实现分布式查询,并对Distributed Query中详细细节进行说明.

<2.1>连接服务器查询

连接服务器配置使 SQL Server 能够对远程服务器上的 OLE DB 数据源执行命令。连接服务器具备如下优势：

1. 访问远程服务器。
2. 可以对企业内的异类数据源发出分布式查询、更新、命令和事务。
3. 可以以类似的方式肯定不一样的数据源

下图显示了连接服务器配置的基础:

 

如今利用连接服务器方式实现数据访问远程服务器数据库CustomerDB中Users表数据先本地添加LinkServer:

-- 创建链接服务器  第一步创建链接  IP方式来控制
EXEC sp_addlinkedserver   '192.168.10.104' , 'SQL Server'
-- 查看连接服务器信息  [测试链接成功]
select name , product, provider, data_source, query_timeout, lazy_schema_validation, is_remote_login_enabled, is_rpc_out_enabled
from sys.servers
where is_linked= 1

如上市创建链接服务器最简单方式.创建连接服务器过程其实调用了系统存储过程Sp_addlinkedserver. 第一个参数为Name 其实用来惟一标识连接服务器. 固然能够其余任何有意义字符串来定义,但我我的建议使用远程服务器的IP来标识.第二个参数是要添加为连接服务器的 OLE DB 数据源的产品名称. 默认为Null,若是指定”SQlServer“则无需指定其余参数.

若是你的本地装有多个数据库实例. 第一个种方式就不适用.这是就须要用SQl2005架构来惟一标识:

-- 含架构名  查询数据两种模式
select top 10 * from [192.168.10.104]. wl . 架构名 . 表名
-- 架构名 [采用默认架构名 ]
select top 10 * from [192.168.10.104]. CustomerDB . dbo. Users

对于Sql2005架构这个概念不少人比较陌生:

架构是造成单个命名空间的数据库实体的集合。命名空间是一个集合，其中每一个元素的名称都是惟一的。 例如，为了不名称冲突，同一架构中不能有两个同名的表。两个表只有在位于不一样的架构中时才能够同名 例如本次Demo 在CustomerDB后对应DBO既是默认的架构名.

建立后.若是须要修改链接服务器属性能够经过sp_serveroption系统Proc来设置:

-- 配置连接服务器属性 sp_serveroption为远程服务器和连接服务器设置服务器选项
-- 语法  sp_serveroption [@server =] 'server',[@optname =] 'option_name',[@optvalue =] 'option_value'
exec sp_serveroption '192.168.10.104','name','192.168.10.104'
-- 查看链接服务器
select * from sys.servers

创建后我就能够直接来查询远程服务器上数据:

-- 查询远程服务器数据
select * from [192.168.10.104].CustomerDB.dbo.Users   --[成功]
-- sp_droplinkedsrvlogin 删除连接服务器登陆名映射 [删除登陆映射]
-- 若是为 NULL，那么将会删除由 sp_addlinkedserver 建立的默认映射 [第二个参数]
exec sp_droplinkedsrvlogin '192.168.10.104' ,NULL
-- 删除连接服务器属性 [删除服务器]
exec sp_dropserver 'mytest' --[删除成功 同时也删除了Sys_Server信息]
-- 查看服务器详细信息
EXEC sp_helpserver

查询结果:

测试查询成功.远程数据成功获取.

当测试完成后咱们不须要这个链接服务器是便可利用SP_DroplinkServer删除掉. 对应参数为建立时Name惟一标识. 经过Sp_helpserver来查看链接服务器详细信息.

注意如上建立链接服务器时设置srvproduct参数即OLED数据源名称时咱们采用了SQlServer方式.

下面说明这种方式特色.：

这种方式是最为简单直接的一种创建连接服务器方式. 可是存在前提的. 测试发现:

在全部数据库的远程链接 dbo 的方式必须创建在 SA 密码相同的基础上 ，不然容易产生没法链接的状况 Sa用户登陆失败. 你也就明白这个SQlServer参数其实就是在本地数据拷贝服务器角色SysAdmin下用户SA.来对服务器进行登陆. 若是你的本地Sa密码与远程服务器上密码不一致 则没法正常链接.

通过测试还发现一种状况:

利用Windows7访问XP(Sp2)系统时始终提示没法解析或拒绝链接SQlServer2005.这个问题我整了很久后来才到官方连接参数中发现.:若是你的XP系统没有打上SP4的补丁包 这个问题会始终出现. 须要特别注意.

<2.2>直接指定数据源分布式查询

其实相对第一种方式, 直接指定方式在SQlServer架构中 其实跳过本地与远程服务器创建映射关系的这一步. 经过连接关系创建 其实就是创建一种内部映射关系. 若是没有映射关系则 大部分设置须要手动控制.

直接指定数据源方式 须要开启分布式查询的基本权限 来进行查询：

-- 若是想使用分布式查询，必须先开通分布式查询 [外围配置 这点是全部查询操做前提]
-- sp_configure--显示或更改当前服务器的全局配置设置
-- reconfigure 指定若是配置设置不须要服务器中止并从新启动，则更新当前运行的值
-- SQL2005默认是没有开启’Ad Hoc Distributed Queries’ 组件
-- 启用权限
exec sp_configure 'show advanced options',1  -- 显示高级配置
reconfigure -- 更新值
exec sp_configure 'Ad Hoc Distributed Queries',1 -- 启用分布式查询
reconfigure
go
-- 关闭分布式查询
exec sp_configure 'Ad Hoc Distributed Queries',0
reconfigure
exec sp_configure 'show advanced options',0
reconfigure
go
-- 开启权限后 另一种查询方式
-- 查询格式
SELECT * FROM OPENDATASOURCE(
'SQLOLEDB',
'Data Source=远程ip;User ID=sa;Password=密码'
).库名.dbo.表名
WHERE 条件
-- 须要开启权限
-- 开启权限 提示[远程的SqlServer不容许远程链接]
select * from OPENDATASOURCE('SQLOLEDB','Data Source=192.168.10.67; User ID=sa; Password=chenkai').wl.dbo.Users

开启权限后. 须要里利用ReConfig命令来确认.对目前分布式查询权限的修改. 若是在使用完分布式查询后注意关闭.最后查询结果:

测试成功.

有些人说使用数据库角色SysAdmin角色下的Sa用户进行远程数据传输和验证. 不安全. 其实在使用过程当中应该不难看出. 在从远程服务器拉取数据库过程当中. 本地数据库须要对权限，建立链接服务器都须要最大用户权限来操做. 而服务器呢, 只须要能链接上 同时对指定数据CustomerDB具备读写的权限便可. 固然你更多远程操做能够把用户赋予CustomerDB的OWner角色.

这时咱们如何用非SA用户来来链接远程用户?

咱们如今远程服务器上对链接建立一个用户名为Test的用户 服务器角色设置Public便可:

在用户角色设置中须要对指定访问数据CustomerDB具备读写权限: 

在远程服务器建立TEst用户时使用SQlServer身份验证方式登陆 这时设置密码为RemoteDB.在使用非Sa用户进行远程：

-- 执行前先删除已经存在数据
Exec sp_droplinkedsrvlogin [192.168.10.76],Null
Exec sp_dropserver 'demodb'
-- 建立服务器链接
EXEC  sp_addlinkedserver
@server='demodb',-- 被访问的服务器别名
@srvproduct='',
@provider='SQLOLEDB',
@datasrc='192.168.10.76'   -- 要访问的服务器
EXEC sp_addlinkedsrvlogin
'demodb', -- 被访问的服务器别名
'false',
NULL,
'Test', -- 账号
'RemoteDB' -- 密码

如上咱们首先清除已经可能建立服务器数据记录. 而后建立服务器链接.sp_addlinkedSrvlogin系统存储过程用来建立连接服务器上远程登陆之间的映射 . 即咱们能够详细设置本地与远程服务器详细的映射信息. 例如设置咱们特定用户访问的用户名和密码.

查询数据:

-- 查询指定用户Test数据
select * from [demodb].CustomerDB.dbo.Users -- [如上测试成功]

查询结果:

指定用户Test对CustomerDB访问数据方式测试成功.

 

<3>问题排查与更多查询方式

 

当咱们在实际编程中进行访问远程数据时 由于不一样操做环境会引起各类各样的异常,以下我会提出一种常见的异常方式解决办法和关于远程数据操做更多查询方式.

<3.1>没法创建远程链接

其实这个问题在作分布式查询时极其常见. 而引发这个问题的因素过多. 咱们一时没法判断真正引起这个异常地方. 只能经过逐个排查方式来进行设置:

例如咱们在创建关联关系后 进行查询时会遇到:

提示是: 在进行远程链接时超时, 引发这个问题缘由多是远程服务器积极拒绝访问!

首先要在Sql Server Configuation Manager中保证你服务已经运行 且是开机自动运行.

再次检查SQl2005外围配置DataBaseEngine容许远程链接:

设置完成后.咱们还须要设置Sql Server Analysis Services分析服务也支持远程数据查询:

在远程服务器上若是启用了防火墙则可能对目前SQl Server方位实例进行拦截. 因此在服务器端启用防火墙状况下要为SQl DAtaBase建立例外.防止客户端请求被拦截.

<3.2>进程被其余用户占用

当咱们在远程分布式查询中有建立动做或是相似建立一个新的数据库. 有时会提示 “该数据库没法操做 已经别其余进程占用”异常. 致使咱们没法访问数据库. 或是执行咱们要作的建立操做.

遇到这种状况咱们能够利用SA权限查询到Master数据库对应数据库被占用的进程 并杀掉Kill Process.查询:

-- [sysprocesses 表中保存关于运行在 Microsoft® SQL Server™ 上的进程的信息。
-- 这些进程能够是客户端进程或系统进程。sysprocesses 只存储在 master 数据库中]
use Master
go
SELECT * FROM sysprocesses ,sysdatabases WHERE sysprocesses.dbid=sysdatabases.dbid AND sysdatabases.Name='CustomerDB'
select * from sysprocesses
select * from sysdatabases
-- 杀死占用进程
kill 5

当咱们对进程占用清除时有可能访问数据库被系统进程占用. 则这时用Sa没法杀死.这时提示: 

 

“Only use Process can be Kill ”在SQl2005 只有只有用户进程才能Kill掉.

<3.3>更多的查询操做

每每咱们在实际操做中须要对数据读写有更多要求. 例如从远程链接多个服务器进行数据读取或是把本地数据提交到服务器上. 为了提升效率和性能采用分布式事务来进行批量操做等等. 以下简单介绍在分布式查询中多中数据操做:

把远程数据导入本地:

-- 导入数据操做
select top(3) * into TestDB.dbo.CopyDb from  [192.168.10.76].wl.dbo.Users

导入时使用Into方式 自动在本地建立CopyDB表彻底复制远程服务器上Users表的数据结构.可是要注意在进行后 的CopyDB将不包含原表的主键和索引约束. 虽然能快构建 可是主键和索引设置都会丢失.

本地数据导入远程:

-- 把本地表导入远程表 [openWset方式]
 insert openrowset( 'SQLOLEDB ', 'sql服务器名 '; '用户名 '; '密码 ',数据库名.dbo.表名)  select *from 本地表
-- 把本地表导入远程表 [open Query方式]
 insert openquery(ITSV, 'SELECT * FROM 数据库.dbo.表名 ')

更新本地表数据:

-- 把本地表导入远程表 [opendataSource方式]
insert opendatasource( 'SQLOLEDB ', 'Data Source=ip/ServerName;User ID=登录名;Password=密码 ').数据库.dbo.表名
-- 更新本地表 [openowset方式]
update b  set b.列A=a.列A  from openrowset( 'SQLOLEDB ', 'sql服务器名 '; '用户名 '; '密码 ',数据库名.dbo.表名)
as a inner join 本地表 b  on a.column1=b.column1

固然还有更多方式来操做分布式查询操做.各位均可以尝试.

 

<4>尾 语

 

如上是我最近在项目中处理关于分布式查询涉及到方方面面. 从系统架构到分部是查询具体操做细节.基本都是一些很是基础运用.固然也参考很多资料.以及动手来验证整个过程出现问题缘由所在. 篇幅有限 写的有些仓促. 不免有纰漏地方 还望各位指正.