mysql 、sqlserver数据库，实时同步，增量同步（脚本模式）

下载网站:www.SyncNavigator.CN 
 客服QQ1793040
----------------------------------------------------------

关于HKROnline SyncNavigator 注册机价格的问题

 

 

HKROnline SyncNavigator 8.4.1 非破解版 注册机 受权激活教程
 

 

最近一直在研究数据库同步的问题，在网上查了不少资料，也请教了不少人，找到了一种经过快照复制的方法。研究了一番后发现以前就是用的这个方法，效果不是很好，果断放弃。通过了一番寻觅和他人指点，最后从一位热心网友那里得知一款很好用的软件—— SyncNavigator。

 

 

好东西就要拿出来跟你们分享，因此今天向你们介绍一下这款软件，及其一些使用方法。下面先看看它有什么强大的功能吧！

 

SyncNavigator的基本功能：

 

自动同步数据/定时同步数据
不管是实时同步/24小时不间断同步，仍是根据计划任务(每小时/每日/每周/等)定时自动同步都能彻底胜任。

完整支持 Microsoft SQL Server
完整支持 Microsoft SQL Server 2000 2005 2008 数据库类型。并能在不一样数据库版本之间相互同步数据。

数据集成（Data Integration）产品提供数据同步服务，有向导模式和脚本模式两种方式。向导模式更简单，脚本模式更灵活。

本章介绍如何将Table Store中的增量数据经过数据集成的脚本模式同步到OpenSearch中。

途径

数据集成脚本模式

• Reader：OTSStreamReader
• Writer：OSSWriter

配置Table Store

无需配置。

配置OSS

无需配置。

配置数据集成

1. 建立Table Store数据源。
    

   说明

    

   • 若是已经建立了Table Store的数据源，能够跳过这一步。
   • 若是您不但愿建立数据源，也能够在后续的配置页面中配置相应的endpoint、instanceName、AccessKeyID和AccessKeySecret。

   建立数据源的具体步骤，请参见建立Table Store数据源。

2. 建立OSS数据源。
   本操做与上一个步骤相似，只是选择OSS做为数据源。

    

    

   说明 配置OSS数据源的参数时，注意Endpoint不包括bucketName。
3. 建立同步任务。
   1. 登陆数据集成控制台。
   2. 在同步任务页面，选择脚本模式。
   3. 在弹出的导入模板对话框中，来源类型选择OTS Stream，目标类型选择OSS。
   4. 单击确认，进入配置页面。
4. 完善配置项。
   1. 在配置界面，已经提早嵌入了OTSStreamReader和OSSWriter的模板，请参考如下解释完成配置。
       

      { "type": "job", "version": "1.0", "configuration": { "setting": { "errorLimit": { "record": "0" # 容许出错的个数，当错误超过这个数目的时候同步任务会失败。 }, "speed": { "mbps": "1", # 每次同步任务的最大流量。 "concurrent": "1" # 每次同步任务的并发度。 } }, "reader": { "plugin": "otsstream", # Reader插件的名称。 "parameter": { "datasource": "", # Table Store的数据源名称，若是有此项则再也不须要配置endpoint，accessId，accessKey和instanceName。 "dataTable": "", # TableStore中的表名。 "statusTable": "TableStoreStreamReaderStatusTable", # 存储TableStore Stream状态的表，通常不须要修改。 "startTimestampMillis": "", # 开始导出的时间点，因为是增量导出，须要循环启动此任务，则这里每次启动的时候的时间都不同，这里须要设置一个变量，好比${start_time}。 "endTimestampMillis": "", # 结束导出的时间点。这里也须要设置一个变量，好比${end_time}。 "date": "yyyyMMdd", # 导出哪一天的数据，功能和startTimestampMillis、endTimestampMillis重复，这一项须要删除。 "mode": "single_version_and_update_only", # TableStore Stream导出数据的格式，目前须要设置成：single_version_and_update_only。若是配置模板中没有则须要增长。 "column":[ # 须要导出TableStore中的哪些列到OSS中去，若是配置模板中没有则须要增长，具体配置个数由用户自定义设置 { "name": "uid" # 列名，这个是Table Store中的主键 }, { "name": "name" # 列名，这个是Table Store中的属性列。 }, ], "isExportSequenceInfo": false, # single_version_and_update_only 模式下只能是false。 "maxRetries": 30 # 最大重试次数。 } }, "writer": { "plugin": "oss", # Writer插件的名称 "parameter": { "datasource": "", # OSS的数据源名称 "object": "", # 最后备份到OSS的文件名的前缀，建议Table Store实例名/表名/date。好比"instance/table/{date}" "writeMode": "truncate", # 支持truncate|append|nonConflict，truncate会清理已存在的同名文件；append会加到已存在的同名文件内容后面；nonConflict会报错当同名文件存在时。 "fileFormat": "csv", # 文件类型 "encoding": "UTF-8", # 编码类型 "nullFormat": "null", # 当遇到控制时，在文本中如何表示 "dateFormat": "yyyy-MM-dd HH:mm:ss", # # 时间格式 "fieldDelimiter": "," # 每一列的分隔符 } } } }

       

      说明 详细的配置项解释请参见 配置OTSStreamReader和 配置OSSWriter。
   2. 单击保存，保存任务。
5. 运行任务。
   1. 单击页面上方的运行。
   2. 在弹出的配置框中，配置变量参数。
   3. 单击确认后开始运行任务。
   4. 运行结束后登陆OSS控制台检查是否成功备份文件。
6. 配置调度。
   1. 单击提交。
   2. 在弹出的对话框中，配置各项参数。
      

       

      参数说明以下：

       

      参数	描述
      调度类型	选择周期调度。
      自动重跑	若是勾选，则当失败的时候会默认重试3次，每次间隔2分钟。
      生效日期	使用默认值。默认从1970-01-01到一百年后。
      调度周期	选择分钟。
      起始时间	选择00:00至23:59，表示全天24小时都须要调度。
      时间间隔	选择5分钟。
      start_time	输入$[yyyymmddhh24miss-10/24/60]，表示调度时间减去10分钟。
      end_time	输入$[yyyymmddhh24miss-5/24/60]，表示调度时间减去5分钟。
      date	输入${bdp.system.bizdate}，表示调度日期。
      依赖属性	若是有依赖则填写，没有则不用填。
      跨周期依赖	选择自依赖，等待上一调度周期结束，才能继续运行。

   3. 单击确认。

      周期性的同步任务配置完成，当前配置文件显示为只读状态。

7. 查看任务。
   1. 单击页面上方的运维中心。
   2. 在左侧导航栏，选择任务列表 > 周期任务，能够查看新建立的同步任务。
   3. 新建的任务会从次日00点开始执行。
      • 在左侧导航栏中，选择任务运维 > 周期实例，查看每个预建立的当天同步任务，每一个任务相隔5分钟，每一个任务处理过去10~5分钟的数据。

      • 单击实例名称，能够查看详情。

   4. 单个任务在运行中或运行结束后，能够查看日志。
8. 检查导出到OSS中的数据。

   登陆OSS控制台，查看是否生成了新的文件，文件内容是否正确。

至此，Table Store数据能够在延迟5~10分钟的基础上自动同步到OSS中了。