你们一块儿讨论常见的数据采集技术

小编总结了几种常见的数据采集技术供你们参考，主要分为如下几类：
CS软件数据采集技术。
C/S架构软件属于比较老的架构，能采集这种软件数据的产品比较少。
1、常见的是博为小帮软件机器人，在不须要软件厂商配合的状况下，基于“”所见即所得“的方式采集界面上的数据。输出的结果是结构化的数据库或者excel表。若是只须要业务数据的话，或者厂商倒闭，数据库分析困难的状况下， 这个工具能够采集数据，尤为是详情页数据的采集功能比较有特点。
值得一提的是，这个产品的使用门槛很低，没有 IT背景的业务同窗也能使用，大大拓展了使用的人群。
 2、网络数据采集API。经过网络爬虫和一些网站平台提供的公共API(如Twitter和新浪微博API)等方式从网站上获取数据。这样就能够将非结构化数据和半结构化数据的网页数据从网页中提取出来。
     互联网的网页大数据采集和处理的总体过程包含四个主要模块：web爬虫（Spider）、数据处理（Data Process）、爬取URL队列（URL Queue）和数据。
数据库方式
两个系统分别有各自的数据库，同类型的数据库之间是比较方便的：
1）若是两个数据库在同一个服务器上，只要用户名设置的没有问题，就能够直接相互访问，须要在from后将其数据库名称及表的架构全部者带上便可。 select * from DATABASE1.dbo.table1
2）若是两个系统的数据库不在一个服务器上，那么建议采用连接服务器的形式来处理，或者使用openset和opendatasource的方式，这个须要对数据库的访问进行外围服务器的配置。
不一样类型的数据库之间的链接就比较麻烦，须要作不少设置才能生效，这里不作详细说明。
开放数据库方式须要协调各个软件厂商开放数据库，其难度很大；一个平台若是要同时链接不少个软件厂商的数据库，而且实时都在获取数据，这对平台自己的性能也是个巨大的挑战。
欢迎你们一块儿讨论。