微信公众号:FocusBI
关注可了解更多的商业智能、数据仓库、数据库开发、爬虫知识及沪深股市数据推送。问题或建议,请关注公众号发送消息留言;
若是你以为FocusBI对你有帮助,欢迎转发朋友圈或在文章末尾点赞[1]html
《商业智能教程》pdf下载地址 数据库
连接:https://pan.baidu.com/s/1f9VdZUXztwylkOdFLbcmWw 密码:2r4v性能优化
在 FocusBI:SSIS体系结构、《SSIS开发案例》这两篇文章中讲到SSIS 开发完最终是要被执行的,可是被执行后会出现什么样的状况,如何去监控它的执行状况;这也是在BI实施中遇到的难题,当有上百个包咱们应该如何管理这个SSIS的ETL 项目,虽然SSIS执行出错是有邮件通知出错了,可是它没法通知你具体是哪一个地方出错,当一个项目有上百个包如何准确的定位出错和错误缘由、如何清楚的知道这些包内部执行了哪些SQL 语句及包执行的时长起始时间等。微信
这里我介绍《DW/BI项目管理》的第二个模块 SSIS执行状况,它能解决如何管理好上百个包及包内运行的情况等。post
首先登陆《DW/BI项目管理》 系统,单击SSIS执行状况 模块,在这个模块就会出现:SSIS执行包时间、SSIS执行的SQL、配置执行计划、配置邮件通知四个子模块,这里的配置执行计划就是把部署好的包选择好顺序会自动生成做业,这个功能在包比较少的状况下是没有多大意义的,只有当有上百个包,并且要迁移时才能帮你节省时间,若是要迁移也能作成存储过程一次性就迁移成功了,因此这个子模块就不在描述。配置邮件通知:这个子模块就是把SQL Server中的邮件模块引用进来我以为没有多大意义,后面会取消这个模块。SSIS执行状况模块我重点讲一下执行包时间和执行的SQL 两个子模块。另外SSIS包执行错误和警告的信息在DW/BI项目管理 的首页 右侧 这个子模块是你一登陆就会出现,为何我要作成一登陆就出现这些内容,即便有邮件通知SSIS的错误或警告可是毕竟是邮件有可能会遗漏。性能
单击 模块 SSIS执行状况中的子模块SSIS执行包时间 就会出现这个页面,页面有执行日期的查询,这里默认的是当天包执行的状况;天天只要打开这个子模块就能清晰的看到包和数据流组件运行的开始时间、结束时间、执行时长、受影响的行数。在表格中看到类型字段这个字段的内容是1表明数据流、0表明包。这里很明显是每一个包中包含有多个数据流,这是很简单的业务才这么作,若是是复杂的业务就须要每个包只包含一个数据流,这里也没有作增量包,因此在更加复杂的业务场景中须要考虑的因素更多,无论怎么复杂这个模块都能管理的很好;执行时长字段就是统计了这个包或数据流执行的时间,这个作性能优化时是很是重要的参考因素。行数字段行数很明显是显示出这个数据流处理的数据行数,这里作的是全量清除和全量抽取,没有作增量,因此这个字段对于作增量比较有意义一些。优化
单击模块 SSIS执行状况中的子模块 SSIS执行的SQL 就会出现下面这个页面,包下面的某个数据流执行了什么样的SQL 语句一目了然,无论你是执行的存储过程这里也会把存储过程给显示出来,在BI实施的过程出于项目的交付须要给甲方使用可能会给甲方本身维护,因此在实施的过程当中尽可能都是SQL来处理较为简单的业务、存储过程处理复杂的业务,这样方便统一管理也对技术人员不要有过高深的了解SSIS的高级功能就能看懂和维护。执行的SQL字段后面的都是DBA使用的数据用于调优SQL参考的。url
把DW/BI项目管理中数据库表结构和SSIS执行状况两个模块结合起来使用对BI项目开发和维护很是的方便,能节约人力成本、提供开发速度、维护起来更加容易判断问题出在哪里。能够说离个人一个月只工做10天的梦想愈来愈近了,我须要更多系统化、智能化的思考BI项目的稳定和提早预防错误的方法。spa
历史文章:htm
FocusBI: 使用Python爬虫为BI准备数据源(原创)