DSG SmartE 是由迪思杰(北京)数码技术有限公司自主研发、具有自主知识产权的智能数据库据抽取解决方案。SmartE技术针对数据库提供了基于逻辑的交易复制方式,该方式通过直接捕获运营数据库的交易,将数据库的交易逻辑抽取出来,然后传送给目的系统,从而实现数据的实时抽取和数据集中。 如下图所示,SmartE通过对生产系统数据库的在线日志进行实时跟踪,当原系统向数据库中进行任何操作时,这些信息都将在其联机日志(redo log)中存储,SmartE Agent实时分析这些Redo Log日志,获得本次操作信息,然后对这些信息进行收集和整理。然后根据用户的配置规则(定时或实时)方式将增量数据抽取到目的系统。
 DSG SmartE的工作方式如下: 增量抽取 SmartE在系统安装后需要进行一次首次数据完全抽取。 在完全抽取结束后,SmartE抽取工具的数据都为增量数据抽取。 选择性抽取 因为根据业务逻辑,很多情况下无需对所有的数据表信息进行复制,而只需要复制那些需要的表的信息,这样可以减少存储和网络带宽的成本。同时,SmartE支持水平和垂直分割。在水平分割方面可以只复制那些满足预先定义的条件的记录。在垂直分割方面允许设置对指定表的指定列进行复制。 对数据日志模式的支持 SmartE支持数据库的归档日志模式和非归档日志模式。 在归档日志模式下,可以将日志分析间隔设置较长; 而对于非归档日志模式下,日志分析间隔必须设置在日志循环周期以内; 同时,SmartE支持在无日志模式下装载的数据的抽取。
|