谈数据库信息管理系统的逻辑架构与功能设计
摘要:笔者结合数据库理论和实际经验从以下几个方面探讨浅谈数据库信息管理系统的逻辑架构与功能设计。
关键词:数据库 信息管理系统 逻辑架构 功能设计
0 引言
数据库信息管理系统一个重要的功能是完成系统前台与后台之间的数据通信。将前台业务打包数据经过解析传输到后台数据库,达到对后台数据库的处理。还可以实现后台数据库中数据操作包括:数据的查询、更新、删除等操作。将业务数据从多个操作型数据库和外部文件中抽取出来,进行清理、转换、网络传输和集成。笔者结合数据库理论和实际经验从以下几个方面探讨浅谈数据库信息管理系统的逻辑架构与功能设计。
1 数据库信息管理系统逻辑架构
数据库信息管理系统按照各个业务发展的需要,逐步进行多角度、深层次的数据分析与加工,充分加以利用,为各层用户方便、快捷的服务,同时也使数据的采集和利用处于良性循环状态。
数据库信息管理系统处于整个系统的中间位置,它主要职责对数据处理,完成前台端的请求处理,完成后台数据库的操作。目的是分批处理任务请求,将任务数据包解包后,加载到数据库中,并且根据请求对数据库中的数据进行查询、更新、删除,将处理的结果记录到日志文件中。数据库信息管理系统的基本业务逻辑描述如下:
1.1 接受请求,根据自己的实际情况,将自己的请求实时的以上传给系统。
1.2 解析请求,系统根据接受到的请求,对其进行解析处理,首先检查传来的信息是不是合法,长度是否按规定的。再解析信息,在解析报文信息中,就报头、正文、报尾的标志位做一一鉴定,若有哪一项不符合要求,就回传应答报文给前台让前台重新传输此报文,并将处理的数据实时的记录在后台对应的表中。
1.3 数据的抽取与加载,系统在对数据报文进行解析后,若收到的报文满足要求时,就对报文中的正文段的数据抽取出来,加载到数据库表中。
1.4 监控管理,主要是对系统中的各个环节进行监控管理,数据的导入导出情况及数据的传输情况进行监控管理。在加载数据时,将加载成功与否实时的记录在数据库表中,并写日志文件。
1.5 对后台数据库的处理,系统根据报文内容,对后台数据库中的表进行插入、删除、更新等操作。
2 数据库信息管理系统的功能设计
根据上面的业务流程,我提出了数据库信息管理系统的业务框架及各个功能模块。数据库信息管理系统分为六个模块:任务管理、数据抽取、数据上传、数据加载、监控管理、查询统计,分别为各个模块设计了以下功能。
2.1 任务管理 任务管理主要是指后台管理层在抽取前台数据时对各个任务制定与执行。对前台数据的抽取主要是通过执行模版文件来完成,模板的管理是整个系统的核心,创建一个模板既是在定义一个数据抽取的过程,一个模板只针对同一个数据源,保证模板的原子性,模版参数文件主要由后台数据中心需要集中的数据类型进行定制,任务管理是将多个相关的模版文件捆绑在一起,构成一个更大的可执行单位。对不同种类数据通过制作模板实现抽取功能,模板数据文件由后台数据管理者制作存放在前台,可增加、修改和删除。
2.1.1 创建模板:一个模板文件包括了一个完整的数据抽取过程所有必要的数据结构。数据段包括:文件头、文件正文、文件尾,其中文件头重要有防伪标志位,文件的发送时间等信息,正文段主要包括此文件传送的数据,而结尾部分主要包括此文件传输数据的总量等信息。
2.1.2 编辑模板:当数据需求发生变化时,可以对已存在的模版文件的参数进行修改,以适应新的需要。
2.1.3 删除模板:当不再对该模板文件定义的数据表进行抽取时,可以删除模板文件,取消抽取过程。
2.1.4 由于本系统文件主要是以固定长文件为主,所以,制定固定长文件是关键,而且这个固定长文件主要是文件头、文件尾长度固定,而每个文件的正文部分固定,但一个头部和尾部对应多个文件正文部分。
2.2 数据抽取 数据抽取模块是对后台下发的抽取任务的执行,是完成小核心数据处理的中心工作,是定义的抽取过程的具体实施阶段,数据抽取模块的主要功能包括:“数据抽取任务的载入”、“数据抽取配置”、“数据抽取执行”、“数据抽取重启”
2.2.1 数据抽取任务的载入:数据抽取是按照前台对后台数据管理层下发的各项抽取任务来执行的,因此在实行数据抽取之前要对后台管理层下发的抽取任务进行载入到当前系统中。
2.2.2 数据抽取配置:要正确完成数据抽取过程的执行,必须先配置数据抽取的范围,先选择数据抽取对应的系统,查询该系统下所有需要执行的抽取任务,然后对抽取数据的各个节点进行配置,确定在哪些节点上执行数据抽取。
2.2.3 数据抽取服务:根据后台中心下发的数据抽取任务对各个业务系统的数据逐项进行抽取,选择的任务的流水号启动抽取服务;数据抽取过程中,根据抽取出来的数据内容产生一个统计表,包括数据表名称、记录数等内容,该表