浅谈数据库信息管理系统的逻辑架构与功能设计
摘要：笔者结合数据库理论和实际经验从以下几个方面探讨浅谈数据库信息管理系统的逻辑架构与功能设计。
关键词：数据库 信息管理系统 逻辑架构 功能设计
0 引言
数据库信息管理系统一个重要的功能是完成系统前台与后台之间的数据通信。将前台业务打包数据经过解析传输到后台数据库，达到对后台数据库的处理。还可以实现后台数据库中数据操作包括：数据的查询、更新、删除等操作。将业务数据从多个操作型数据库和外部文件中抽取出来，进行清理、转换、网络传输和集成。笔者结合数据库理论和实际经验从以下几个方面探讨浅谈数据库信息管理系统的逻辑架构与功能设计。
1 数据库信息管理系统逻辑架构
数据库信息管理系统按照各个业务发展的需要，逐步进行多角度、深层次的数据分析与加工，充分加以利用，为各层用户方便、快捷的服务，同时也使数据的采集和利用处于良性循环状态。
数据库信息管理系统处于整个系统的中间位置，它主要职责对数据处理，完成前台端的请求处理，完成后台数据库的操作。目的是分批处理任务请求，将任务数据包解包后，加载到数据库中，并且根据请求对数据库中的数据进行查询、更新、删除，将处理的结果记录到日志文件中。数据库信息管理系统的基本业务逻辑描述如下：
1.1 接受请求，根据自己的实际情况，将自己的请求实时的以上传给系统。
1.2 解析请求，系统根据接受到的请求，对其进行解析处理，首先检查传来的信息是不是合法，长度是否按规定的。再解析信息，在解析报文信息中，就报头、正文、报尾的标志位做一一鉴定，若有哪一项不符合要求，就回传应答报文给前台让前台重新传输此报文，并将处理的数据实时的记录在后台对应的表中。
1.3 数据的抽取与加载，系统在对数据报文进行解析后，若收到的报文满足要求时，就对报文中的正文段的数据抽取出来，加载到数据库表中。
1.4 监控管理，主要是对系统中的各个环节进行监控管理，数据的导入导出情况及数据的传输情况进行监控管理。在加载数据时，将加载成功与否实时的记录在数据库表中，并写日志文件。
1.5 对后台数据库的处理，系统根据报文内容，对后台数据库中的表进行插入、删除、更新等操作。
2 数据库信息管理系统的功能设计
根据上面的业务流程，我提出了数据库信息管理系统的业务框架及各个功能模块。数据库信息管理系统分为六个模块：任务管理、数据抽取、数据上传、数据加载、监控管理、查询统计，分别为各个模块设计了以下功能。
2.1 任务管理 任务管理主要是指后台管理层在抽取前台数据时对各个任务制定与执行。对前台数据的抽取主要是通过执行模版文件来完成，模板的管理是整个系统的核心，创建一个模板既是在定义一个数据抽取的过程，一个模板只针对同一个数据源，保证模板的原子性，模版参数文件主要由后台数据中心需要集中的数据类型进行定制，任务管理是将多个相关的模版文件捆绑在一起，构成一个更大的可执行单位。对不同种类数据通过制作模板实现抽取功能，模板数据文件由后台数据管理者制作存放在前台，可增加、修改和删除。
2.1.1 创建模板：一个模板文件包括了一个完整的数据抽取过程所有必要的数据结构。数据段包括：文件头、文件正文、文件尾，其中文件头重要有防伪标志位，文件的发送时间等信息，正文段主要包括此文件传送的数据，而结尾部分主要包括此文件传输数据的总量等信息。
2.1.2 编辑模板：当数据需求发生变化时，可以对已存在的模版文件的参数进行修改，以适应新的需要。
2.1.3 删除模板：当不再对该模板文件定义的数据表进行抽取时，可以删除模板文件，取消抽取过程。
2.1.4 由于本系统文件主要是以固定长文件为主，所以，制定固定长文件是关键，而且这个固定长文件主要是文件头、文件尾长度固定，而每个文件的正文部分固定，但一个头部和尾部对应多个文件正文部分。
2.2 数据抽取 数据抽取模块是对后台下发的抽取任务的执行，是完成小核心数据处理的中心工作，是定义的抽取过程的具体实施阶段，数据抽取模块的主要功能包括：“数据抽取任务的载入”、“数据抽取配置”、“数据抽取执行”、“数据抽取重启”
2.2.1 数据抽取任务的载入：数据抽取是按照前台对后台数据管理层下发的各项抽取任务来执行的，因此在实行数据抽取之前要对后台管理层下发的抽取任务进行载入到当前系统中。
2.2.2 数据抽取配置：要正确完成数据抽取过程的执行，必须先配置数据抽取的范围，先选择数据抽取对应的系统，查询该系统下所有需要执行的抽取任务，然后对抽取数据的各个节点进行配置，确定在哪些节点上执行数据抽取。
2.2.3 数据抽取服务：根据后台中心下发的数据抽取任务对各个业务系统的数据逐项进行抽取，选择的任务的流水号启动抽取服务；数据抽取过程中，根据抽取出来的数据内容产生一个统计表，包括数据表名称、记录数等内容，该表作为数据抽取是否完整、是否正常的参考文件。
2.2.4 数据抽取服务重启：根据抽取过程的统计表和日志信息，判断抽取服务是否成功，如未成功执行，则可通过数据抽取服务的重新启动来对任务进行重做。
2.3 数据上传 数据抽取完成后，数据文件导出保存在本地服务器中对所有导出文件进行汇总打包，数据量大时，还可进行压缩处理，然后存储在本地服务器准备传输。
2.3.1 本地服务器的配置：包括“接收数据服务器的IP、用户名、用户密码、上传，目录、接收目录、传输方式”等数据内容。
2.3.2 数据汇总：对数据导出文件按业务系统数据分类分别进行汇总、压缩打包，使用后台中心统一的命名规则，给各个数据包进行命名、存放在文件上传的目录中，准备上传。
2.3.3 数据上传：系统制定上传时间、上传目录、上传服务器地址，数据文件上传的工作方式以自动方式为主，如果由于网络故障或上传文件损坏等原因自动上传入库不能进行，可人工干预，重新选择传输过程，完成数据抽取和上传工作。
2.3.4 文件传输的监控：为检验数据上传情况，将数据上传日志写入数据库，用户通过应用程序可以浏览传输过程，发现数据上传是否成功。
2.4 数据加载 数据加载模块将已传输到后台中心的数据经过解压缩，通过数据集成功能加载到数据库中。如数据加载入库过程中出现问题，可以重新加载。保证同一条记录不会重复入库，也不会造成记录、内容的丢失。
2.4.1 数据解压：将已传输到后台中心的数据进行解压，通过数据集成功能追加到数据库中。如数据加载入库过程中出现问题，可以重新加载。保证同一条记录不会重复入库，也不会造成记录、内容的丢失。
2.4.2 数据加载：分为人工加载和自动加载两种方式，人工加载可通过人为干预，有选择地把数据加载入库，也可用于数据入库过程中，异常数据经过特殊处理追加入库。
2.4.3 数据检验：数据入库完成后，自动产生数据表、记录个数等信息的统计表，与数据抽取产生的统计表进行比较，如果两者数据不一致，需要重新进行数据抽取上传入库。
2.5 监控管理 监控管理模块主要是对系统的各个工作环节进行监控灌录，数据导入导出情况及数据传输情况进行监控管理。
2.5.1 数据抽取监控：通过数据抽取的监控，发现数据抽取与转换过程中因为网络或人为原因等所引起的数据错误。
2.5.2 数据传输监控：将数据上传日志写入数据库，用户通过应用程序可以浏览传输过程，发现数据上传是否成功以及未进行数据抽取上传的地区。
2.5.3 数据加载监控：监控数据加载中出现的数据丢失与加载错误。
2.6 查询统计 查询统计主要按照一定的条件和工作要求，查询数据完整性信息和任务执行情况。将每个模块的处理结构制成表，存储在后台数据库中。
关键词：数据库 信息管理系统 逻辑架构 功能设计
0 引言
数据库信息管理系统一个重要的功能是完成系统前台与后台之间的数据通信。将前台业务打包数据经过解析传输到后台数据库，达到对后台数据库的处理。还可以实现后台数据库中数据操作包括：数据的查询、更新、删除等操作。将业务数据从多个操作型数据库和外部文件中抽取出来，进行清理、转换、网络传输和集成。笔者结合数据库理论和实际经验从以下几个方面探讨浅谈数据库信息管理系统的逻辑架构与功能设计。
1 数据库信息管理系统逻辑架构
数据库信息管理系统按照各个业务发展的需要，逐步进行多角度、深层次的数据分析与加工，充分加以利用，为各层用户方便、快捷的服务，同时也使数据的采集和利用处于良性循环状态。
数据库信息管理系统处于整个系统的中间位置，它主要职责对数据处理，完成前台端的请求处理，完成后台数据库的操作。目的是分批处理任务请求，将任务数据包解包后，加载到数据库中，并且根据请求对数据库中的数据进行查询、更新、删除，将处理的结果记录到日志文件中。数据库信息管理系统的基本业务逻辑描述如下：
1.1 接受请求，根据自己的实际情况，将自己的请求实时的以上传给系统。
1.2 解析请求，系统根据接受到的请求，对其进行解析处理，首先检查传来的信息是不是合法，长度是否按规定的。再解析信息，在解析报文信息中，就报头、正文、报尾的标志位做一一鉴定，若有哪一项不符合要求，就回传应答报文给前台让前台重新传输此报文，并将处理的数据实时的记录在后台对应的表中。
1.3 数据的抽取与加载，系统在对数据报文进行解析后，若收到的报文满足要求时，就对报文中的正文段的数据抽取出来，加载到数据库表中。
1.4 监控管理，主要是对系统中的各个环节进行监控管理，数据的导入导出情况及数据的传输情况进行监控管理。在加载数据时，将加载成功与否实时的记录在数据库表中，并写日志文件。
1.5 对后台数据库的处理，系统根据报文内容，对后台数据库中的表进行插入、删除、更新等操作。
2 数据库信息管理系统的功能设计
根据上面的业务流程，我提出了数据库信息管理系统的业务框架及各个功能模块。数据库信息管理系统分为六个模块：任务管理、数据抽取、数据上传、数据加载、监控管理、查询统计，分别为各个模块设计了以下功能。
2.1 任务管理 任务管理主要是指后台管理层在抽取前台数据时对各个任务制定与执行。对前台数据的抽取主要是通过执行模版文件来完成，模板的管理是整个系统的核心，创建一个模板既是在定义一个数据抽取的过程，一个模板只针对同一个数据源，保证模板的原子性，模版参数文件主要由后台数据中心需要集中的数据类型进行定制，任务管理是将多个相关的模版文件捆绑在一起，构成一个更大的可执行单位。对不同种类数据通过制作模板实现抽取功能，模板数据文件由后台数据管理者制作存放在前台，可增加、修改和删除。
2.1.1 创建模板：一个模板文件包括了一个完整的数据抽取过程所有必要的数据结构。数据段包括：文件头、文件正文、文件尾，其中文件头重要有防伪标志位，文件的发送时间等信息，正文段主要包括此文件传送的数据，而结尾部分主要包括此文件传输数据的总量等信息。
2.1.2 编辑模板：当数据需求发生变化时，可以对已存在的模版文件的参数进行修改，以适应新的需要。
2.1.3 删除模板：当不再对该模板文件定义的数据表进行抽取时，可以删除模板文件，取消抽取过程。
2.1.4 由于本系统文件主要是以固定长文件为主，所以，制定固定长文件是关键，而且这个固定长文件主要是文件头、文件尾长度固定，而每个文件的正文部分固定，但一个头部和尾部对应多个文件正文部分。
2.2 数据抽取 数据抽取模块是对后台下发的抽取任务的执行，是完成小核心数据处理的中心工作，是定义的抽取过程的具体实施阶段，数据抽取模块的主要功能包括：“数据抽取任务的载入”、“数据抽取配置”、“数据抽取执行”、“数据抽取重启”
2.2.1 数据抽取任务的载入：数据抽取是按照前台对后台数据管理层下发的各项抽取任务来执行的，因此在实行数据抽取之前要对后台管理层下发的抽取任务进行载入到当前系统中。
2.2.2 数据抽取配置：要正确完成数据抽取过程的执行，必须先配置数据抽取的范围，先选择数据抽取对应的系统，查询该系统下所有需要执行的抽取任务，然后对抽取数据的各个节点进行配置，确定在哪些节点上执行数据抽取。
2.2.3 数据抽取服务：根据后台中心下发的数据抽取任务对各个业务系统的数据逐项进行抽取，选择的任务的流水号启动抽取服务；数据抽取过程中，根据抽取出来的数据内容产生一个统计表，包括数据表名称、记录数等内容，该表作为数据抽取是否完整、是否正常的参考文件。
2.2.4 数据抽取服务重启：根据抽取过程的统计表和日志信息，判断抽取服务是否成功，如未成功执行，则可通过数据抽取服务的重新启动来对任务进行重做。
2.3 数据上传 数据抽取完成后，数据文件导出保存在本地服务器中对所有导出文件进行汇总打包，数据量大时，还可进行压缩处理，然后存储在本地服务器准备传输。
2.3.1 本地服务器的配置：包括“接收数据服务器的IP、用户名、用户密码、上传，目录、接收目录、传输方式”等数据内容。
2.3.2 数据汇总：对数据导出文件按业务系统数据分类分别进行汇总、压缩打包，使用后台中心统一的命名规则，给各个数据包进行命名、存放在文件上传的目录中，准备上传。
2.3.3 数据上传：系统制定上传时间、上传目录、上传服务器地址，数据文件上传的工作方式以自动方式为主，如果由于网络故障或上传文件损坏等原因自动上传入库不能进行，可人工干预，重新选择传输过程，完成数据抽取和上传工作。
2.3.4 文件传输的监控：为检验数据上传情况，将数据上传日志写入数据库，用户通过应用程序可以浏览传输过程，发现数据上传是否成功。
2.4 数据加载 数据加载模块将已传输到后台中心的数据经过解压缩，通过数据集成功能加载到数据库中。如数据加载入库过程中出现问题，可以重新加载。保证同一条记录不会重复入库，也不会造成记录、内容的丢失。
2.4.1 数据解压：将已传输到后台中心的数据进行解压，通过数据集成功能追加到数据库中。如数据加载入库过程中出现问题，可以重新加载。保证同一条记录不会重复入库，也不会造成记录、内容的丢失。
2.4.2 数据加载：分为人工加载和自动加载两种方式，人工加载可通过人为干预，有选择地把数据加载入库，也可用于数据入库过程中，异常数据经过特殊处理追加入库。
2.4.3 数据检验：数据入库完成后，自动产生数据表、记录个数等信息的统计表，与数据抽取产生的统计表进行比较，如果两者数据不一致，需要重新进行数据抽取上传入库。
2.5 监控管理 监控管理模块主要是对系统的各个工作环节进行监控灌录，数据导入导出情况及数据传输情况进行监控管理。
2.5.1 数据抽取监控：通过数据抽取的监控，发现数据抽取与转换过程中因为网络或人为原因等所引起的数据错误。
2.5.2 数据传输监控：将数据上传日志写入数据库，用户通过应用程序可以浏览传输过程，发现数据上传是否成功以及未进行数据抽取上传的地区。
2.5.3 数据加载监控：监控数据加载中出现的数据丢失与加载错误。
2.6 查询统计 查询统计主要按照一定的条件和工作要求，查询数据完整性信息和任务执行情况。将每个模块的处理结构制成表，存储在后台数据库中。
