1 数据资源管理平台设计
1.1 需求分析
1.1.1 数据需求 1.1.1.1 数据分析
XX省水资源管理系统业务涉及的信息资源包括信息采集和信息共享。信息采集按获取方式应分为仪器自动在线监测和非在线监测两种采集范畴。以共享方式获取的其他信息获取(包括水文、水资源保护部门负责采集的实时水雨情、水质监测数据),属于信息共享范畴。
信息采集传输应充分利用现代化科技成果,通过对信息采集和传输基础设施设备的改造和建设,配置适合当地水资源特性的仪器设备。 信息采集传输的设备选型与配置应充分考虑当地的水文、气候特征、供电条件和环境安全等因素。 (1)在线监测信息对象
在线监测信息对象包括:水源地、取用水、行政边界河流控制断面、地下水超采区以及水功能区水量水质信息。监测规模、监测手段和监测代价的衡量要应充分考虑当地的经济发展水平、经济承受能力、设站技术可行性和运行维护便捷性。
水源地监测:包括地表水水源地(水库、江河、湖泊等水体)和地下水水源地。应按照先列入水利部公布的全国重要饮用水水源地名录的水源地、大中型水库水源地,后其它饮用水水源地的顺序安
--------------------------------------------------------------
可编辑
排布设。
--------------------------------------------------------------
可编辑
取用水监测:包括重点取水口水量水质监测。按照先取水环节后排水环节、先集中用水户后分散用水户顺序安排;取水量级考虑先重点用水户后一般用水户、同等取水量级先第二、三产业用水户后第一产业用水户顺序安排;同时兼顾设站条件通盘考虑。 水资源管理单元出入断面监测:包括省际、地市际以及县际边界河流控制断面。按照先地市际边界河流控制断面监测后县际边界河流控制断面的监测,水资源管理单元逐级细化、控制能力逐步加强的思路顺序建设。
水功能区监测:按照《XX省水功能区规划》的部署,按照先保护、保留、缓冲、饮用水源等重要水功能区水质监测、后其余水功能区水质监测、入河排污口监测的原则布设。
地下水超采区监测:包括地下水水位、水质监测。按照先禁采区限采区、后地下水集中开采区、先平原区后山丘区的顺序安排布设。
水生态监测:重点区域和水域水生态监测。按照先水利部水生态系统保护与修复试点后其它区域的顺序安排布设。
社会用水户、水源地、水资源管理单元出入断面、水功能区、地下水水量水质监测点的布设应在充分利用既有水文观测站网络的基础上统筹规划,有些观测面监测可通过上下游监测点观测数据内插方式满足,有些可通过既有测站增加观测项的方式满足。
--------------------------------------------------------------
可编辑
(2)新设监测点的工作方式
新设水量监测点选用应答/自报兼容的工作方式。按照“无人值守、有人看守、定期巡检”的运行维护机制实施信息采集作业。对不适宜设置全自动监测点的地方,亦可按有人值守模式配置设备、设点观测。 1)流量监测
对采用直接流量监测方式的信息采集点,由采集端设备直接采集流量瞬时值,并存储在本地记录单元;对采取水位监测方式的采集点,采集、记录、传输的均是水位信息,并参照水文测验规范定期对采集端实施水位流量关系率定,尤其是平、枯水位流量关系的率定,在信息接收端利用水位流量关系将采集的水位信息转换成时段采集量或过流量信息。采集端设备按照15分钟采集一次瞬时值。 2)水质监测
对新设水质监测点采用定期巡测、人工取用、室内分析化验方式开展监测工作;对已建立水质自动监测设施的监测点,采用增加其报信设施的方式进行汇接和功能升级。对确需要设置自动水质监测点的地方应审慎选择建设自动水质建设设施。水质监测不同采集方式分别规定的监测间隔和记录周期不同。 (3)监测点的采集频次
在正常工作状态下的采集频次按照:
--------------------------------------------------------------
可编辑
单纯以水资源管理应用需求布设的各类水量信息采集自动站点,支持旬周期用水调度业务按6小时间隔报信;支持月周期用水调度业务按12小时间隔报信;支持季度周期用水调度业务按24小时间隔报信,人工监测点均按24小时间隔报信。多用途信息采集站点报信间隔超过水资源管理需要的,应比照同站点完成水量信息描述时段的归一化。报信间隔不能满足水资源管理需要的应比照专用站点调整信息报送间隔。
社会用水户取水口、水源地、入河排污口、行政边界河流控制断面、水功能区的水质监测,根据工作规范和实际要求实施采集频次。
突发应急状态下的采集频次按照:
固定站的水量、水质监测报信工作机制均可临时调整为1小时间隔。在固定观测不能满足要求时,可动态设立移动监测点,对水量、水质进行跟踪监测。 (4)时空基准
系统工作统一采用北京时间作为标准计时基准,日界统一为北京时间8时,水资源信息采集站点每日首次报信时间遵从水文或防汛部门规定的每日首次报信时间即8时为准。
位置描述使用全球定位系统GPS和具有我国自主知识产权的北斗导航定位系统对水资源信息采集站点的坐标定位,统一采用2000地心坐标系统纬度坐标进行位置描述。已有数据应逐步过渡到2000地心坐标系。
--------------------------------------------------------------
可编辑
绝对高程基准采用1985黄海高程基准,对确需采用地方基准或相对基准进行水位观测的测站,进行地表水水体水位流量关系转换时,应在其预处理环节先行滤除因高程基准不统一导致的测验误差。
(5)在线监测信息传输方式
在线监测信息传输指将采集站获得的水资源信息通过有线或无线信道送至系统接收端的传输过程。对于水资源信息采集共用部门采集设施和传输通道的,应遵从既有传输方式和传输路径。在国家防汛抗旱指挥系统工程已覆盖的信息采集区域的新设站,应加入该系统。对于其覆盖不到的区域确需新建传输通道的,各省可根据当地公网实际状况和采集传输系统建设、运行维护的经济性要求综合权衡,在保障信息传输适度安全的前提下,选择适宜的公共通信信道进行信息传输组网。目前可供选择的采集通信资源主要有:中国移动通用无线分组业务(GSM/GPRS); 中国联通无线扩频通信技术(CDMA);中国移动短消息业务(GSM/SMS);公共电话网(PSTN);北斗通信卫星短消息;同步通信卫星;海事通信卫星短消息;超短波技术:微波技术等。在选择通信方式时,在同一个系统中不宜使用多种通信方式,仅在某些信息采集点首选通信方式不能覆盖时可另选通信方式。
部分重要站点可设计备用传输通道,并考虑突发事件发生时的应急信息传输,满足应急监测的需求。
--------------------------------------------------------------
可编辑
1.1.1.2 数据分类分析
水资源管理系统涉及数据主要包括以下几种: (1)在线监测数据
图表 1.1-1 在线监测数据来源
需建数据库名称 数据来源 说明 城市饮用水水源工程监地表水水源地水量来源于实时水雨情库;测数据库 地下水水源地水量来源于地下水数据库 本系统地表水取水口水量,来源于取水口水量在新建数线监测系统;地表水取水口水质即地表水据库 水源地水质。地下水取水口水量、水质均来源于生产性地下水井在线采集系统 入河排污口监测水量,水功能区监测均来源于入河排污口和水功能区在线监测系统 水量来源于实时水雨情数据库 这些数据均由XX省水文局管理,直接使用,没有数据库建设任务。 取用水监测数据库 水功能区监测数据库 行政边界河流监测数据库 地下水超采区监测数据库 旱情监测数据库 实时水雨情数据库 水质数据库 来源于地下水超采区在线监测系统 来源于水文部门 即现有实时水雨情数据库 来源于水文部门 (2)业务管理数据
对于业务管理和决策分析支持,同一业务管理数据库应存储省、地市、县三级水资源管理部门产生的业务信息,根据不同的管理层级,业务管理信息不尽相同,同时省、地市、县级信息之间有一定的关系。
--------------------------------------------------------------
可编辑
根据需求,对水源地数据库相关数据中的城镇地下水水源地进行调查测量,并对城镇地下水水源地开发利用状况进行评价,并录入相应数据库中。具体数据内容为:
1)地形测量
利用已调查的城镇地下水源地资料,确定工作区范围。通过对地下水源地地形的测量,实现以下两个目的:
测量比例尺确定为1:10000,测量面积为大型水源地30km2,中型水源地为15km2,小型水源地为5km2。测量内容包括区域地形、生产井、监测孔高程、坐标测量等。
2)地下水源地开发利用状况评价
地下水源地开发利用状况评价包括水量、水质现状评价和供水可持续性评价等三个方面。
①水量评价
根据地下水源地开采量的大小、水文地质资料完整程度和水文地质条件的复杂程度,采用解析法或数值法对地下水源区的补排量进行计算。进行地下水源区的开发利用程度和供水水量的安全性等方面综合评价。
对于大型的地下水源地,采用数值法进行补排量的平衡计算,并对该水源区进行不同开采量进行模拟预测,对该水源的开发潜力及可能出现的问题进行评价。建立地下水资源管理与规划模型。
对于中、小型地下水源地,采用解析法进行补给量的计算,并根据地下水动态监测资料,对该水源的水量合理性进行评价。
--------------------------------------------------------------
可编辑
②水质评价
利用已有调查资料,进行水源地水质状况评价。
地下水水质评价标准采用国家标准《地下水质量标准》(GB/T 14848-93)。采用单项组分评价和综合评价相结合的评价方法。将地下水水源地水质指标分为一般化学指标或细菌学指标、毒理学、放射性指标和地方特定项目4大类。一般理化指标或细菌学指标,对人体健康影响较小或可通过净水厂传统处理方法去除,这一类指标按地下水水质标准的5类进行评价,并将其Ⅲ类水标准值的上限值确定为地下水水质控制标准。毒理学和放射性指标作为一类,按生活饮用水卫生标准进行达标评价。
根据现状水质和对地下水源区及其周边环境的调查结果,对地下水源地现状水质安全性进行评价,对地下水源地水质安全趋势进行预测。
③供水可持续性评价
在地下水源地用现状评价的基础上,根据区域的水文地质条件及水源地周边地下水开发利用现状,对现状城镇地下水源的可开采量进行分析计算,对地下水源供水可持续性进行研究。
(3)基础数据
基础数据来源如下表所示。
图表 1.1-2
基础信息数据来源
需建数据库 数据来源 --------------------------------------------------------------
可编辑
水利工程数据库 防汛抗旱指挥调度系统,直接使用,没有建设任务 水资源评价数据库 将现有信息资源进行校核、整合、补充、完善,然后导入 给排水数据库 将现有信息资源进行校核、整合、补充、完善,然后导入 水环境数据库 将现有信息资源进行校核、整合、补充、完善,然后导入 水文数据库 来源于省水文局,直接使用,没有建设任务 气象数据库 社会经济数据库 旱灾数据库 水环境灾数据库 防汛抗旱指挥调度系统,直接使用,没有建设任务 防汛抗旱指挥调度系统,直接使用,没有建设任务 防汛抗旱指挥调度系统,直接使用,没有建设任务 将现有信息资源进行校核、整合、补充、完善,然后导入 (3)空间数据库、多媒体数据
空间数据库的建设需要购买空间基础数据。多媒体数据库,将现有信息资源进行校核、整合、补充、完善,然后导入。
(4)决策支持数据
表 1.1-3决策支持库数据
数据库名称 信息来源 决策分析库 需要软件开发 构建式模型库 预案方案库 专家知识库 需要软件开发 将现有信息资源进行校核、整合、补充、完善,然后导入 将现有信息资源进行校核、整合、补充、完善,然后导入 1.1.1.3 数据流向分析
XX水资源管理系统数据来源复杂,业务管理单位包括省水利厅水资源处、省水文系统、地市水资办、县水资办各级管理单位、全省各市县、相关流域机构及专业水文气象单位等。数据库内容包括了
--------------------------------------------------------------
可编辑
水文监测、综合办公、水情监测、取用水监测以及基础空间信息、视频、图像等各类媒体信息。系统基本数据流向图如下图所示:
水利部、流域管理机构厅水资源处省厅其他业务科室济南水资办青岛水资办淄博水资办枣庄水资办德州水资办菏泽水资办省水文系统县水资办县水资办县水资办县水资办县水资办县水资办监测站监测站监测站新建监测站监测站监测站监测站水文监测站、、XX省水资源管理系统数据流向图
1.1.1.4 数据量分析
数据量是确定数据存储平台模式与规模的重要依据,通过对整个系统现有数据量、数据增量、数据分布等的分析,最终确定数据存储与管理体系的建设模式、建设规模。
水资源管理系统的各类数据可分为结构化数据(如水雨情数据、供水工程基本信息及水质监测数据等)和非结构化数据(如供水工程监控视频数据、办公文档、电子地图数据等)两类,
水资源管理系统的结构化数据主要包括:水资源管理业务处理数据、水利工程实时监控数据、水文站点维护管理数据、水文监测与预测数据等。对于结构化数据来讲,通过合理的数据库表结构设计,尽
--------------------------------------------------------------
可编辑
可能的消除冗余数据,这类数据占用的存储空间是相对有限的。其具体分析如下。
--------------------------------------------------------------
可编辑
水文站点监测数据包含测点名称、采样日期、分析日期、水温、PH值、溶解氧、总硬度、悬浮物、氯化物、氟化物、硫酸盐、高锰酸盐指数、化学需氧量、生化需氧量、氨氮、亚硝酸盐、硝酸盐氮、氰化物、六价铬、粪大肠茵群等内容,确定的水质级别。按照每次采样每条纪录500字节计算,每1天采集一次。全省水文监测站一年的数据量为约为80MB/年。再加上人工监测和移动监测的数据,以及评价分析数据,水文监测数据库初始数据量约为100MB。
非结构化数据主要包括:行政管理与办公信息数据、水利工程实时监控视频图像、工程安全监测视频图像、基础空间地理信息等。这类数据的一大特点是所占存储空间很大,一个文件少则几MB,多则几十MB或GB。因此这类数据将占居整个数据库的很大一部分空间。其具体分析如下。
行政管理与办公信息数据主要是大文本数据,大体上可分为邮件、办公文档、档案及其它行政管理。这类数据量在10G左右。
水利工程监测监控、视频数据主要存储在地市数据库和县级数据库,这部分内容按周期存放,只保留最近三个月的应急监控数据,省级数据量约为1T左右。
基础地理空间数据主要指XX的地理信息数据。地理信息数据包含
--------------------------------------------------------------
可编辑
全省主要河流、城市、水库、水源地、水功能区、排污口、地下水观测点、灌区、交通设施、村庄等基础信息,全省1:25万数字电子地图数据,数据量约为4GB;全省1:5万电子地图数据及大比例尺的各类专题图,数据量约100GB。地理信息数据年初始总量约为200GB,存放于省级水资源管理数据库。 1.1.2 功能需求
1.1.2.1 数据库管理功能需求
在水资源管理系统数据库中大多为结构化的关系型数据库,数据存储量相对有限。考虑现有数据库运行状况,需在地市和县分别建立数据库系统运行环境。原则上各级业务单位要围绕相应的数据中心建设,统一考虑数据库系统运行环境,充分利用数据中心数据库系统资源,应尽量避免重复建设,并结合应用系统建设需要,配置必要的软硬件系统。
按照数据库管理的要求,数据库管理系统设计应采用支持空间地理信息管理的关系型数据库系统,建立数据库管理系统,所需要的主要功能包括建库管理、数据维护管理、代码维护、数据库用户管理、数据安全管理等功能。同时,宜选用UNIX服务器作为数据库服务器,采用双机热备运行方式,保障数据库系统的运行。
要实现数据资源的共享和利用,必须针对XX水资源管理系统的运行特点,建立分布式的统一数据资源管理平台,将数据资源集成在一起,为各类业务人员提供统一的数据资源目录服务,形成统一的可以方便查询与管理的标准化的虚拟数据库,方便不同用户对数据的高
--------------------------------------------------------------
可编辑
效率使用,辅助管理者决策
--------------------------------------------------------------
可编辑
,提高决策的正确率和及时性。 1.1.2.2 数据库存储功能需求
随着水资源业务的发展,数据存储容量将会增加很快,主要包括大量的水文监测实时数据;日常办公生成大量的文本、图像、图形、音频、视频等多媒体数据;以及系统的长年运行积累越来越多的历史数据。
这就要求利用先进的、具备高性能和高可用性的、扩展能力强的大容量存储设备和软件,构建功能完善数据存储与管理平台,集中化、智能化、图形化的存储与管理所有Internet/Intranet重要应用的关键性信息数据;还要考虑提高数据传输能力,提供快速的数据访问服务。
要保证存储系统具备强大的零停机在线扩充升级能力,兼容更先进的存储技术,使存储网络具备灵活的可扩展性,包括存储容量和存储系统性能的扩展,使存储系统可随着应用需求的改变而改变,不会造成系统投资的浪费。同时,可以根据应用系统特点,制定合理的存储解决方案,提高系统利用率,降低用户投资成本。
数据存储平台可以实现高性能的数据存取和安全备份,满足大规模用户并发性数据读写的要求,使复杂的数据业务存储网络易于维护和管理,通过完善的备份恢复机制,以确保数据不会丢失,并保证为用户提供7×24小时的连续访问。 1.1.2.3 数据库备份容灾需求
水资源管理业务要求全年不间断运转,对系统运行提出很高的要
--------------------------------------------------------------
可编辑
求,需要在建立数据存储系统的同时,建立包括本地备份和远程容灾备份的完备的数据安全保护机制。
--------------------------------------------------------------
可编辑
要根据设备条件、存储空间和业务需求,定制当前最高效、安全级别最高的备份策略,在保证数据安全的前提下尽可能使数据库的正常服务不受影响,定期或不定期的对数据库进行增量备份或完备备份等功能,实现数据的自动备份,减少维护人员手工操作。并且当灾难发生时可以以在最短的时间内进行恢复,尤其对取用水监测、取水用户管理、水源地监测关键业务数据要优先恢复运行。
同时,为了防止灾难性事故的发生,还需要建立数据远程容灾系统,利用优越的通信专网优势,实现关键业务数据的远程备份和快速恢复。 1.1.3 性能需求
对数据库系统的性能需求主要是依据系统业务需求和管理运行模式,通过对数据分类进行分析,用实体联系的分析方法对数据对象进行分析分解,一般应达到第三范式,在此基础上对数据逻辑结构进行优化设计,使之在满足需求条件的情况下,系统性能达到最佳,使系统开销达到最小。在数据库的实施过程中,要合理使用分区、索引及存档功能,在应用系统软件开发中对恰当编写访问数据的SQL语句,并对数据库的响应时间和吞吐量进行权衡,提高数据库的可用性、数据库的访问命中率以及内存的使用效率;今后在数据库运行实施阶段,还要采取操作系统级和数据库级的一些优化措施来使系统性能达到最佳。
--------------------------------------------------------------
可编辑
对于数据存储平台的选择条件,首先要具有处理速度高、存取速度快和可扩展性强等特点,同时要具有良好的开放性,应选择带宽性能、I/O性能好,控制器处理能力强,高速缓存容量大的数据存储设备,磁盘存储设备内部结构与运行方式对业务应用服务器性能基本上无影响,可对整个业务系统实现完全的冗余和备份。存储平台架构的建设要求数据的冗余存储,控制和数据通道的冗余配置,保证系统无单点故障发生。还需建设一套高可靠性和高性能的容灾备份方案,以确保业务数据的安全性和业务的连续性和整体可用性。 1.1.4 安全需求
数据安全问题对整个调度系统的运行有“牵一发而动全身”的影响,将可能带来涉及和影响各个层次、多方面系统级的威胁、危害,甚至是灾难性的。数据资源管理平台的安全问题,主要涉及数据应用安全与数据存储安全,要保证整个存储系统的安全可靠,必须分析整个数据存储系统面临的安全风险和安全威胁。这些风险和威胁虽然有各种各样的存在形式,但其结果是一致的,都将导致数据的丢失或损坏,影响整个系统的数据服务,破坏整个数据存储系统的正常运行的有效性、可靠性和安全性。
数据存储与管理系统的安全主要涉及到硬件设备、操作系统、数据库、数据存储以及运维管理等层面,同时,还要针对水资源管理具体业务应用来提出数据安全的需求。
1.在设备上可采用高可用性的硬件配置,在数据库服务器、数据通道、数据存储以及电源、机房空调等设备均需采用
--------------------------------------------------------------
可编辑
冗余的设计。
2.操作系统安全也称主机安全,首先,通过操作系统的用户名、口令的机制来识别用户,增强对操作系统的访问控制功能,降低使用人员的误操作;还可采用基于操作系统的入侵探测技术,实时检查和处理系统的审计记录;加强防病毒侵袭的防范措施。
3.基础数据库的管理要注意数据的安全问题,一般的关系性数据库都已经提供足够的安全级别管理,所以在进行数据访问时应对访问数据的对象进行访问权限控制保证数据的安全,每个用户都有一定的访问权限。
4.存储安全主要考虑在数据传输通道、操作系统、存储端口分区、磁盘分区等方面实施有效的策略,同时,还要针对控制专网、业务内网和业务外网的划分对不同网段的数据实施物理隔离,确保关键业务数据的安全。
5.运维管理安全方面,需要建立健全的安全管理制度,明确系统管理人员的职责范围,加强管理人员的培训。
1.2 总体方案设计
1.2.1 设计原则 1.2.1.1 统一标准的原则
建立数据库最重要的是标准化,只有做到统一技术标准,才能实现数据交换和数据共享。信息分类编码和所有的库表采用的标准应当统一,有国家标准或行业标准的必须采用国家标准或行业标准
--------------------------------------------------------------
可编辑
及《
--------------------------------------------------------------
可编辑
XX省水利信息化技术标准体系》,并与水利部水资源司组织编制的“水资源监控管理数据库表结构及标识符标准”的数据库设计保持一致,采用统一的数据库表结构,包括统一的接口、开发工具和管理软件、统一的字段标识符、项目编码等。 1.2.1.2 信息共享的原则
数据库建设应充分利用已开发建设的及拟建设的水利系统数据库,如实时水雨情数据库、工情数据库、水文数据库、工程数据库、水环境数据库、旱情数据库、社会经济数据库、空间数据库、水政执法数据库等。同时,本数据库亦应供XX省水行政部门其他业务应用系统及相关行业应用系统使用,避免重复建设,实现数据资源最大程度共享。 1.2.1.3 安全可靠的原则
数据库是XX省水资源管理系统的信息支撑层和信息基石,必须确保综合数据库安全可靠运行,从系统安全、数据安全、用户安全和应用程序安全等方面进行控制,采用多种安全机制与操作系统相结合,实现数据库的安全保护。 1.2.1.4 实时准确的原则
数据库是水资源业务管理和决策调度的信息支撑,数据的准确性、实时性是否满足要求,直接关系到决策调度的科学性和正确性。在数据库设计和建设过程中,要保证数据的唯一性和完整性,减少应用中数据的转换和误差,字段精度应尽量准确。同时,数据库应及时更新维护,保证数据的实时可用。
--------------------------------------------------------------
可编辑
1.2.1.5 高效利用的原则
数据库为各应用系统和众多用户提供直接共享访问,提高数据库访问速度是数据库设计与建设过程中必需考虑的。应尽量把数据类型不同但关系密切的数据放在同一个表中,在数据查询中应减少关联,提高访问速度和利用效率。 1.2.1.6 统一建设、分级管理的原则
为了保证数据库建设的统一性、标准化和数据的准确性,数据库设计和建设由省中心统一负责建设,各分中心负责提供数据资料;各分中心数据库的更新维护管理由各分中心分级负责。 1.2.2 建设目标与任务 1.2.2.1 建设目标
数据资源管理平台的建设目标:以标准体系建设为基础,运用数据库、网络存储、数据备份等技术,建设各类数据库,建成服务于各业务应用的省水资源管理数据中心,建立协调的运行机制和科学的水资源管理模式,形成XX水资源管理系统数据资源管理体系,为应用支撑平台建设及各业务应用数据交换和共享访问提供数据支撑。 1.2.2.2 建设任务
1、根据XX省水资源管理业务需要,通过省水资源管理数据中心和地市、县水资源管理数据中心建设,建立起完善的网络数据存储与管理体系,提高数据管理效率,降低数据管理成本,为
--------------------------------------------------------------
可编辑
业务应用提供数据服务。
2、建设综合数据库和元数据库。通过综合数据库以及元数据库建设,建立覆盖全部水资源管理业务的数据库管理系统和数据更新机制,保证数据的完整性和一致性。
3、利用具有高可用性、高可靠性、高可扩充性的大容量存储设备和管理软件,建设XX省水资源数据存储平台,建立数据存储管理机制,实现高性能的数据存储管理功能。
4、建设XX省水资源管理省中心数据存储平台的本地备份系统和异地容灾系统,通过制定合理的备份策略,建立起完备的数据备份机制,为数据安全管理提供可靠的保障。 1.2.3 总体方案设计 1.2.3.1 数据库总体结构
从水资源管理各类数据的存储与管理的要求出发,依据“统一规划、统一标准、统一设计、数据共享”的原则,数据库分为综合数据库和元数据库,根据具体应用需求将综合数据库分成在线监测数据库、业务管理数据库、基础信息数据库、空间数据库、多媒体数据库和决策分析支持库六大类。其中空间数据库采用地理信息系统进行管理,其他数据库由关系型数据库管理系统进行存储管理。
XX水资源管理系统综合数据库的总体结构如图 1.2-1所示。
--------------------------------------------------------------
可编辑
取用水监测数据库在线监测数据库城市饮用水水源工程监测数据库水功能区监测数据库行政边界河流监测数据库地下水监测数据库入河排污口监测数据库实时水雨情数据库旱情监测数据库基础信息数据库水利工程数据库水资源评价数据库给排水数据库水环境数据库水文数据库气象数据库社会经济数据库水源地数据库地下水超采区数据库水资源论证数据库取水许可数据库水资源费征收使用数据库计划用水与节约用水数据库水功能区数据库水生态系统数据库水资源规划数据库基础地形图水资源调度配置数据库水资源应急管理数据库水资源公报数据库水资源年报数据库山东省水资源管理系统综合数据库业务管理数据库空间数据库多媒体库决策分析支持库灾情数据库水利工程专题图供排水工程专题图节水工程专题图图形与影像数据库音、视频数据库政策法规和标准规范数据库决策分析数据库模型库预案库专家库表示本系统部份建设数据库表示本系统建设数据库表示外部接入数据库 图 1.2-1综合数据库总体结构图
--------------------------------------------------------------
可编辑
1.2.3.2 数据库物理结构
根据省水利厅的需求及所涉及各种数据的存储和管理要求,数据库系统采用集中式结构。
省水利厅存放与水利业务有关的全省范围数据,新建在线监测站信息直接发送至省水利厅监控中心,原来信号传输到各地市监控中心已建成使用的在线监测站,同时将信号发送至省、市水资源监控中心;各地市存放与各自业务相关的数据。
省水利厅综合数据库用于存储公用数据,省水利厅信息中心(中心节点)的管理员可以在相应的安全权限下对综合数据库进行统一管理和更新。而地市水利(务)局信息中心(分节点)则存储着本市的专业数据,并通过中心节点提供的应用系统接口建立自身的上层应用系统来完成对中心节点的数据访问。由于水利信息平台的主要作用就是为所有的应用系统提供数据服务,因此必须具备在网络环境下提供数据服务的有关功能,如数据服务标准接口程序、数据访问权限认证、数据压缩传输、数据安全防护等。数据库部署结构如图 1.2-2所示。
图 1.2-2集中式数据库部署情况图
1.3 数据库设计
1.3.1 在线监测数据库
本类数据又包括两个子类型,一类是通过自身系统直接采集
--------------------------------------------------------------
可编辑
的,包括对城市饮用水水源工程、取用水工程等的实测数据,一类是其他系统采集,通过数据管理平台交换接入到本系统的,包括旱情、水文、水质、地下水等方面的数据。
--------------------------------------------------------------
可编辑
(1)本系统建立的数据库
1)取水监测数据库:主要包括取用水户的时段取用水量、瞬时流量等,供水管网主要控制点的流量等实时信息。
2)城市饮用水水源工程监测数据库:主要包括供水水源地(河道水源地、水库、地下水源地等)供水量、来水量、蓄水量、水位、地下水埋深和水质以及供水工程的供水量等实时信息。
3)水功能区监测数据库:主要包括水功能区典型断面的水位、流量等信息。
4)行政边界河流监测数据库:主要包括全省各行政边界河流控制断面的水位、水量信息。
5)地下水监测数据库:主要包括地下水的水位信息。 6)排污口监测数据库:主要包括排污口的水量信息。 (2)通过数据交换建立的数据库
1)旱情监测数据库:主要包括抗旱工作需要的各类信息,如受旱区域的人口、耕地、作物分布和长势、干旱范围、土壤墒情、灌溉设施以及气象、水文等信息。
2)实时水雨情数据库: 用来存储、管理全省各水情自动测报站(含雨量站、水位站、潮位站、流量站等)自动测报和人工采集的实时水情信息以及预报信息。主要包括代表性雨量站和蒸发站的降水量、水面蒸发量等气象信息,代表性水文站(点)控制断面的水位、流量等地表水信息,代表性地下水长观孔水位、水温等地下水信息。
--------------------------------------------------------------
可编辑
1.3.2 基础信息数据库
实现业务处理需要的水资源、生态及经济社会基础数据等,包括水资源评价、基础水文、经济社会、生态环境、水资源工程等水资源管理相关基础信息,这些数据一是通过外部交换的方式提取到本系统中;二是采用人工录入的方式进入本系统。
(1)水资源评价数据库
水资源评价数据库内容包括:水资源数量一评价、水资源质量评价和水资源利用评价及综合评价的相关分析数据和分析评价成果。水资源数量评价的内容包括:降水量评价、地表水资源量评价、地下水资源量评价、水资源总量评价等。
水资源质量评价的基本参数有水温、酸碱度、电导率、色度、浑浊度、悬浮固体、可溶性固体、硬度、碱度、总矿化度、总盐量、氨氮、硝酸盐、硫酸盐、氯化物、侵蚀性二氧化碳、溶解氧、化学耗氧量、大肠菌群数、有机污染物,影响氧平衡的生化需氧量和放射性污染物以及评价湖泊(水库)水质富营养化的氨氮和藻类等、评价地下水质量需要考虑氟化物、亚硝酸盐类等。
水资源利用评价及综合评价内容有:对现状水资源供用水情况调查分析、存在问题、水资源开发利用对环境的影响,以及水资源综合评价、水资源价值量评价等内容。
--------------------------------------------------------------
可编辑
(2)水资源工程数据库
水资源工程数据库主要存储供水工程信息。
供水工程包括:蓄水工程、引水工程、提水工程、调水工程和地下水取水工程等。
水井工程提水情况主要包括:取水许可证代码、工程名称、水源地点、孔径、井深、日开采量、出水流量等。
提水工程取水情况主要包括:取水许可证代码、工程名称、设计扬程、水泵型号、设备取水能力、水泵台数、设备总取水能力、年取水总量等。
引水工程取水情况主要包括:取水许可证代码、取水建筑物名称、建筑物主要尺寸、设计引水流量、年取水总量等。
蓄水工程取水情况主要包括:取水许可证代码、工程名称、水源名称、集水面积、总库容、正常蓄水位、兴利库容、防洪限制水位、死水位、水库调节方式、设计年供水总量、设计供水保证率等。 1.3.3 业务管理数据库
水资源业务数据库服务于水资源管理业务应用,涵盖了供水管理、用水管理、水资源保护、水资源调配和水资源统计管理等各项日常业务处理的相关数据库。
(1)取水许可管理数据库
取水许可数据库包含:水资源论证信息、取水许可证的基本情况、取水许可基本情况(按行政区划统计和按水资源分区统计)、取水许可监督检查情况(按行政区划统计和水资源分区统计)、许可证
--------------------------------------------------------------
可编辑
变更情况、取水户基本情况、工业产品取用水情况、水井工程提水情况、提水工程取水情况、引水工程取水情况、蓄水工程取水情况、节水和退水情况、取水量年内分配情况、违章行为处理情况、计划用水情况、节约用水情况、典型灌区用水信息、火(核)电厂用水信息、工业企业用水信息、生活用水信息、区域用水管理情况等内容。
--------------------------------------------------------------
可编辑
取水许可证的基本情况包括:取水许可证代码(或水资源分区代码)、审批单位、监督管理机关、取水户代码、法人代表、单位类型、行业类别、申请取水起始日期、申请取水终止日期、取水户的通讯地址、取水户所在地的邮政编码、取水单位的联系人、联系人所在的工作部门、联系人的职务(职称)、取水单位的联系电话、取水单位的电子邮箱、年取水总量、水源类型、最大取水流量、取水地点、取水方式、计量方式等。
取水许可基本情况包括:行政区划代码、年份、当年审批通过水资源论证项目数、水资源论证通过可开采水量、当年新批申请数、新批申请批准水量、当年新发许可证数、新发许可证许可水量、年终保有的有效取水许可证总数、年终保有的地热水有效取水许可证数、年终保有的矿泉水有效取水许可证数、年终保有的水力发电有效取水许可证数、年终保有的有效取水许可证地表水许可水量、年终保有的有效取水许可证地下水许可水量、年终保有的有效取水许可证地热水许可水量、年终保有的有效取水许可证矿泉水许可水量、年终保有的有效取水许可证水力发电许可水量等。
--------------------------------------------------------------
可编辑
取水许可监督检查情况包括:行政区划代码(或水资源分区代码)、年份、年终保有实施监督管理的取水许可证数、取水许可证批准的水量、年审取水许可证数、年审水量、退水水质检测的取水户数、退水水质检测达标率、吊销许可证数、吊销许可证数、因取水户终止而吊销许可证数、因取水户终止而吊销许可证削减许可水量、因取水户违法而吊销许可证数、因取水户违法而吊销许可证削减许可水量、因取水户违法而吊销许可证削减许可水量、取水标的变更增加许可水量、取水标的变更削减许可水量、计量设施装置数、水平衡测试企业数等。
取水户基本信息内容包括:取水户代码、取水户名称、行政区划代码、水资源分区代码、法人代表、详细地址、联系方式、管理单位、单位类型、行业类别等。
工业产品取用水情况主要包括:取水许可证代码、产品名称、设计年产量、产品用水定额等。
节水和退水情况主要包括:取水许可证代码、节水措施、取水计量设施、污废水处理设施、污水处理工艺、退水量、退水地点、退水中主要污染物、退水水质是否符合水功能区标准要求、退水地点水功能区标准要求等。
取水量年内分配情况主要包括:退水地点水功能区标准要求、每一个月约取水量、设计日最大取水量出现月份等。
--------------------------------------------------------------
可编辑
违章显示处理情况主要包括:取水许可证代码、处理日期、处理情况、监督管理机关等。
计划用水情况主要包括:行政区划代码、工业计划取水量、生活计划取水量、农业计划取水量、地表水计划取水量、地下水计划取水量、地热水计划取水量、矿泉水计划取水量、水力发电计划取水量、工业实际取水量、生活实际取水量、农业实际取水量、地表水实际取水量、地下水实际取水量、地热水实际取水量、矿泉水实际取水量、水力发电实际取水量、工业计划用水率、生活计划用水率、农业计划用水率等。
节约用水情况主要包括:行政区划代码、年份、万元GDP用水量、工业用水重复利用率用系数、工业节水水量、工业万元增加值用水量、农田灌溉水利工业节水主要措施、生活节水水量、生活节水主要措施、农业节水水量、农业节水主要措施等。
典型灌区用水信息主要包括:灌区代码、年份、配套灌溉面积、灌区用水总量、亩均净灌溉用水量、渠系水利用系数、粮食作物水价、经济作物水价、农作物综合水价等。
火(核)电厂用水信息主要包括:取水户代码、年份、装机容量、年发电量、工业产值、工业增加值、取用的新水量、重复利用水量、冷却水排放量、冷却方式、单位发电量耗水量等。
工业企业用水信息主要包括:取水户代码、年份、工业产值、工业增加值、取用的新水量、重复利用水量、工业用水总量、工业用水重复利用率、企业产品产量、单位产品用水量等。
--------------------------------------------------------------
可编辑
生活用水信息主要包括:取水户代码、年份、生活用水量等。 区域用水管理情况主要包括:行政区划代码、年份、人口、国内生产总值、管网漏损率、节水器具普及率、计划用水率、综合水价、污水处理费、居民生活水价、工业水价、行政事业水价、经营服务业水价、特殊行业水价等。
(2)水资源费征收使用管理数据库
水资源费征收及使用管理数据库主要包括:水资源费征收标准、水资源费征收情况、水资源费缴纳情况和水资源费使用情况等信息。
水资源费征收使用管理内容包括:行政区划代码、年份、征收工业水资源费、征收农业水资源费、征收生活水资源费、征收水力发电水资源费、征收火力发电水资源费、征收地表水水资源费、征收地下水水资源费、征收地热水水资源费、征收矿泉水水资源费、水资源费支出管理费用、水资源费支出基础工作费用、水资源费支出科研费用、水资源费支出设备费用、水资源费支出其他费用等。
污水处理费征收统计内容有:排水户代码、年份、应征额、实征额、拖欠额等。
水资源费使用范围包括:调水、补源、水源工程等重点水利设施建设;水资源综合考察、调查评价、监测、规划; 节约用水技术研究、推广及节水项目的补贴; 水资源保护、管理及奖励等。
--------------------------------------------------------------
可编辑
(3)水资源保护数据库
水资源保护数据库存储内容主要包括:水功能区管理、入河排污口管理、水生态系统保护与修复管理的相关数据。
1)入河排污口管理信息
入河排污口的基本信息包括:入河排污口代码、入河排污口名称、建成时间、详细地址、经纬度、水资源分区代码、水功能区代码、设计排污能力、排入水体名称、排污口平面图、入河排污口设置单位、排污口运用情况(已登记、在用、废弃、审核中和其他)、管理单位、审批单位、监测单位等。
入河排污口的基本情况包括:年份、服务面积、服务人口、排放方式、入河方式、排污口大小、污水类型、有无监测、是否达标、处理方式、主要污染物、主要排污单位等。
入河排污口管理信息包括:行政区划代码、年份、设置工业单位个数、设置市政单位个数、单位个数合计、上年工业排污口个数、上年市政排污口个数、上年排污口合计、新设工业排污口个数、新设市政排污口个数、新设排污口合计、减少工业排污口个数、减少市政排污口个数、减少排污口合计、本年排污口个数合计、达标率等。
2)水生态系统保护与修复管理数据
水生态系统保护与修复管理数据包括:水生态系统基本信息、水生态系统保护与修复动态信息、保护与修复工程信息、保护与修复评估以及评估体系建设管理信息、保护与修复保障措施、水生态
--------------------------------------------------------------
可编辑
系统保护和修复的计划和规划、水生态系统的保护与修复工程信息、水生态系统监测和评价信息、水生态系统保护和修复典型案例和研究成果等。
--------------------------------------------------------------
可编辑
(4)水功能区管理数据库
水功能区管理数据库包括:水功能区的基本信息、污染物纳污总量控制信息和水体纳污容量控制方案等信息。
水功能区基本信息包括:水功能区划代码、水功能区名称、水功能区起始断面名称、水功能区终止断面名称、流域名称、水系名称、河流名称、行政区划码、水功能区长度、水功能区面积、水功能区水质目标、水功能区功能排序等。
水功能区管理信息包括:年份、评价时段、评价方法、水功能区测站总数、水功能区达标测站个数、水功能区总评价河长、水功能区达标河长、水功能区总评价面积、水功能区达标面积、水功能区水质达标率等。
水域纳污能力及污染物限制排放量信息包括水功能区代码、年份、废污水限制排放总量、COD限排总量、氨氮限排总量、总磷限排总量、总氮限排总量、BOD限排总量、挥发酚限排总量等。
(5)水源地管理数据库
水源地管理数据库的存储内容主要包括:集中供水水源地(水库、湖泊、江河和地下水水源地等)的基本信息、水源地保护方案管理相关数据、水源地应急处理预案管理相关数据等。
--------------------------------------------------------------
可编辑
水库、湖泊、江河等地表水源地基本信息内容包括:地表水取水口代码、地表水取水口名称、水源地代码、经纬度、水资源分区代码、行政区划代码、水功能区代码、取水建筑物型式、设计年取水量、设计流量、设计枯水位保证率、取水口距库(河)水体底部距离、取水用途(老口径)、取水用途(新口径)、降水量、平均流量、蓄水量、供水范围、供水量、受益人口、灌溉面积、牲畜数量、管理单位等。
地下水水源井基本信息内容包括:地下水源井代码、地下水源井名称、水源地代码、经纬度、地形、水资源分区代码、行政区划代码、水功能区代码、孔径、井深、凿井日期、运行状况、水泵型号、设计年取水量、设计流量、静水位、动水位、除铁除锰装置、水质情况、蓄水量、供水范围、供水量、受益人口、灌溉面积、牲畜数量、管理单位等。
(6)水资源论证数据库
建设项目水资源论证包括:建设项目概况、取水水源论证、用水合理性论证、退(排)水情况及其对水环境影响分析、对其他用水户权益的影响分析、水资源保护措施、影响其他用水户权益的补偿方案、水资源论证结论,以及评审专家基本信息等。
建设项目概况包括:建设项目名称、项目性质;项目建设地点、占地面积和土地利用情况;项目建设规模及分期实施意见,职工人数与生活区建设情况;主要产品及用水工艺建设项目用水保证率及水位、水量、水质、水温等要求信息;取水地点,水源类型,取水
--------------------------------------------------------------
可编辑
口设置情况建设项目废污水浓度、排放方式、排放总量、排污口设置情况。
--------------------------------------------------------------
可编辑
建设项目所在流域或区域水资源开发利用现状内容包括:地表水、地下水及水资源总量时空分布特征,地表、地下水质概述;现状供水工程系统,现状供用水情况及开发利用程度;水资源开发利用中存在的主要问题。
建设项目取水水源论证包括:地表水源论证、地下水源论证。 建设项目用水量合理性分析内容包括:建设项目用水过程及水平衡分析;产品用水定额、生活区生活用水定额及用水水平分析;节水措施与节水潜力分析。
建设项目退水情况及其对水环境影响分析包括:退水系统及其组成概况;污染物排放浓度、总量及达标情况;污染物排放时间变化情况对附近河段环境的影响;论证排污口设置是否合理。
评审专家基本信息包括:姓名、学位、职务、专业、职称、评审业绩工作单位、联络电话、住址、获奖情况等。 (7)水调业务数据库
水调业务数据库存储水资源规划管理和水资源调度业务处理相关的信息和数据。
水资源规划管理的数据内容包括:水资源综合规划、区域规划、城市规划、水中长期供求计划、水资源保护规划、节水规划、地下水开发利用规划等文档和专家信息。
--------------------------------------------------------------
可编辑
水资源调度业务的数据内容包括:年调度、月调度、旬调度、实时凋度和应急调度等的日常文档、用水计划、水调日报、水调旬报、水调月报、水调年报以及调度方案等。 1.3.4 空间数据库
空间数据主要包括行政区划、城镇与农村居民点、地形、河流、水系等国家基础地理信息以及包括水资源分区、取水口、输水线路、供水水厂、入河排污口、用水户、监测站点、水资源工程、机构分布等水资源专用地理信息。
空间数据库的建设要按照区域水资源管理以及防汛抗旱指挥和水务管理工作用图标准建立各种不同比例尺的水利专题图和数字高程地图,并根据具体业务要求进行基于级别和类型的更细化分层,同时分别列出不同的工程属性。专题图层要与各个综合数据库相联系,将地图的基本要素与水利各专业的需要相联系,为水利各项业务活动提供基础信息。
针对不同层次和业务人员,将空间数据库的建设内容划分为基础电子地图、水利基础电子地图及专题电子地图。所有空间数据采用图层的方式进行管理。图层划分的依据主要参照国家及行业有关规定和约定,按照以下原则进行:
(1)能明显区分空间地理特征的类别,方便数据显示、数据查询、要素选择等操作。
--------------------------------------------------------------
可编辑
(2)应尽量与地理学分类一致。如自然地理特征和社会地理特征通常应分在不同的数据层中。
(3)应考虑到数据的采集、要素间拓扑关系处理、数据显示和传递等因素。
(4)应考虑软件平台的某些限制,应尽量避免将点特征和多边形特征放在同一数据层。
(5)分层应具有唯一性。
所有属性数据在系统中用关系型数据库系统统一管理,数据以表的形式进行存储,空间地物及其属性通过唯一的标识码相互连接,获取对应记录。
空间数据库建设过程中,要以国家制定的不同比例尺、不同来源的数据规范为基准,参考有关空间数据标准和规范,在建设过程中统一按要求进行。
国家基础地理空间信息由国家测绘局或省测绘局提供;水利基础空间地理信息由水利部下发。水资源专题地理空间数据库在此基础上生成取水口、排污口、水厂、大用水户等专题图层,在业务管理工作中生成由水资源属性数据和水资源空间数据复合而成的空间信息等。
各比例尺图形数据库(包括DLC, DEM、遥感影像地图)建设将统一按新经纬度坐标系(1985黄海高程系)标准进行,各比例尺图形、图像均采用国家标准分幅。对以往在旧经纬度坐标系(1954北京坐标系、1956黄海高程系)基础上已完成的数据库建设成果,可
--------------------------------------------------------------
可编辑
通过逐幅非系统坐标变换、拓扑重构的方式完成新旧坐标系统之间的遗产数据转换。
--------------------------------------------------------------
可编辑
1.3.5 多媒体数据库
多媒体数据库包括:图形与影像数据库、音频数据库、视频数据库,分别存储和管理运行管理中产生的图形图像、音频、视频等多媒体数据。
多媒体数据库存储内容包括智能图像采集系统采集的图像、视频信息水资源应急事件监测和处理过程中产生的多媒体信息;水资源管理工作方面保存下来的图片、影像、声音等多媒体数据以及视频会商、会议、领导视察等相关多媒体信息。
多媒体数据库对要存入的数据不限制媒体类型,但是限制存入数据库的媒体文件的大小,并且所存储的数据可以相互关联。
工程的基础图形图像宜存储在基础工情数据库中,运行管理中产生的图形图像、音频、视频等信息存储在图形图像、音频、视频数据库。
1.3.6 决策分析支持库
决策分析支持库用于提供与决策支持系统相关的各种决策支持信息,主要由决策分析数据库、构件式模型库、预案方案库以及专家知识库组成。
(1)决策分析数据库 1)技术设计
--------------------------------------------------------------
可编辑
决策支持系统为了更有效地实现对决策过程的支持,需要掌握充分的信息,从而经常需要访问大量的、不同数据源的、当前或历史的数据。即使得到所需的数据,还需要对其中具体的、细节的数据进行综合、总结、概括,并要求数据库不仅能存储一般数据,而且要求能存储中间结果。
采用传统的数据库技术服务于决策支持系统则会出现“蜘蛛
网”、“缺乏数据可信性”等问题,而采用数据仓库技术(即“数据析取技术”)则可以很好地解决这个问题。
数据仓库技术以基础数据库为源数据库,按一定的规则进行数据抽取、清洗、聚集和转换后进入决策分析数据库。
我们称将源数据库的数据通过数据转换而形成决策分析数据库的过程为“数据析取”。
“数据析取”往往是一系列复杂的转换过程,图 4.9-3为决策分析数据库的建立过程:
源数据 数据析取 析取后数据水文供水水环境···数据描述数据集聚数据清洗数据转换 防汛DSS数据库决策分析数据库基础数据库 抗旱DSS数据库 水资源水环境DSS数据库水土流失DSS数据库
图 4.9-3数据析取过程示意图
数据描述完成数据字典的功能,即分别对源数据库和决策分析
--------------------------------------------------------------
可编辑
数据库进行描述;数据集聚完成对字段或记录的选择、连接和计算分析;数据清洗从源数据库中选择字段或记录进行数据或逻辑运算;数据转换包括格式转换和数据类型变换。
--------------------------------------------------------------
可编辑
采用数据析取技术获得的DSS数据库数据可以显著减少再编程时间和向海量基础数据库存取数据的次数,因而可以大大节约运转费用,并减少使用和维护人员的费用。
数据析取技术要面向主题,以实现对决策支持系统的无缝数据支持。因而,决策分析数据库的设计采用面向主题的自顶向下的设计方法。即首先确定主题及分析具体应用主题的需求。所谓主题是一个在较高层次将数据归类的标准,每一个主题对应一个宏观的分析领域,针对具体决策需求可细化为多个主题表,具体来说就是确定决策涉及的范围和所要解决的问题。再选择合理的数据源 ,通过定制的规则从不同数据源中进行数据的抽取和转换。通过对不同时间、不同类型数据的整合以及进行一定程度的数据分析后获得面向主题的数据集合。
决策分析数据库的主要内容包括防汛DSS数据库、抗旱DSS数据库、水资源DSS数据库以及水土流失DSS数据库。
2)水资源DSS数据库
表 4.9-1水资源DSS数据库 分类 数据 评价时间、评价单元、多年平均降雨量、多年平均径流量、典型年地表水资源量 (丰水水资源量年、平水年、枯水年、特枯年 )、各区可利用评价结果 地表水资源量、多年平均及典型年地下水资源量 (丰、平、枯、特枯年 )、各区可利用地下--------------------------------------------------------------
可编辑
分类 数据 水资源量、水面蒸发量、陆地蒸发量等 --------------------------------------------------------------
可编辑
分类 数据 农业人口、城市人口、农村工业产值、城市工业产值、耕地面积、有效灌溉面积、牲畜数量、公用事业耗水量及预测得出的农业人口需水预测需水量、城市人口需水量、工业用水量、牲畜结果 需水量、农业灌溉用水量、农作物不同生长期的需水量及同期降水量、农业生态灌溉需水量等 河道来水预测 水资源平衡分析结果 水质评价成果 水质预测结果 (2)构件式模型库
模型库是水利信息化系统的核心,要求建立具有实际效用的模型库,完善水资源分析评价模型、水资源配置调度模型等,提高预测预报的精度和预见期,使水资源管理更加规划化、智能化。
预测位置、预测时间、预测水质情况等 评价时间、评价位置、评价等级等 分析年份、总需水量、可供水量等 预测断面、预测时间、预测流量 --------------------------------------------------------------
可编辑
构件式模型库采用构件化的方式组织各种决策分析模型,灵活为决策支持系统提供各种专业模型支持。
1)设计原则
根据XX省水利信息化系统建设的需求,整个模型库的设计要遵循以下原则:
①高可靠性
高可靠性是指决策模型库中的模型均具有较高的可靠性和成熟度,并切合XX省的实际情况,具有很高的精度。
②方便管理
方便管理是指决策模型库的结构合理,对模型的管理方便易行。
③良好扩展性
良好扩展性是指模型库将非常方便进行新模型的扩充。 ④高度整合性
高度整合性是指要对现有专业模型进行调查分析,努力进行整合,充分利用现有资源,避免重复建设,减少投资。
2)模型库结构
采用面向对象的模型库组织结构,具体如下:
①模型组件化。采用组件模型概念,将复杂的洪水预报及调度模型分解为不同的单元模块,封装模型计算过程,形成单元模型组件。这样在以后的系统集成中,可以根据不同的单元模型,形成不同计算模式的模型组合。
--------------------------------------------------------------
可编辑
②接口标准化。对各单元模型统一定义输入输出标准接口,统一定义初始和边界条件,以便于今后模型的调用和组合。
③统一建库。根据单元模型和标准接口,研究建立模型组件库和模型参数库,对已建立的模型统一入库管理。
④组件化管理。按照标准化接口,可以由使用人员自行定义单元模型组件,并纳入模型组建库。
采用面向对象方法开发模型管理系统实现对模型的管理,其优点如下:
①面向对象方法的封装机制能够将模型及其对应的方法封装起来,以类的形式提供给用户,把属性及其对应的方法封装在一起,形成一个统一实体。如把面雨量计算模型的属性及其对应的方法,如算术平均法、泰森多边形法、等雨量线法等封装在一起,形成一个独立的模型类。
②可以通过创建模型类的实例来实现模型的重用。
③面向对象方法的继承机制能够实现代码的共享。如可利用已有的蓄满产流模型继承得到改进后的蓄满产流模型。
④面向对象方法的多态性支持模型之间的连接。如将特定的产流模型、汇流模型、演算模型连接后,即可得到某特定地区的洪水预报模型。
--------------------------------------------------------------
可编辑
3)模型库内容
表 4.9-2模型库内容 分类 数据 水资源量评价模型构件(大气降雨量、地表水资源量、地下水资源量的评价)、水资源量预测分析模型构件、需水量预测模水资源与型构件、水资源优化配置调度模型构件、水环境模型库 水质评价模型构件、水质模拟预测模型构件、水环境容量分析模型构件及水质规划模型构件等。 4)模型字典
模型字典用来存放有关模型的描述信息(如限制、约束、参数等)和模型进行数据存取的说明。其内容主要包括:
①模型组件的适用范围 ②模型组件的注册标示符
③模型组件的属性变量(即输入端口和输出端口)类型及维数说明
④模型组件的方法(即模型功能)用途说明 ⑤模型组件的消息(即模型之间联系)使用说明 ⑥模型组件的作者、创建时间说明 (3)预案方案库
表 4.9-3预案方案库
--------------------------------------------------------------
可编辑
分类 水资源调配预案库 (4)专家知识库
数据 全省范围内的各种供水引水工程的水资源调配预案 知识库用于存储各种知识,这些知识包括概念、事实与规则,组织、管理和维护数据库的方法。
预先把决策者的知识存储于知识库中,当在决策过程中遇到需要与人交互的环节时,应先访问该智能部件,若能解决系统提出的问题,或满足系统提出的要求,则不再与人交互而由系统自行解决。只有当智能部件不能解决时,才需要由决策者来回答问题,并将结果存储于知识库中。
在设计知识库时应定义有良好的接口与模型库和数据库交互。在智能型的决策支持系统中,常常由智能部件来驱动模型的运行、数据库的操作和控制决策任务的完成。
面向水资源实时监控管理系统的专家知识库要依据对象区域水资源的实际状况,将与水资源实时预报、管理和调度等有关的知识加以提炼,存入数据库中供水资源决策支持系统调用。这些知识包括水资源概念知识、水资源事实知识、水资源规则知识、水资源规律知识等,这些知识在相应数据库系统管理维护下均可进行增、删、修改等操作。
1)水资源概念知识。将与水资源有关的定义、概念性知识提炼成概念知识记录,存入数据库中,为水资源决策支持系统提供概
--------------------------------------------------------------
可编辑
念知识支持。如降水量、径流量、地下水资源量、水资源总量、供水量、用水量和水污染、COD值等。
--------------------------------------------------------------
可编辑
2)水资源事实知识。将与水资源有关的事实性知识提炼成事实知识记录。存入数据库中,为水资源决策支持系统提供事实知识支持。
3)水资源规则知识。将与水资源有关的推理规则性知识提炼成规则知识记录,存入数据库中,为水资源决策支持系统提供规则知识支持。
4)水资源规律知识。将与水资源有关的规律性知识提炼成规则知识记录,存入数据库中,为水资源决策支持系统提供规律性知识支持。 1.3.7 元数据库
元数据是用于描述数据内容、定义、空间参照、质量和地理数据集管理等方面的数据,用于说明数据或数据集的内容、质量、特性和适用范围,向用户提供所需数据是否存在和怎样得到这些数据的途径、方法等方面的信息,帮助用户了解、使用数据。元数据在空间数据的对外共享服务中具有重要意义,可以方便用户对其空间数据库进行浏览、检索和研究;利用元数据库对其数据如空间数据进行质量控制;元数据库在数据集成中的一系列处理中,例如数据空间匹配、属性一致化处理、数据在各平台之间的转换使用是必须的;通过元数据建立的逻辑数据索引可以高效查询检索分布式数据库中任何物理存储的数据,避免数据的重复存储,由于数据库的建设和管理费用是数据库整体性能的反映,通过元数据可以实现数据库的设计和系统资源的利用方面开支的合理分配,数据库许多功能(如数据库检索、数据
--------------------------------------------------------------
可编辑
转换、数据分析等)的实现是靠系统资源的开发来实现的,因而这类元数据的开发和利用将大大增强数据库的功能并降低数据库的建设费用。
--------------------------------------------------------------
可编辑
元数据及其技术在分散数据资源管理中的巨大优势,使其成为网络数据资源共享的关键。元数据管理系统功能就是通过集中管理的元数据,实现对异构、异地数据资源的分布式管理与服务。
元数据管理XX省水资源管理系统大量的数据信息,使数据资源在各业务应用之间进行畅通无阻的交换及对数据资源的快速检索和查询,实现XX省水资源管理系统网络数据交换和共享访问。
在系统建设中,元数据应尽量采用国际国内标准,如满足ISO或OGC标准,并可以根据水资源管理的具体应用要求进行扩展。元数据应采用开放的、灵活的XML进行表达。GIS软件应提供空间元数据管理工具,即用来录入、修改、检索、浏览、维护空间信息管理平台元数据的软件系统,并能集成到整个元数据存储与管理系统中。
XX省水资源管理系统的元数据包含图形数据元数据和属性数据元数据,图形数据(即数字影像图、数字高程模型、数字线划图)元数据有具体的国家规范,其主要包括有关数据源、数据分层、成果归属、空间参考系、数据质量(包含数据精度和数据评价)、数据更新、图幅接边等方面的信息;属性数据元数据(即渠道工程数据、多媒体数据、社会经济与水资源、生态环境)到目前为止还没有国家规范,它主要参照图形数据元数据的国家规范设计,其主要包含有关数据源、数据分类、成果归属、数据质量、数据更新等方面的信息。
--------------------------------------------------------------
可编辑
1.4 数据库管理系统设计
1.4.1 综合数据库管理系统 1.4.1.1 系统功能总体结构
在“水资源管理系统”数据存储与管理体系中,数据库分布在省、市数据中心,因数据库存储管理的数据内容基本相同,采用的数据库管理系统也应尽可能的一致。对于已经建设水资源管理数据库的地市、县来说,保持现有数据库管理体系,在现有数据库管理体系作进一步开发,作好省市数据库管理系统与已有数据库管理系统的借口与数据交换功能,数据库管理系统的主要功能包括建库管理、数据输入、数据查询输出、数据维护管理、代码维护、数据库安全管理、数据库备份恢复、数据库外部接口等,是数据更新、数据库建立和维护的主要工具,也是在系统运行过程中进行原始数据处理和查询的主要手段。数据库系统设计采用实体主导型,数据库维护管理系统开发可采用WEB 或C/S方式,其中数据库的外部数据接口可在后期根据应用需求情况完成。
对各级水资源管理单位而言,数据库管理系统的主要功能是一样的,因此,数据库管理系统的主要功能要统一设计。对于数据输入、查询等功能模块,由于可为
--------------------------------------------------------------
可编辑
各级业务管理系统所共用,要避免重复开发。其功能如下图所示。
数据库管理系统市县数据数据库状态监控数据库安全管理外部系统建库管理数据资源管理数据维护管理代码维护数据库外部数据接口数据访问与交换综合数据库
图表 1.4-1 综合数据库管理系统功能结构
1.4.1.2 系统功能设计 (1)数据库建库管理
数据库的建库管理主要是针对数据库类型,建立数据库管理档案,包括:数据库的分类、数据库主题、建库标准、建库方案、责任单位、服务对象、物理位置、备份手段、数据增量等内容。 (2)数据库状态监控
监控数据库进程,随时查看、清理死进程,释放系统资源。 监控和管理表空间的容量,及时调整容量大小,优化性能。 数据存储空间、表空间增长状况和剩余空间检查,根据固定时间数据的增长量推算当前存储空间接近饱和的时间点,并根据实际情况
--------------------------------------------------------------
可编辑
及时添加存储空间,防止因磁盘空间枯竭导致服务终止。
--------------------------------------------------------------
可编辑
对数据库数据文件、日志文件、控制文件状态进行检查,确认文件的数量、文件大小和最终更改的时间,避免因文件失败导致例程失败或数据丢失。
压缩数据碎片数量,避免因数据反复存取和删除导致表空间浪费。
检查日志文件的归档情况,确保日志文件正常归档,保证对数据库的完全恢复条件,避免数据丢失。 (3)数据维护管理
主要完成对数据库数据的维护管理功能,包括数据库的更新、添加、修改、删除及查询等功能。
所有数据的更新维护都遵循“权威数据,权威部门维护”的原则,数据本身仍是分布式存在的,系统并不要求数据完全进行集中统一管理。但要求按照统一的数据标准与格式来进行数据的生产、维护和更新。数据输入具有数据的有效性检查、数据完整性和一致性检查等功能,防止不合理的、非法的数据入库。数据维护及更新管理系统功能结构图如下图所示。
--------------------------------------------------------------
可编辑
数据库维护管理数据输入数据修改数据删除数据查询
图表 1.4-2 数据维护系统逻辑结构图
数据输入:提供一套数据录入界面,并设置数据有效性检查、数据完整性和一致性检查等功能,防止不合理的、非法的数据入库,保证省、市、县数据的一致性。
数据修改:主要完成对已入数据库的各类数据进行修改更新功能,并同步更新相关数据库。
数据删除:对已入数据库的各类错误数据和无效数据进行删除,删除时分两种方式,即物理删除和逻辑删除两种操作,物理删除将错误或无效的数据从数据库中清除,逻辑删除则将当前要删除的数据加上无效标志,使其只可作为历史数据的查询条件。
数据查询输出:提供各类数据的查询操作和显示界面,用于查询数据库中的数据。在查询界面中预先设置常用的查询条件,提高输入查询条件的速度,同时为用户临时确定查询条件(较复杂的条件)提供输入操作窗口。数据输出的主要功能包括屏幕显示、不同格式的文件输出等。 (4)代码维护
通过增、删、改操作对各类数据标准进行定义和维护。代码定义
--------------------------------------------------------------
可编辑
要严格按照编码设计方案及相关的国家标准体系的要求进行;代码删除分为物理删除和逻辑删除两种操作,物理删除将错误的代码从数据库中清除,逻辑删除则将当前废弃的代码加上无效标志,使其只可作为历史数据的查询条件。
--------------------------------------------------------------
可编辑
(5)数据库的安全
分布式数据库系统是计算机网络技术和数据库技术互相渗透和有机结合的产物,主要研究在计算机网络上如何进行数据的分布和处理。Internet的高速发展推动着分布式数据库的发展,但它同时也给分布式数据库的安全带来了严重问题。应着重考虑数据库自身安全保证策略,对网络黑客的防范由网络安全体系解决。
本系统从以下几个方面确保数据库的安全:
1、用户授权。采取用户授权,口令管理,安全审计。通过访问控制以加强数据库数据的保密性,数据库用户设置角色有:干线公司领导、处、科领导等,也可以由系统管理员设定;对各种角色有不同访问控制:拒绝访问者、读者、作者、编辑者、管理者等;每种访问控制拥有相应的权限,权限有管理、编辑、删除、创建。
2、加强备份。在省水资源数据中心必须制定合理、可行的备份策略(定时备份、增量备份),配备相应的备份设备,做好数据备份工作,数据库备份中心的功能是:备份省数据库的全部内容,并保持与省数据库的数据一致,在省中心出现故障无法进行管理时,由数据库备份中心接管管理工作。
3、用具有完整的容错机制来保证系统的可靠性。选用数据库系统软件时考虑采用支持联机备份与恢复,由独立的后台进程完成的产品。使联机备份能保证在做备份时,不影响前台工作进行的速度,并且该后台进程能保证对整个数据库做出完整的备份。当局部发生故障时,进行局部修复,不影响同一数据库中其他用户的工作,更不影响
--------------------------------------------------------------
可编辑
网络中其他节点的日常工作。还能将整个数据库恢复到某一时间,还原数据库的某一历史状态。
--------------------------------------------------------------
可编辑
4、数据库完整性控制机制。选用数据库系统软件时考虑采用具有完整性控制机制的产品。以能做到完整性约束、自动对表中字段的取值进行正确与否的判断、自动的引用完整性约束、可自动对多张表进行相互制约的控制等。以能保证数据库中数据的正确性和相容性。
5、数据库一致性。实时信息要按统一制定的标准格式,经每一级选取和标准化后逐级上传。系统在广域网上的实时分布式数据特性,能够通过局域网或广域网实现一个数据库的多级备份。异地数据库的一致性通过数据库管理系统提供的复制技术实现。
6、并发控制。在多用户并发工作的情况下,写/写冲突及读/写冲突是主要的影响实时操作效果的因素。选用数据库系统软件时考虑采用具有较好的用户管理手段、有效的内存缓冲区管理、优化的I/0进程控制、有效的系统封锁处理、快速的网络管理功能等的产品,保证这种并发的存取和修改不破坏数据的完整性,确保这些事务能正确地运行并取得正确的结果。为了保证数据的安全性,数据库用户只应该被授予那些完成工作必须的权限,即“最小权限”原则。在设置好用户权限的同时,对用户帐号的密码进行加密处理,确保在任何地方都不会出现密码的明文。
--------------------------------------------------------------
可编辑
(6)数据资源管理
数据资源管理主要目的是充分利用DBMS管理系统的功能,控制数据库对操作系统资源的开销,避免因为低效率的操作系统而导致数据库系统出问题。利用数据库资源管理器可以实现以下系统资源管理功能:
不管系统装载量和用户数目多少,都可以保证某些用户占据最少量的系统处理资源
限制用户组的成员执行任何操作的并行度
根据操作系统性能的不同,控制数据库进程打开数据文件的最大个数,避免系统内存被不必要的消耗掉。
(7)系统维护
数据库服务的启动和停止,以及主机的开启和关闭; 数据库参数文件内容调整、网络连接方式的更改和调整; 数据库必要补丁的安装;
数据恢复,由于业务需求而将数据库恢复到先前的时间点。 数据库由低版本向高版本迁移; 数据库主机操作系统升级迁移。 1.4.2 元数据管理系统 1.4.2.1 元数据汇交
数据共享是以丰富的数据为基础的。元数据汇交是实现数据共享的前提,也是数据共享建设过程中关键技术之一。元数据汇交的最终方式是以网络的形式进行,为此必须要建立一个基于网络的元数据汇
--------------------------------------------------------------
可编辑
交体系。目前随着数据库技术、网络技术、中间件技术以及其他相关信息技术的发展,为元数据汇交的建设提供了技术基础。
--------------------------------------------------------------
可编辑
按照相关的数据质量标准或者数据审核专家组的具体要求,利用基于工业标准的关系型数据库、分布式数据库技术、网络技术和安全技术,主要采用集中式管理模式,设计合理的数据组织结构,合理分布各数据库的负载,开发基于网络的元数据汇交体系,规范元数据汇交的流程,确保数据的一致性、完整性和正确性,为元数据汇交及数据共享建立先进的技术平台。
在元数据汇交体系中,各数据生产单位通过网络将各自的数据与元数据通过相应的数据分中心统一汇交到数据中心;数据汇交可分为两个部分,即数据汇交管理支撑部分和数据汇交技术支撑部分。通过汇交可以为数据共享提供数据基础。 1.4.2.2 元数据编辑
元数据编辑包括元数据存储和元数据更新两部分。 1.元数据存储
只有对汇交的元数据进行有效存储,才能确保其安全性、长效性和易用性。元数据的存储模式主要有两种,其一是以数据集为基础的分散存储模式,即每一个数据集有一个对应的元数据文件,每一个元数据文件中包含相应数据集的元数据内容;另一种是以数据库为基础的集中存储模式,即所有数据对应一个元数据库,该元数据库统一存储所有元数据,不同数据的元数据在元数据库中体现为不同的表,元数据的不同要素体现为记录。第一种存储模式的优点是调用数据时其相应的元数据也作为一个独立的文件被传输,相对数据库有较强的独立性,在对元数据进行检索时,既可以利用原数据库的功能实现,又
--------------------------------------------------------------
可编辑
可以将元数据文件调到其他数据库系统中进行操作;其缺点是每一数据集都有一个元数据文件,在规模巨大的数据库中则会有大量的元数据文件,管理上极为不便。第二种存储模式由于元数据库统一存储元数据,管理极为方便,添加或删除数据集只需要在元数据库中添加或删除相应的记录项即可,但是元数据库的建立则需要额外的技术支持和经费花销。早期的元数据数据量小,多采用文件方式存储。随着元数据应用范围的扩大,数据量的递增,应用需求的拓展,这种方式已经不能满足元数据存储的需要,而基于关系数据库的元数据库能够适应元数据存储发展的需要,因此成为元数据存储的首选。
--------------------------------------------------------------
可编辑
元数据的存储是基于关系数据库的集中存储模式,元数据库的建设采用在干线公司建立统一的元数据库方式。
元数据库的设计思想以元数据实体集为核心表,数据集标识信息为辅助表,其它相关表则嵌于这两个表下,形成以父节点、子节点、孙节点为结构的基本树结构。数据库的设计原则是最终形成以元数据实体集为根节点的标准树结构,子节点有且唯一具有一个父结点。
元数据库设计中,元数据以XML进行编码表示,以关系化的方式进行存储。在关系型数据库中不仅存储元数据的结构/模式信息,而且存储数据内容信息。对于前者,元数据库以独立的存储表对其进行存储,记录数据XML的结构定义信息,即Schema。按以上数据库设计建立各种物理存储的关系表,包括元数据基本信息表、模式基本表、扩展表等。其中元数据基本信息表以元数据实体集为核心表,数据集标识信息为辅助表,其它表则嵌于这两个表下,形成以父、子、孙节点为结构的基本树结构。
--------------------------------------------------------------
可编辑
2.元数据更新
元数据的更新包括元数据内容在元数据服务器中的更新和与之相对应的数据对象在数据库服务器上的更新。元数据的更新首先进行元数据内容的获取操作,在元数据内容进行变更完成后,可以根据需要进行数据内容的更新,进而进行元数据和数据的注册工作。由于更新前的元数据内容项和数据的存储位置信息已经存在,更新的结果存储在相应的元数据服务器和数据库服务器中。整个流程始终保持元数据内容变化和数据内容变化的同步性。
元数据的更新主要指对元数据内容的添加、删除、更新等。基于关系数据库的元数据库可充分利用关系数据库管理系统本身的安全性、高效性、用户权限管理等特性实现部分基本的管理功能。但其他面向用户的高级功能则只能通过构建专用的元数据管理系统得以实现。元数据管理系统是面向应用、实现共享元数据的核心,起到沟通元数据生成者、管理者和使用者的作用,也起到连接元数据获取、存储、管理、更新的桥梁作用。
--------------------------------------------------------------
可编辑
1.4.2.3 元数据查询
随着水资源管理系统建设的进一步深入,会有大量的可用的数据资源,但是用户如何快速准确地获取满足需求的资源却是一件极为棘手的事情。因此,为了充分发挥现有数据的作用,提高其利用效率,使更多的数据生成者和数据使用者节省昂贵的成本,在元数据查询方面就需要一种框架机制来有效地实现数据的查询检索。
目录服务体系是实现数据资源共享基础建设中的一个重要部分,是实现数据资源共享的第一步,是不可缺少的一个重要环节;它也是数据提供者和数据使用者的纽带。它首先提供信息资源的查找、浏览、定位功能。通过目录服务体系的信息定位可以为数据共享交换获取信息资源提供获取位置和方式。
目录服务是以元数据为核心的目录查询,它通过按照元数据标准的核心元素将信息以动态分类的形式展现给用户。用户通过浏览门户网站提供的元数据搜索功能来快速确定自己所需的信息范围。 1.4.3 数据访问与交换 1.4.3.1 数据访问
统一访问接口通过应用支撑平台提供对数据资源的访问,同时提供访问权限控制与检查。数据访问主要包括数据资源寻找、绑定、读取或编辑等过程。应用程序从信息资源目录上寻找该数据,然后进行绑定,之后通过应用支撑平台提供的服务进行查询、编辑等操作。读取或编辑环节,不允许应用系统直接访问数据库,应将所有信息资源(包括本次建设数据库、水利系统其他部门所属数据库、
--------------------------------------------------------------
可编辑
水利系统外数据库)进行封装后,应用系统通过该接口进行访问。
--------------------------------------------------------------
可编辑
1.4.3.2 数据交换
用户通过数据交换,可以对数据资源进行透明的访问,并获得多种共享交换功能服务。数据交换要求应用支撑平台提供元数据服务、目录服务、下载服务、数据浏览服务等。
在数据资源部分,需要提炼数据元、建立元数据库、编制信息资源目录,提供一站式数据交换服务。
数据元包括简单数据元和复合数据元,提炼和标准化数据元的目的是使不同用户对统一数据具有一致的理解、表达和标识。数据元主要包括六类基本属性:标识类属性、定义类属性、关系类属性、表示类属性、管理类属性、附加类属性。整个水资源管理系统中,数据元在全国范围内统一,数据元标准维护管理由水利部负责。
元数据是建立信息资源目录体系的基础和核心,每个数据库都应建立元数据库。元数据库需遵循国家标准,核心元数据项必须提供。
根据元数据库编制资源目录。每项信息资源都具有唯一的信息资源标识符,该唯一标识符由两段组成,中间用“/”隔开,前段表示拥有并提供该信息资源的部门,前段码固定并由水利部统一分配。后段码由拥有该信息资源的部门进行提供,原则是保证该机构内不重复。
--------------------------------------------------------------
可编辑
应用支撑平台将在以上基础上向业务应用提供数据交换服务。
1.5 数据存储、备份与容灾设计
1.5.1 存储需求分析 1.5.1.1 功能需求
XX省水资源管理系统需要存储备份的系统环境是一个包括多种软件系统及多个的硬件系统组成的系统环境,同时其主要系统具有7×24小时不间断运行的特点。
因此设计的备份系统应满足如下需求:
(1)针对水资源管理业务具有7×24小时不间断的特点,因此存储备份系统需支持对数据库的实时存储备份,确保数据库的可用性和数据备份恢复的高效性,能够恢复到距故障点尽可能近的数据。
(2)针对水资源管理业务服务器多,今后业务数据的数据量增长幅度较大的特点,对全网络各服务器的数据日常备份及备份数据的有效恢复需要有一套完整的、统一的数据存储管理策略。
(3)备份系统应能支持多种数据库并对其进行集中备份,同时要求具有较好的可扩展性。
(4)希望能在完成高速的备份,任何方面的系统故障和数据丢失应在10-20分钟内恢复正常运行。
(5) 做到自动化的备份数据的存储与恢复。备份介质应较高的备份速率和稳定性,备份介质系统容量具备较大的扩展性。
--------------------------------------------------------------
可编辑
(6)在网络数据备份和恢复过程中,应尽可能减少对主机系统的影响,并确保对系统资源占用率不超过10%。
(7)减少介质出现的故障影响备份工作,同时采用盘阵和真实带库,实现数据快速备份/恢复,保障备份介质安全、可靠。
(8)确保数据的安全性和灾难恢复性。
(9)为保障服务器的系统安全,实现对服务器系统的免OS安装的快速恢复。
(10)建立重要历史数据归档,保留大量历史数据到电子介质,为建设单位发展保留第一手分析和历史资料。
在充分理解客户需求的基础上,首先着重满足应用需求,进而以节约投资为出发点进行系统规划和整合设计。在进行系统规划设计时,方案尽可能全面了解具体的应用,考虑原有设备的利用,并在满足用户基本需要的基础上重点考虑系统的稳定性、可扩展性、通用性、维护性等系统的高性能。系统结构设计时考虑:
1)开放系统的支持
具有多操作系统平台支持,以便将来的系统迁移或二次开发的需要。
2)系统的共享
方案中各个系统要共享此磁盘阵列。在不同的系统间共享磁盘阵列,需要将阵列中的存储容量进行划分,每个系统独占一些存储容量。磁盘阵列的容量设计不是简单的容量相加,而需要将各个系统所需要的磁盘容量相加后综合考虑冗余。
--------------------------------------------------------------
可编辑
3)系统的可扩展性
因为业务发展的不可确定,系统需要有较大的伸缩性。首先,系统可满足现有应用并有冗余,同时,当服务器性能对存储容量有更高的需求时,可以通过简单无需停机的加入服务器和硬盘,就得到更高的系统容量。
4)系统的安全性
系统作为整个资料的数据中心,数据的安全性和稳定性也非常重要;系统保障关键应用的连续性;具备冗余配置,减少单点故障,从而能够支持对所有应用服务器的不问断访问;要求整个系统通过完善的控制界面来管理和监控,操作方便,维护简单。 1.5.1.2 性能需求
1)技术先进
系统在满足实用、成熟的前提下具有先进性,确保系统建设的高起点。
2)高性能
服务器通常在短时间内实时完成信息的存储、分发、查询和分析等工作,因此对系统的计算性能、I/O传输量要求极高。
3)高安全、高可靠性
作为关键应用系统,对服务器的安全性和可靠性都提出了很高的要求。要保证系统连续运行,服务器系统必须具有极高的可靠性;此外,还必须适当考虑系统的高可用性。
--------------------------------------------------------------
可编辑
4)系统的开放性、互联性及广泛的通信能力
系统的开放性,要求能够支持多种协议,保证主机系统与存储系统、主机系统与网络系统灵活连接,在系统互连、互操作和资源的利用上充分发挥系统优势。
5)经济实用性
设备的选型要切实考虑实际应用需求,根据业务信息管理的系统架构,合理配置服务器和存储设备,满足各应用系统的实际需求。
6)较高的可扩展性
系统的设计,还要考虑到应用的增长,为将来的扩展奠定基础,能够进行充分扩充。
7)易管理性、易维护性
系统的易管理、易维护,会有效地降低系统的维护费用,充分利用系统资源。
8)必须是一个非常成熟的解决方案
系统平台的选型在强调技术先进和高性能、可靠性的同时,也必须注意系统的成熟度,其解决方案是很成熟的并有许多成功的范例。
1.5.2 数据存储设计
该系统不但需要实现本地数据的存储和备份等功能,还需要实现应用级的容灾,保证一旦本地数据中心出现毁灭性灾难,异地的容灾中心无需手动配置即可实现自动切换。在淄博水利局设立异地容灾中心。考虑到省级对数据的安全性和业务的连续性要求都比较
--------------------------------------------------------------
可编辑
高,选择通过光纤进行数据镜像的方案。
--------------------------------------------------------------
可编辑
本方案需增加四台数据库服务器和两台全光纤存储,其中两台数据库服务器放在本地做双机系统,另两台在异地搭建双机系统;光纤存储一台放在本地数据中心,另一台放在异地容灾中心,该存储支持数据快照、数据复制等功能,我们通过存储上的数据镜像软件进行数据的远程同步,数据的镜像过程通过光纤进行传输,由于传输过程是在两台存储之间进行的,并不占用服务器系统的资源。而存储镜像软件包括有两只镜像方式:同步镜像和异步镜像,考虑到用户两套数据中心的距离并不远且通过光纤进行连接,因此数据传输的性能会比较好,而用户对数据安全性要求非常高,因此采用同步镜像的方式,近距离的光纤传输对主数据中心的性能影响不大,在保证性能的同时保证了数据的安全。
数据镜像保证了系统硬件方面无单点故障问题,而应用问题或软件问题则无法单纯通过数据镜像来保证数据安全,设计再添加一台虚拟磁带库放在本地数据中心,该存储通过光纤交换机连接到虚拟磁带库,将该存储上的数据定期进行备份,我们可以根据用户的应用需求选择合适的备份策略(例如每周做全备份,每天做增量备份的方式),备份软件选用Symantec Backup Exec12d,备份软件将该存储里的数据备份到本地虚拟磁带库上,实现数据的本地备份,即使数据受到人为破坏或病毒攻击,我们也同样可以通过虚拟磁带库上的数据进行恢复。网络拓扑如
--------------------------------------------------------------
可编辑
图 1.5-1所示。
图 1.5-1 存储备份系统拓扑图
数据远程镜像是本方案的关键,光纤存储内置的镜像软件可以轻松实现两台存储之间的数据镜像。两台存储之间通过光纤进行连接,镜像过程完全通过存储来实现,不占用服务器系统的资源。
存储数据远程同步功能通过将本地数据连续地复制或镜像到远程存储系统中去,以形成副本的方式实现对数据的保护,也是构建异地备份、异地容灾的最佳存储解决方案。数据远程同步功能支持非常多的同步选项,具备充分的操控灵活性,允许存储系统管理员对数据同步操作做出优化。数据远程同步功能支持同步、异步等同步模式,并可在多种模式间做动态的模式切换, 数据同步功能亦能与数据快照功能有效结合,扩展信息服用模式与价值。
--------------------------------------------------------------
可编辑
考虑水资源管理系统的实际应用,采用数据同步镜像的方式。
1.5.3 数据备份设计
由于水资源管理系统对数据的安全性要求非常高,一旦丢失将会带来很大的损失,因此建议对关键数据进行备份,当前主流的备份方式有本机备份、网络备份和LAN-Free备份,每种备份各有优缺点,下面分别对这几种备份方式进行介绍和对比:
(1)本机备份
在本机备份模式中,磁带库直接接在服务器上,而且只为该服务器提供数据备份服务。在多数情况下,这种备份大多是采用服务器上自带的磁带机,而备份操作往往也是通过手工操作的方式进行的。
图 1.5-2本机备份
--------------------------------------------------------------
可编辑
优点是数据传输速度快,备份管理简单;缺点是不利于备份系统的共享,不适合于现在大型的数据备份要求。
(2)网络备份
网络备份中,数据的传输是以网络为基础的。其中配置一台服务器作为备份服务器,由它负责整个系统的备份操作。磁带库则接在备份服务器上,在数据备份时备份对象把数据通过网络传输到磁带库中实现备份的。
网络备份的优点是节省投资、磁带库共享、集中备份管理,缺点是网络传输压力较大。
图 1.5-3网络备份 (3)LAN-Free备份
LAN-Free备份是在SAN环境中进行的,是指数据不经过局域网直接进行备份,即用户只需将磁带机或磁带库等备份设备连接到SAN中,各服务器就可把需要备份的数据直接发送到共享的备份设备上,不必再经过局域网链路。由于服务器到共享存储设备的大量数据传输是通过SAN网络进行的,局域网只承担各服务器之间的通
--------------------------------------------------------------
可编辑
信任务,而不是数据传输。
--------------------------------------------------------------
可编辑
LAN-Free备份不仅可以使网络流量得以转移,而且它的运转所需的系统资源低于网络备份方式,这是因为光纤通道连接不需要经过服务器的 TCP/IP 栈,而且某些层的错误检查可以由光纤通道内部的硬件完成。
因此,LAN-Free备份具有备份速度快、网络传输压力小的优点,而且具有LAN备份所拥有的数据备份统一管理和磁带库资源共享的优点,这些优点也是水资源管理系统建设的主要原则之一,因此建议各地的备份系统都采用LAN-Free备份机制。
图 1.5-4 LAN-Free备份 表 1.5-1备份方式比较 备份方式 本机备备份速度快 份 优点
缺点 备份资源不能共享,不合适多主机的环境 网络备集中备份,充分利用磁带库备份过程占用部分网络--------------------------------------------------------------
可编辑
份 的资源 带宽 --------------------------------------------------------------
可编辑
LAN-Free备份速度快,不占用网络带成本高 备份 宽,集中备份,磁带库资源共享。 综合以上对各种备份方式的对比分析,采用LAN-Free的备份方式对数据进行备份,当计算机的软硬件发生故障时,利用备份进行数据库恢复,以恢复破坏的数据库文件、控制文件或其他文件。
1.5.4 数据备份与恢复策略 1.5.4.1 备份策略
对数据进行备份,是出于保证数据的安全性、对系统信息做历史记录、在灾难发生时恢复系统等多方面考虑的。若要详细、历史的记录数据,并在特定情况下恢复特定时期的数据,就要保证数据备份的频率、以及备份介质上数据的保存时间符合预期设计的目标。
为了安全起见,备份系统应在备份完成之后自动将备份磁带“克隆”一份,做异地保存。
(1)业务数据库备份策略
以周为备份周期,每周日进行一次数据库数据全量备份,其余每天进行数据增量备份;
业务数据库全量数据备份启动时间为:每周六晚二十一时; 业务数据库增量数据备份启动时间设定在每晚二十一时启动。
--------------------------------------------------------------
可编辑
(2)重要的数据文件的备份
为保证用户系统可靠稳定运行,在业务系统运行时,形成了一些重要的数据文件。用户可以通过这些日志文件对业务系统进行数据稽核。我们采用如下数据备份策略对此类数据进行备份:
以周为备份周期,每周日进行一次全量数据备份,其余每天进行数据增量备份;
备份启动时间设定在每天晚二十四时自动启动; 备份数据保留两周。
(3)操作及应用系统数据文件数据的备份
操作系统及应用系统的环境变量、配置等信息也相当重要。此类数据是基于文件系统的,为更好地保护这些系统数据,同时尽可能跟踪系统数据信息变化,我们采用如下备份策略:
以月为备份周期,每月完成一次全量备份,每月中的周日进行一次数据增量备份;
备份启动时间设定在每个周日的零晨三时自动启动; 备份数据保留两个月。
由于采用了先进的软、硬件配置,这种日常备份操作都在晚间系统负载较轻时定时、自动、快速进行,对系统日间使用不会造成任何影响。
1.5.4.2 灾难恢复策略
数据备份的唯一目的就是备份数据的恢复。因为它关系到系统在经历灾难后能否迅速恢复。灾难恢复操作通常可以分为两类。第
--------------------------------------------------------------
可编辑
一类是全系统恢复,第二类是个别数据恢复,再一种值得一提的是重定向恢复。
--------------------------------------------------------------
可编辑
一般来说,恢复操作比备份操作更容易出问题。备份只是将信息从磁盘上拷贝出来,而恢复则要在目标系统上创建文件。在创建数据文件时有许多别的东西有可能会出错,这包括超出了磁盘容量,权限问题和文件覆盖错误等,备份系统能有效防止这些错误的发生,保证恢复的可靠性。
(1)全系统数据恢复
全系统数据恢复一般是指应用在服务器发生意外灾难导致数据全部丢失、系统崩溃或是有计划的系统升级、系统重组等,在全系统数据恢复时,我们首先考虑利用磁盘复制的数据,进行快速的数据恢复;对于磁带存储备份系统,恢复办法如下:
1)当应用服务器系统瘫痪而需要恢复时(非备份服务器): 从本地或异地获得灾难备份磁带; 安装应用服务器操作系统并配置网络; 安装备份软件客户端;
启动恢复界面,从备份服务器的索引表浏览该服务器系统全备份信息,触动恢复功能,备份管理软件在备份服务器端自动驱动存储设备,加载相应的存储媒体,将该应用服务器的全部数据恢复;
检查数据差值,录入孤立丢失数据;
--------------------------------------------------------------
可编辑
批准系统运行,完成事故报告。
2)当备份服务器系统瘫痪而需要恢复时:
当硬件设备更换、连接完成后,按以下步骤恢复服务器: 从本地或异地获得灾难备份磁带;
启动备份系统的恢复功能,恢复最近一次的全备份数据; 完成事故报告。
3)当整个计算机系统损坏而需要重建业务时:
当硬件设备更换、连接完成后,用异地保存的“克隆”带按以下步骤恢复系统数据:
将“克隆”带装入存储设备;
按当备份服务器系统瘫痪而需要恢复方案恢复备份服务器系统;
按当应用服务器系统瘫痪而需要恢复方案恢复各业务系统数据。
(2)个别数据恢复
在实际使用中,个别数据恢复可能要比全系统恢复常见得多,利用备份系统的恢复功能,我们很容易恢复受损的个别数据。
只需浏览备份数据库或目录,找到该文件,触动恢复功能,软件将自动驱动存储设备,加载相应的存储媒体,然后恢复指定文件。
通常我们需要恢复存在磁带上的文件的最后一个版本,但我们还可以恢复文件的一个比较老的版本,比如一些设计单位需要经常用到一些老的设计方案,就需将旧的文件重新恢复。
--------------------------------------------------------------
可编辑
(3)重定向恢复
重定向恢复是将备份的文件恢复到另一个不同的位置或系统上去,而不是进行备份操作时它们当时所在的位置。重定向恢复可以是整个系统恢复也可以是个别文件恢复。重定向恢复时需要慎重考虑,要确保系统或文件恢复后的可用性。
1.6 数据库运行维护管理
1.6.1 数据维护
开发水资源管理系统数据库维护系统,采用C/S与B/S结构相结合体系结构组织,由C/S部分完成数据量大,对运行效率要求高的部分功能,兼顾一部分可由DBMS提供的图形化管理工具完成,但是通过开发模块来实现部分功能可减少数据库管理员工作的部分管理功能。另外某些虽由DBMS提供但操作复杂、容易出错的管理功能也需要开发应用模块将操作简单化。其他涉及用户管理等对系统运行效率要求较低、数据量较少的部分功能采用B/S结构体系。两部分功能各有侧重,功能有部分重叠,相互结合可更高效地完成数据库维护工作。 1.6.1.1 数据标准化
信息入库前需按照相关标准、规范进行标准化处理。对于基础数据库、空间数据库、多媒体数据库,主要包括校核、补充、完善、整合等环节。对于在线监测数据,主要包括编码、校核等环节。对于业务管理数据,信息在业务管理中由业务管理系统产生,其标准
--------------------------------------------------------------
可编辑
化工作主要通过应用逻辑控制、数据库控制完成。
--------------------------------------------------------------
可编辑
代码类的信息入库前,需进行信息编码。信息编码必须遵循全国统一的标准。 1.6.1.2 数据质量控制
数据质量对于数据库至关重要,实施方案中需要对入库信息进行质量控制。要求从数据完整性、逻辑一致性、空间定位准确度、数据准确性、时相要求等方面加以控制,如下表所示。
表
1.6-1 入库质量控制要求
二级质量元素 元数据完整性 描述 一级质量元素 描述 数据完整性 逻辑一致性 包括元数据是否提交和元数据采集信息是否完整 用于描述数据整文档数据完整性 提交文档成果是否完整 合成果的完整程非空间表格数据主要指数据库中非空间度,包括整合后完整性 表格数据的完整 提交的图、文、指空间数据在范围、实数、表 空间数据完整性 体、关系以及属性存在和缺失的状况 指地理数据集内结构设计与标准的符合概念一致性 部结构的一致性度 程度及其对同一提交数据的格式与形式现象或同类现象格式一致性 上与标准及项目要求之间的表达的一致程匹配程度 度。包括数据结具有几何逻辑关系的点、构、数据内容(包拓扑一致性 线、面拓扑关系和逻辑关系的括空间特征、专准确程度 题特征和时间特相邻分幅的同一数据分征),以及拓扑性接边一致性 层实体及属性保持的一致程质上的内在一致度 性 --------------------------------------------------------------
可编辑
一级质量元素 描述 二级质量元素 描述 空间定位准确度 数据正确性 时相要求 用于表达实体空间位置的数学参数采用的准确程度,数学基础要求 主要包括平面坐标系和高程基准选择,及其投影参数选择指空间实体的的正确性等 表达与实体真实位置的接近程度 相邻空间数据接边的吻接边要求 合度 在数据转换过程中,转换转换精度 后数据精度应不丢失 是指空间数据所负载的用于表达或描述地理信息的正确性,本次技术整合成果数据的属性数据正确性 要求指空间实体的属性值与准确程度,如空其真值符合的程度。 间实体的属性、提交的元数据应对相应类型表达是否准元数据正确性 的数据集进行描述 确,元数据、文提交的文档数据是否正档数据、非空间文档数据正确性 确 表格数据等内容非空间表格数据用于表达专题信息的非是否正确 正确性 空间表格数据是否准确 指表达某个数据库中数据所表达的时点信息的数据的时相 某个时点信息 数据 1.6.2 运行维护
水资源数据库的运行维护依托省水利数据中心,由XX水利信息中心对数据库进行运行维护管理,相应机房、电器设备、机柜建设等依托省水利数据中心建设,建设费用仅考虑本系统所需存储设备和服务器设备,相应基建、机房装修、备份容灾机房、电器、光纤铺设等设备与土建费用不在本系统中考虑,地市水资源数据中心由地市承担,相应建设费用不在本系统建设费用中考虑。
--------------------------------------------------------------
可编辑
1.7 建设内容
1.7.1 数据库建设内容
表 1.7-1 数据库开发建设内容
开发数量 1 1 1 1 部署数量 序号 1 1.1 1.2 1.3 1.4 2 2.1 2.2 2.3 2.4 3 3.1 3.2 3.3 3.4 3.5 3.6 数据库 部署位置 在线监测数据库 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 基础信息数据库 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 业务管理数据库 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 城市饮用水水源工程监测数据库 水功能区监测数据库 地下水监测数据库 行政边界河流监测数据库 18 18 18 18 水资源评价数据库 给排水数据库 水环境数据库 水环境灾数据库 1 1 1 1 18 18 18 18 水源地数据库 地下水超采区数据库 水资源论证数据库 取水许可数据库 水资源费征收使用数据库 计划用水与节约用水数据库 1 1 1 1 1 1 18 18 18 18 18 18 --------------------------------------------------------------
可编辑
序号 数据库 部署位置 省水利厅、地市水利(务)局 开发数量 1 部署数量 18 3.7 水功能区数据库 --------------------------------------------------------------
可编辑
序号 数据库 部署位置 开发数量 1 1 1 1 1 1 部署数量 18 18 18 18 18 18 3.8 3.9 3.10 3.11 3.12 3.13 4 4.1 4.2 4.3 5 5.1 5.2 5.3 6 6.1 6.2 6.3 6.4 7 省水利厅、地市水利(务)局 省水利厅、地市水利(务)水资源规划数据库 局 省水利厅、地市水利(务)水资源调度业务数据库 局 省水利厅、地市水利(务)水资源应急管理数据库 局 省水利厅、地市水利(务)水资源公报数据库 局 省水利厅、地市水利(务)水资源年报数据库 局 空间数据库 省水利厅、地市水利(务)水利工程专题图 局 省水利厅、地市水利(务)供排水工程专题图 局 省水利厅、地市水利(务)节水工程专题图 局 多媒体数据库 省水利厅、地市水利(务)图像与影像数据库 局 省水利厅、地市水利(务)音、视频数据库 局 省水利厅、地市水利(务)规章制度与标准规范数据库 局 决策分析支持库 省水利厅、地市水利(务)决策分析数据库 局 省水利厅、地市水利(务)模型库 局 省水利厅、地市水利(务)预案库 局 省水利厅、地市水利(务)专家库 局 水生态系统数据库 空间地图购买 省水利厅、地市水利(务)局 1 1 1 18 18 18 1 1 1 18 18 18 1 1 1 1 1 18 18 18 18 18 --------------------------------------------------------------
可编辑
序号 数据库 部署位置 省水利厅、地市水利(务)局 省水利厅、地市水利(务)局 开发数量 1 1 部署数量 18 18 8 9 数据维护系统开发 数据库管理系统开发 1.7.2 数据存储与备份容灾系统建设内容
表 1.7-2存储网络及备份容灾系统建设内容
序号 1 2 3 4 5 6
建设项目 光纤交换机 光纤存储磁盘阵列 存储磁盘及存储软件 存储服务器 虚拟磁带库 备份软件 单位 台 台 套 台 台 套 数量 2 2 2 4 1 1 . .
--------------------------------------------------------------
因篇幅问题不能全部显示,请点此查看更多更全内容