数据采集:明确数据资源采集责任,建立数据采集责任目录,开发数据采集接口采集数据:主要环境监测数据包括环境质量监测、污染物排放监测、无人机监测、互联网监测及其它自动化或人工监测。其他数据源包括业务系统,业务档案和第三方业务系统/数据服务,如水文、气象、交通等等。
ETL:将通过数据交换网关从各类数据源采集的数据,进行清洗、校验,最终按照数据资源目录的标准要求,加载至数据中心。数据的转换包括数据的提炼、转换等。数据提炼是指数据项的望构,删去不需要的运行信息、字段值的编码与译码,补充遗涌的信息,检查数据的完整性与相容性;数据的转换主要是指统一数据编码和结构,给数据加上时间标志,根据需要对数据进行必要的运绊等。ETL过程是数据中心建设的关键步骤,利用各类 ETL工具实现各业务的异构数据库系统、地理信息系统和文本、电子表格等文件系统格式的数据整合和媒成。同时可以针对具体的每个分系统编写具体的数据转换代码,来一起完成从原始数据采集、错误 数据清理、异构数据整合、数据结构转换 、数据转储和数据定期刷新的全部过程,从而实现从人工参与到自动化的提升或转变 。
数据分析:实时采集的环境、水利、气象等各类数据及流域水文模型、一维水动力水质模型、二维水动力水质模型、水生态模型、水华预警模型、仿真可视化模型相关各类数据计算统计分析数据, 并进行存储归档
数据管理:数据源管理、数据资源目录管理、数据维护等,通过系统建设,形成生态环境数据资源目录,环境质量监测信息资源包括地表水监测数据 、饮用水监测数据、污染源监测数据、运行设备在线监控。数据资源目录包括地理空间数据库 、业务成果数据库、生态环境信息资源目录库、环保业务库、水文水利数据库、气象数据库和模型数据库等
数据服务:"封装水环境业务引擎,搭建接口一致、按需扩展的业务支撑平台,为生态环境局生态环境业务系统建设提供基础服务,统一支撑服务包括应用开发服务,组件开发服务,地图开发服务,搜索开发服务。统一公共服务包括工作桌面应用、消息
提醒应用、预警问题应用、驾驶舱应用、知识库应用等"