實(shí)現(xiàn)數(shù)據(jù)的匯集加工、治理融合、共享交換。通過數(shù)據(jù)共享、開發(fā)和開放，實(shí)現(xiàn)對數(shù)據(jù)的深度分析、價(jià)值挖掘和合理應(yīng)用，最終實(shí)現(xiàn)了水利全要素?cái)?shù)字化映射。為流域防洪及水資源管理與調(diào)配等業(yè)務(wù)的“2+N”應(yīng)用提供支撐。
- 產(chǎn)品特點(diǎn)
- 技術(shù)參數(shù)
一、產(chǎn)品概述
數(shù)據(jù)資源管理平臺(tái)為系統(tǒng)數(shù)據(jù)的集成接入提供統(tǒng)一的數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)的匯集加工、治理融合、共享交換。通過數(shù)據(jù)共享、開發(fā)和開放，實(shí)現(xiàn)對數(shù)據(jù)的深度分析、價(jià)值挖掘和合理應(yīng)用。最終實(shí)現(xiàn)了水利全要素?cái)?shù)字化映射。為流域防洪及水資源管理與調(diào)配等業(yè)務(wù)的“2+N”應(yīng)用提供支撐。
二、系統(tǒng)架構(gòu)
數(shù)據(jù)資源管理平臺(tái)的總體架構(gòu)共分為六層：
1、信息采集層：主要對基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、地理空間數(shù)據(jù)、共享數(shù)據(jù)進(jìn)行采集。包括水質(zhì)信息、水位信息、雨量信息、氣象信息、流量信息、視頻信息等；利用部門上報(bào)和人工錄入的手段采集基礎(chǔ)數(shù)據(jù)，包括河道屬性、監(jiān)測站點(diǎn)信息、管理單位信息、工程信息等；此外，交換共享平臺(tái)采集水利、國土、市政、農(nóng)業(yè)等相關(guān)部門的數(shù)據(jù)。
2、基礎(chǔ)設(shè)施層：負(fù)責(zé)為數(shù)據(jù)資源管理及網(wǎng)絡(luò)傳輸提供設(shè)施硬件環(huán)境，通過機(jī)房建設(shè)，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析及網(wǎng)絡(luò)傳輸。通過專網(wǎng)、公網(wǎng)，利用信息傳輸技術(shù)，實(shí)現(xiàn)數(shù)據(jù)信息安全穩(wěn)定傳輸，同時(shí)支持云平臺(tái)建設(shè)。
3、數(shù)據(jù)存儲(chǔ)層：建設(shè)不同類型的數(shù)據(jù)庫，對數(shù)據(jù)進(jìn)行管理。包括基礎(chǔ)數(shù)據(jù)庫、監(jiān)測數(shù)據(jù)庫、地理空間數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、模型庫、共享數(shù)據(jù)庫。
4、基礎(chǔ)支撐層：支撐數(shù)據(jù)資源管理平臺(tái)的運(yùn)行，包括緩存中間件、消息中間件、jvm、python、Nginx等，為數(shù)據(jù)資源管理平臺(tái)功能的實(shí)現(xiàn)提供技術(shù)支撐。
5、應(yīng)用層：數(shù)據(jù)資源管理平臺(tái)建設(shè)內(nèi)容主要包括目錄管理、數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)。
6、展示層：實(shí)現(xiàn)數(shù)據(jù)資源管理平臺(tái)與業(yè)務(wù)應(yīng)用系統(tǒng)的友好對接，為業(yè)務(wù)系統(tǒng)提供基礎(chǔ)數(shù)據(jù)支撐。
三、產(chǎn)品功能
數(shù)據(jù)資源管理平臺(tái)通過對已建信息系統(tǒng)數(shù)據(jù)、人工填報(bào)數(shù)據(jù)、紙質(zhì)文檔數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等數(shù)據(jù)的獲取，構(gòu)成數(shù)據(jù)源。同時(shí)對分散的多源異構(gòu)數(shù)據(jù)進(jìn)行治理，面向防洪調(diào)度、水資源管理與調(diào)配等業(yè)務(wù)需求，按照基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、地理空間數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、共享數(shù)據(jù)等進(jìn)行分類存儲(chǔ)。同步建立數(shù)據(jù)的更新、發(fā)布、共享等機(jī)制與功能，豐富數(shù)據(jù)內(nèi)容、提升數(shù)據(jù)質(zhì)量，為實(shí)現(xiàn)數(shù)據(jù)資源的集中管理和數(shù)據(jù)查詢、多維度分析、可視化應(yīng)用搭建數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)資源管理平臺(tái)核心建設(shè)內(nèi)容主要包括數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)資源目錄。
1、數(shù)據(jù)匯聚
集成各類數(shù)據(jù)資源，建立統(tǒng)一的數(shù)據(jù)倉庫，實(shí)現(xiàn)數(shù)據(jù)資源的集中管理和統(tǒng)一規(guī)范化。支持?jǐn)?shù)據(jù)匯聚任務(wù)的可配置、可視化展示。
2、數(shù)據(jù)治理
支持多種數(shù)據(jù)處理和分析應(yīng)用，支持對數(shù)據(jù)進(jìn)行準(zhǔn)確性、完整性、一致性、可靠性、規(guī)范性、時(shí)效性治理。數(shù)據(jù)治理，設(shè)計(jì)數(shù)據(jù)治理規(guī)則，對匯聚后的多源數(shù)據(jù)進(jìn)行清洗，對不同類別的數(shù)據(jù)進(jìn)行校驗(yàn)。
3、數(shù)據(jù)服務(wù)
對數(shù)據(jù)庫中各類數(shù)據(jù)的服務(wù)化封裝，并提供基于標(biāo)準(zhǔn)化 API 接口訪問服務(wù)，實(shí)現(xiàn)數(shù)據(jù)資源目錄與數(shù)據(jù)的服務(wù)與發(fā)布。
4、數(shù)據(jù)資源目錄
實(shí)現(xiàn)對系統(tǒng)內(nèi)數(shù)據(jù)進(jìn)行全面摸底與系統(tǒng)梳理，將梳理結(jié)果以結(jié)構(gòu)化目錄形式清晰呈現(xiàn)。通過層級化展示直觀呈現(xiàn)數(shù)據(jù)脈絡(luò)，為數(shù)據(jù)查詢、管理及應(yīng)用提供精準(zhǔn)指引。
四、平臺(tái)特色
1、實(shí)現(xiàn)B/S架構(gòu)的實(shí)體和關(guān)系的動(dòng)態(tài)數(shù)據(jù)建模以及可視化庫表設(shè)計(jì)。
2、可視化匯聚/治理任務(wù)配置和控制：通過拖拽的形式，完成數(shù)據(jù)匯聚任務(wù)的映射配置和執(zhí)行參數(shù)選擇以及任務(wù)的實(shí)時(shí)控制，實(shí)現(xiàn)匯聚任務(wù)管控的便捷化。
3、多數(shù)據(jù)源數(shù)據(jù)適配處理：支持sqlserver數(shù)據(jù)庫、oracle數(shù)據(jù)庫、Mysql數(shù)據(jù)庫、DB2數(shù)據(jù)庫、達(dá)夢數(shù)據(jù)庫、GaussDB數(shù)據(jù)庫、海量數(shù)據(jù)庫、WebService接口、Http接口、kafka消息隊(duì)列、rabbltmq消息隊(duì)列、rocketmq消息隊(duì)列等多種數(shù)據(jù)源類型的適配處理。
五、技術(shù)特點(diǎn)
數(shù)據(jù)資源管理平臺(tái)整合多源數(shù)據(jù)，治理多維度數(shù)據(jù)，建立統(tǒng)一倉庫集中規(guī)范管理，最后提供標(biāo)準(zhǔn)化 API 實(shí)現(xiàn)數(shù)據(jù)服務(wù)與發(fā)布。為數(shù)據(jù)的全生命周期管理提供安全、高效的支撐。
概括來講，數(shù)據(jù)資源管理平臺(tái)實(shí)現(xiàn)“四個(gè)一”：
一個(gè)全域數(shù)據(jù)源。整合已建系統(tǒng)數(shù)據(jù)、人工填報(bào)數(shù)據(jù)、紙質(zhì)文檔數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等多類型數(shù)據(jù)，形成全面覆蓋的數(shù)據(jù)源體系。
一個(gè)標(biāo)準(zhǔn)化治理體系。針對分散的多源異構(gòu)數(shù)據(jù)實(shí)施治理，通過清洗校驗(yàn)、分類存儲(chǔ)及建立更新發(fā)布機(jī)制，保障數(shù)據(jù)質(zhì)量與規(guī)范。
一個(gè)統(tǒng)一數(shù)據(jù)倉庫。依托數(shù)據(jù)匯聚功能實(shí)現(xiàn)各類數(shù)據(jù)集中存儲(chǔ)管理，支持可視化配置與規(guī)范化管控。
一個(gè)開放服務(wù)接口。通過服務(wù)化封裝與標(biāo)準(zhǔn)化 API 接口，提供數(shù)據(jù)查詢、共享及可視化應(yīng)用服務(wù)，支撐業(yè)務(wù)需求落地。
“一個(gè)全域數(shù)據(jù)源” 奠定數(shù)據(jù)基礎(chǔ)，“一個(gè)標(biāo)準(zhǔn)化治理體系” 保障數(shù)據(jù)質(zhì)量，“一個(gè)統(tǒng)一數(shù)據(jù)倉庫” 實(shí)現(xiàn)集中管控，“一個(gè)開放服務(wù)接口” 支撐業(yè)務(wù)應(yīng)用。這 “四個(gè)一”相互銜接，構(gòu)建起數(shù)據(jù)資源管理平臺(tái)的核心技術(shù)框架，賦能數(shù)據(jù)全生命周期高效管理。
六、典型案例
1、淮河水利一張圖
2、數(shù)字孿生淮陰抽水泵站
一、產(chǎn)品概述
數(shù)據(jù)資源管理平臺(tái)為系統(tǒng)數(shù)據(jù)的集成接入提供統(tǒng)一的數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)的匯集加工、治理融合、共享交換。通過數(shù)據(jù)共享、開發(fā)和開放，實(shí)現(xiàn)對數(shù)據(jù)的深度分析、價(jià)值挖掘和合理應(yīng)用。最終實(shí)現(xiàn)了水利全要素?cái)?shù)字化映射。為流域防洪及水資源管理與調(diào)配等業(yè)務(wù)的“2+N”應(yīng)用提供支撐。
二、系統(tǒng)架構(gòu)
數(shù)據(jù)資源管理平臺(tái)的總體架構(gòu)共分為六層：
1、信息采集層：主要對基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、地理空間數(shù)據(jù)、共享數(shù)據(jù)進(jìn)行采集。包括水質(zhì)信息、水位信息、雨量信息、氣象信息、流量信息、視頻信息等；利用部門上報(bào)和人工錄入的手段采集基礎(chǔ)數(shù)據(jù)，包括河道屬性、監(jiān)測站點(diǎn)信息、管理單位信息、工程信息等；此外，交換共享平臺(tái)采集水利、國土、市政、農(nóng)業(yè)等相關(guān)部門的數(shù)據(jù)。
2、基礎(chǔ)設(shè)施層：負(fù)責(zé)為數(shù)據(jù)資源管理及網(wǎng)絡(luò)傳輸提供設(shè)施硬件環(huán)境，通過機(jī)房建設(shè)，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析及網(wǎng)絡(luò)傳輸。通過專網(wǎng)、公網(wǎng)，利用信息傳輸技術(shù)，實(shí)現(xiàn)數(shù)據(jù)信息安全穩(wěn)定傳輸，同時(shí)支持云平臺(tái)建設(shè)。
3、數(shù)據(jù)存儲(chǔ)層：建設(shè)不同類型的數(shù)據(jù)庫，對數(shù)據(jù)進(jìn)行管理。包括基礎(chǔ)數(shù)據(jù)庫、監(jiān)測數(shù)據(jù)庫、地理空間數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、模型庫、共享數(shù)據(jù)庫。
4、基礎(chǔ)支撐層：支撐數(shù)據(jù)資源管理平臺(tái)的運(yùn)行，包括緩存中間件、消息中間件、jvm、python、Nginx等，為數(shù)據(jù)資源管理平臺(tái)功能的實(shí)現(xiàn)提供技術(shù)支撐。
5、應(yīng)用層：數(shù)據(jù)資源管理平臺(tái)建設(shè)內(nèi)容主要包括目錄管理、數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)。
6、展示層：實(shí)現(xiàn)數(shù)據(jù)資源管理平臺(tái)與業(yè)務(wù)應(yīng)用系統(tǒng)的友好對接，為業(yè)務(wù)系統(tǒng)提供基礎(chǔ)數(shù)據(jù)支撐。
三、產(chǎn)品功能
數(shù)據(jù)資源管理平臺(tái)通過對已建信息系統(tǒng)數(shù)據(jù)、人工填報(bào)數(shù)據(jù)、紙質(zhì)文檔數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等數(shù)據(jù)的獲取，構(gòu)成數(shù)據(jù)源。同時(shí)對分散的多源異構(gòu)數(shù)據(jù)進(jìn)行治理，面向防洪調(diào)度、水資源管理與調(diào)配等業(yè)務(wù)需求，按照基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、地理空間數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、共享數(shù)據(jù)等進(jìn)行分類存儲(chǔ)。同步建立數(shù)據(jù)的更新、發(fā)布、共享等機(jī)制與功能，豐富數(shù)據(jù)內(nèi)容、提升數(shù)據(jù)質(zhì)量，為實(shí)現(xiàn)數(shù)據(jù)資源的集中管理和數(shù)據(jù)查詢、多維度分析、可視化應(yīng)用搭建數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)資源管理平臺(tái)核心建設(shè)內(nèi)容主要包括數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)資源目錄。
1、數(shù)據(jù)匯聚
集成各類數(shù)據(jù)資源，建立統(tǒng)一的數(shù)據(jù)倉庫，實(shí)現(xiàn)數(shù)據(jù)資源的集中管理和統(tǒng)一規(guī)范化。支持?jǐn)?shù)據(jù)匯聚任務(wù)的可配置、可視化展示。
2、數(shù)據(jù)治理
支持多種數(shù)據(jù)處理和分析應(yīng)用，支持對數(shù)據(jù)進(jìn)行準(zhǔn)確性、完整性、一致性、可靠性、規(guī)范性、時(shí)效性治理。數(shù)據(jù)治理，設(shè)計(jì)數(shù)據(jù)治理規(guī)則，對匯聚后的多源數(shù)據(jù)進(jìn)行清洗，對不同類別的數(shù)據(jù)進(jìn)行校驗(yàn)。
3、數(shù)據(jù)服務(wù)
對數(shù)據(jù)庫中各類數(shù)據(jù)的服務(wù)化封裝，并提供基于標(biāo)準(zhǔn)化 API 接口訪問服務(wù)，實(shí)現(xiàn)數(shù)據(jù)資源目錄與數(shù)據(jù)的服務(wù)與發(fā)布。
4、數(shù)據(jù)資源目錄
實(shí)現(xiàn)對系統(tǒng)內(nèi)數(shù)據(jù)進(jìn)行全面摸底與系統(tǒng)梳理，將梳理結(jié)果以結(jié)構(gòu)化目錄形式清晰呈現(xiàn)。通過層級化展示直觀呈現(xiàn)數(shù)據(jù)脈絡(luò)，為數(shù)據(jù)查詢、管理及應(yīng)用提供精準(zhǔn)指引。
四、平臺(tái)特色
1、實(shí)現(xiàn)B/S架構(gòu)的實(shí)體和關(guān)系的動(dòng)態(tài)數(shù)據(jù)建模以及可視化庫表設(shè)計(jì)。
2、可視化匯聚/治理任務(wù)配置和控制：通過拖拽的形式，完成數(shù)據(jù)匯聚任務(wù)的映射配置和執(zhí)行參數(shù)選擇以及任務(wù)的實(shí)時(shí)控制，實(shí)現(xiàn)匯聚任務(wù)管控的便捷化。
3、多數(shù)據(jù)源數(shù)據(jù)適配處理：支持sqlserver數(shù)據(jù)庫、oracle數(shù)據(jù)庫、Mysql數(shù)據(jù)庫、DB2數(shù)據(jù)庫、達(dá)夢數(shù)據(jù)庫、GaussDB數(shù)據(jù)庫、海量數(shù)據(jù)庫、WebService接口、Http接口、kafka消息隊(duì)列、rabbltmq消息隊(duì)列、rocketmq消息隊(duì)列等多種數(shù)據(jù)源類型的適配處理。
五、技術(shù)特點(diǎn)
數(shù)據(jù)資源管理平臺(tái)整合多源數(shù)據(jù)，治理多維度數(shù)據(jù)，建立統(tǒng)一倉庫集中規(guī)范管理，最后提供標(biāo)準(zhǔn)化 API 實(shí)現(xiàn)數(shù)據(jù)服務(wù)與發(fā)布。為數(shù)據(jù)的全生命周期管理提供安全、高效的支撐。
概括來講，數(shù)據(jù)資源管理平臺(tái)實(shí)現(xiàn)“四個(gè)一”：
一個(gè)全域數(shù)據(jù)源。整合已建系統(tǒng)數(shù)據(jù)、人工填報(bào)數(shù)據(jù)、紙質(zhì)文檔數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等多類型數(shù)據(jù)，形成全面覆蓋的數(shù)據(jù)源體系。
一個(gè)標(biāo)準(zhǔn)化治理體系。針對分散的多源異構(gòu)數(shù)據(jù)實(shí)施治理，通過清洗校驗(yàn)、分類存儲(chǔ)及建立更新發(fā)布機(jī)制，保障數(shù)據(jù)質(zhì)量與規(guī)范。
一個(gè)統(tǒng)一數(shù)據(jù)倉庫。依托數(shù)據(jù)匯聚功能實(shí)現(xiàn)各類數(shù)據(jù)集中存儲(chǔ)管理，支持可視化配置與規(guī)范化管控。
一個(gè)開放服務(wù)接口。通過服務(wù)化封裝與標(biāo)準(zhǔn)化 API 接口，提供數(shù)據(jù)查詢、共享及可視化應(yīng)用服務(wù)，支撐業(yè)務(wù)需求落地。
“一個(gè)全域數(shù)據(jù)源” 奠定數(shù)據(jù)基礎(chǔ)，“一個(gè)標(biāo)準(zhǔn)化治理體系” 保障數(shù)據(jù)質(zhì)量，“一個(gè)統(tǒng)一數(shù)據(jù)倉庫” 實(shí)現(xiàn)集中管控，“一個(gè)開放服務(wù)接口” 支撐業(yè)務(wù)應(yīng)用。這 “四個(gè)一”相互銜接，構(gòu)建起數(shù)據(jù)資源管理平臺(tái)的核心技術(shù)框架，賦能數(shù)據(jù)全生命周期高效管理。
六、典型案例
1、淮河水利一張圖
2、數(shù)字孿生淮陰抽水泵站
皖公網(wǎng)安備 34010402703134號