大數據信息查詢檢索與整合
1.概述
大數據時代,人類活動所涉及的大數據80%以上與地理信息有關,且呈現海量、多源、異構、動態的特點,傳統技術體制在信息查詢與整合中存在以下問題:對實體對象空間位置的標識不唯一,查詢檢索效率低;對實體對象的標識不統一,信息的整合與共享困難;對結構化與非結構化數據進行統一組織管理存在重大障礙。以上不足互相關聯、互相影響,極大制約了現有信息系統效能的發揮,方案提出基于北斗網格碼的信息查詢與整合方式,使得數據查詢效率更高,數據整合更便捷。
2.解決方案
在對現有系統不推倒不重來及保護現有數據庫獨立性的基礎上,充分利用數據中的“空間位置”屬性,增加北斗網格編碼字段,作為ID對各種數據進行統一標識,并以其為紐帶構建對象內在的時空關聯關系,建立編碼動態索引,實現大數據統一組織與高效查詢。同時,利用網格編碼一維、整型、二進制的特點,實現時空大數據的計算、傳輸、分發、服務等應用的高效“編碼化操作”。
(1)統一標識
圖1 空間位置統一標識
(2)數據組織
圖2 數據組織與關聯
(3)檢索與分析
圖3 數據檢索與統計分析
3.優勢特點
(1)基于網格編碼的時空大數據快速整合和自動空間關聯;
(2)數據檢索由多維時空查詢簡化為一維數值匹配查詢,效率大幅提升;
(3)空間計算由經緯度浮點數運算轉化為基于二進制編碼的位運算,計算效率提升10倍左右。