MapGIS 10.5大数据产品功能提升！
发布时间：2020-09-21
阅读量：38
你是否看过这样的画面？全市数以万计的出租车运行轨迹展现在一张城市地图上，每一个光点都代表着一辆出租车，一个个光点连成一道道绚丽的光线，道道光线交织点亮了城市夜晚的道路，绘制出一幅灵动多彩的图画，以别样的方式展现城市的繁华，让人们得以洞悉城市奥秘。这就是GIS与大数据技术与融合迸发出的魅力！
海量大数据就像是五颜六色的颜料，把这些颜料组合调配，绘制成精美的画作，才能实现其价值，而GIS就像那支传说中的“马良神笔”。随着我国“新基建”的推进，数据中心新建和扩容步伐加快，数据量将剧增，如何进一步挖掘实现海量大数据的价值，抢占数字经济发展的快车道，成为当前亟需解决的难题。2020年7月全国产化GIS平台MapGIS 10.5 九州发布，其IGServer-X大数据产品与web客户端产品积极拥抱大数据技术，以多项技术升级进一步提升对大数据存储、分析、可视化方面的能力，为城市的智慧化运营、推进国土空间治理体系与治理能力现代化提供科技支撑。
开启极简模式 一键安装大数据集群环境
通常，手工配置大数据存储和计算集群的过程较为繁琐，对实施人员Linux技术水平有一定的要求，为提升大数据存储和计算集群的安装配置的友好性，MapGIS提供了一键式辅助安装工具，基于中心化安装部署思想，简化繁琐的安装配置过程，用户无需具备Linux运维技能，只需要在网页端跟随流程引导简单操作，便能快速完成集群部署安装。这种一键式大数据集群环境安装有效地减少了与Linux系统直接交互的操作，降低了技术门槛，进一步提升工作效率。
通常，手工配置大数据存储和计算集群的过程较为繁琐，对实施人员Linux技术水平有一定的要求，为提升大数据存储和计算集群的安装配置的友好性，MapGIS提供了一键式辅助安装工具，基于中心化安装部署思想，简化繁琐的安装配置过程，用户无需具备Linux运维技能，只需要在网页端跟随流程引导简单操作，便能快速完成集群部署安装。这种一键式大数据集群环境安装有效地减少了与Linux系统直接交互的操作，降低了技术门槛，进一步提升工作效率。
实现对象存储与云盘存储集成，提高云端空间数据管理能力
在实际的生产应用中，经常会产生大量的非结构化数据，比如办公文档、文本、图片、各类报表、图像、音/视频信息等，这些数据具有文件个数多、大小不等、增长速度快等特点。为满足这类碎片化文件存储的需求，MapGIS引入了对象存储技术，利用对象存储技术的快速扩充、效率高、无需迁移、访问方便、安全性高等特性，为碎片化文件存储提供了更高效、更低成本的云存储方式。完成了对象存储与云盘文件存储的集成，利用云盘存储强大的文件管理、权限管理等管理功能，以扩充对象存储的管理能力。并针对空间数据文件对象，实现自动导入到对应的空间地理库的功能，提高了云端空间数据管理能力，为云端应用提供支撑。
HBase矢量数据管理与分析能力增强
MapGIS空间矢量数据引擎PG-XL支持省级千万级TB体量的矢量数据管理与分析，受数据采集技术及精度的提升的影响，空间矢量数据的体量在逐步扩大，为适应国家级上亿级PB体量的空间矢量数据的管理与分析，MapGIS集成了HBase空间数据管理引擎，借助于Hadoop分布式、多机并行处理、横向扩展的存储架构，针对更新频率不高的矢量数据，基于HDFS建立高效的空间格网索引，提高数据读写效率，在千万级空间数据全量分析能力上，效率提升明显，效率相对于单机执行传统矢量分析性能提升近30倍。
MapGIS空间矢量数据引擎PG-XL支持省级千万级TB体量的矢量数据管理与分析，受数据采集技术及精度的提升的影响，空间矢量数据的体量在逐步扩大，为适应国家级上亿级PB体量的空间矢量数据的管理与分析，MapGIS集成了HBase空间数据管理引擎，借助于Hadoop分布式、多机并行处理、横向扩展的存储架构，针对更新频率不高的矢量数据，基于HDFS建立高效的空间格网索引，提高数据读写效率，在千万级空间数据全量分析能力上，效率提升明显，效率相对于单机执行传统矢量分析性能提升近30倍。
应用场景：基于大数据分析方法进行土地利用流向分析
采用HBase矢量数据管理与分析功能，可以很好的解决在土地调查领域对土地变化流向的分析。在土地调查领域经常需要分析十年间各类土地变迁情况和全省基本农田压占情况，采用Hbase存储二调成果960万图斑和三调成果1800万图斑，并在此基础上进行全量叠加，快速分析出十年间土地利用流向。该成果可用于评估三调初始建库的准确性，也可作为后续掌握完整的土地变迁情况提供决策支持。另外，可将基本农田200万图斑和三调成果1800万图斑叠加，通过现状对比挖掘分析出基本农田被各地类的压占情况，为后续基本农田保护提供决策依据。
基于Spark的影像大数据分析模型增强
为了更好的管理海量影像数据，结合大数据技术，MapGIS推出了镶嵌数据集模型来管理海量影像数据。并基于Spark分布式弹性内存数据集RDD机制，丰富了影像分析模型，提供6大类21个影像分析模型。可Web端可视化建模工具，快速构建影像分析工作流，并将分析结果直接定稿内存，极大提升了计算效率。基于大数据技术进行TB级影像分析，效率相对于传统工作流提升50倍以上。
为了更好的管理海量影像数据，结合大数据技术，MapGIS推出了镶嵌数据集模型来管理海量影像数据。并基于Spark分布式弹性内存数据集RDD机制，丰富了影像分析模型，提供6大类21个影像分析模型。可Web端可视化建模工具，快速构建影像分析工作流，并将分析结果直接定稿内存，极大提升了计算效率。基于大数据技术进行TB级影像分析，效率相对于传统工作流提升50倍以上。
在基于影像大数据进行旱情分析评价的应用场景中基于MODIS遥感影像，覆盖全区域大概为期一个月的数据量为28.6T，通过进行植被指数分析，分离出植被指数和地表温度，结合水库储水量以及降水量数据，推算出该区域的旱情等级，再结合人口数据，可以推算出居民点的受灾情况。
基于Spark提升M3D生产能力
MapGIS-Model-3D-Data-SDK是MapGIS定义的针对多端应用的三维数据交换格式，对海量三维数据进行网格划分与分层组织，采用流式传输模式，实现多端一体的高效解析和渲染。
MapGIS-Model-3D-Data-SDK是MapGIS定义的针对多端应用的三维数据交换格式，对海量三维数据进行网格划分与分层组织，采用流式传输模式，实现多端一体的高效解析和渲染。
三维建模技术的发展极大地提升了建模效率，同时也带来大量的三维数据，其量级可达TB甚至PB级，传统单节点三维数据的处理效率已无法满足用户需求。为了更好的满足用户对海量三维数据建模的需求，MapGIS采用大数据技术，提升三维数据处理加工效率。基于Spark分布式计算框架，有效的从HDFS中加载海量倾斜摄影数据，通过对原始数据单体化、几何化简、纹理压缩等处理，通过节点合并、关系重构等计算形成LOD的M3D数据，有效提升了M3D生产的能力，效率相对于传统方式提升10倍。
当前，我国正逐渐从“数据大国”向“数据强国”转变，大数据技术在国民经济发展中发挥着重要作用。它是城市实现智慧化的关键性支撑技术，它是新时期自然资源事业发展的迫切需要，更是新基建发展数字经济的“新血液”，但这一切都需要我们以GIS这支“神笔”分析挖掘大数据的价值，真正掌握大数据！GIS与大数据技术融合，必将在这一进程中扮演重要角色！
