航测大数据量处理_中煤煤航：为数据处理装上超级大脑

妖狐艹你老母 2023-01-05 05:22 111阅读 0赞

## ![e40e6562ddf84bd2f7710e2419105124.gif][] ##

![859bb9eaa3ae821e7d382afa73da4349.png][]

每天，除定期巡检服务器、接待来访客户等工作外，中国煤炭地质总局煤航集团煤航大数据中心工程师陈卫斌还有一项重要工作：在“大数据中心资源使用统计表”上登记，调配计算资源，以满足各项目的数据计算需求。

“目前项目已排到2020年12月底。”陈卫斌边登记边说。

![859bb9eaa3ae821e7d382afa73da4349.png][]

数据计算是煤航大数据中心针对实景三维、地质灾害遥感识别、多元遥感影像的集成与整合等高密计算而提供的一项服务功能。批处理、速度快、算力大幅提升，如同给数据处理装上“超级大脑”。运行近5个月，经不断测试，煤航大数据中心计算功能完全满足超密数据计算需求。

**建成地理空间大数据中心**

伴随云计算、5G、人工智能等信息技术的不断发展，我国“数字化”“智慧化”进程加快，其对地理信息行业的生产效率及其产品丰富性的要求也越来越高。数据计算是数据处理的重要环节，提高地理空间数据的计算效率尤为迫切。

作为中国煤炭地质总局从事地理信息技术研发与应用的高科技企业，煤航大数据中心不断生产遥感、测绘等地理空间数据，并且每年以100万亿字节速度增长。

与大多数国有企业类似，煤航大数据中心曾存在“数据孤岛”现象，大部分数据分散在基层企业，数据处理由下属企业自行完成。煤航大数据中心航测工程分公司作为测绘数据主要生产单位，近年来承接的实景三维模型项目不断增多，其中涉及大量的倾斜航摄像片数据处理，对计算资源要求更高。

“

“以前数据处理都是在公司作业室完成，由一台主机分发给多个分机。”航测工程分公司三维中心主任赵帅表示，有时项目时间紧张，这种计算方式存在设备配置低、稳定性差、分机占用速度慢等问题，严重影响生产效率。

解决行业数据痛点成为当务之急。煤航大数据中心紧紧抓住“数字化”“新基建”等重大机遇，结合信息技术，建成地理空间大数据中心。

“我们建立服务器集群和‘数据湖’，实现资源统一调配和管理，打造敏捷高效的数据接收、存储、处理和分析平台，以实现设施资源的最大化集成利用。”煤航集团党委书记、董事长赖百炼介绍。最大限度地整合计算资源、存储资源和网络资源、提升算力，是煤航大数据中心功能之一。

**数据处理效率提升3倍**

煤航大数据中心建成后随即投入测试。测试结果显示，一个房地一体化项目的4万多张无人机倾斜影像，如果按照以往计算模式，大概需要12天才能完成。使用煤航大数据中心分配的计算资源，大概需要4天时间就能完成。数据处理效率至少提升了3倍。

该中心相关人员表示，煤航大数据中心架构稳定、容错能力强、效率高，能够满足现行三维实景生产的需求，运行效率能够达到业内较高水平。目前，该公司承接的项目中涉及高密数据的计算均由煤航大数据中心完成。

煤航大数据中心的超算功能对承接的地质灾害项目中的光学遥感、雷达遥感数据处理也发挥了重要作用。煤航遥感信息公司承担的“藏东南地区地质灾害隐患综合遥感识别与调查”项目涉及16万平方公里地质灾害早期识别，大约2000景SAR数据。

“

“该项目涉及数据量大，时间任务重，高性能数据计算成为重中之重。”该公司水工遥感所所长罗东海介绍，公司常规的计算机难以承担如此大面积的数据计算。

“以前都是先将数据裁剪成多个子区块进行处理，然后对处理后的值区块进行拼接，需要180天才能完成；借助大数据中心分配的计算资源，对这些数据进行批处理，同等条件下仅需60天就可以完成，数据处理效率提高了3倍，且几何精度优于传统方法。”通过项目验证，罗东海给出结论：批处理、运行速度快，多线程处理之间互不影响。

截至目前，煤航大数据中心已为航测、遥感、地信、智慧铁路、工程监理等企业的数据处理提供了计算服务，对实景三维、地质灾害遥感识别、多元遥感影像的集成与整合等高密数据具备高效处理能力。

“目前主要是分配计算资源，一旦遇上重大紧急项目，大数据中心可以集中软硬件资源，集中力量办大事，处理速度将比现在更快，效率也将更高。”陈卫斌对大数据中心超算优势充满信心。

来源：中国煤炭报；作者：鲁建伟 杜旭涛

![165c1f43ed48ffbb84b5d99184066bfc.png][]

—END—

![911f741887ef08a355a23d09fa283ff8.gif][]

## 首届“我是管线人--最美全家福” 线上投票评选活动的通知 ##

## **地下管线管理“专家技术大讲堂”直播课** ##

## **管畅科技路面钻孔机实操视频** ##

## 德国赛巴Sebalog Dx数据记录仪 ##

## 特瑞升TVS-60高清管道推杆检测设备 ##

## 中国科学院大学-中机恒通联合实验室入驻怀柔科学城产业研究院 ##

## 海克斯康测量系统参加2020年中国国际城市管网展览会 ##

## 【新品发布】排水管道单次修复距离突破1000m大关 ##

## 中煤地下空间公司与陕西天润科技股份略合作协议有限公司签署共同推进地下空间数据服务行业应用战 ##

## **恒通环境工程施工再中标；装备制造添新品。** ##

## ![59fadca482d688966822b7902283ea07.png][] ##

[e40e6562ddf84bd2f7710e2419105124.gif]: /images/20221119/7e7f5246c416456a9fa537c8ef90291c.png
[859bb9eaa3ae821e7d382afa73da4349.png]: /images/20221119/b6651ccdbb4f437a96c0c16d40889a99.png
[165c1f43ed48ffbb84b5d99184066bfc.png]: https://img-blog.csdnimg.cn/img_convert/165c1f43ed48ffbb84b5d99184066bfc.png
[911f741887ef08a355a23d09fa283ff8.gif]: https://img-blog.csdnimg.cn/img_convert/911f741887ef08a355a23d09fa283ff8.gif
[59fadca482d688966822b7902283ea07.png]: https://img-blog.csdnimg.cn/img_convert/59fadca482d688966822b7902283ea07.png