在数字经济蓬勃发展的当下,数据已成为驱动各行业变革的核心要素,矿业行业也不例外。腾讯云联合云鼎科技发布的《矿业数据治理白皮书》,深入剖析了矿业数据治理的现状与挑战。白皮书指出,当前矿业数据治理面临环境复杂、水平参差不齐、人才短缺等诸多瓶颈。对此,白皮书提出推动数字组织变革、培育数字人才队伍、建设统一数据底座等破题之术,并展望了传统矿工转型“新型矿工”、独立建设转向多元协同等发展趋势。此外,白皮书还通过山东能源集团、煤矿冲击地压大数据分析平台等典型案例,为矿业行业数据治理提供了实践参考,助力矿业行业数字化转型与高质量发展。
请在底部附件处下载PDF
矿业数据治理白皮书
序言
序言一(中国煤炭工业协会副会长、信息化分会会长王虹桥)
序言二(中国信息协会数字治理专委会会长李剑峰)
序言三(云鼎科技股份有限公司党委书记、总经理刘波)
序言四(腾讯云副总裁黄世飞)
前言
矿业行业数据治理现状
(一)数据治理环境日益复杂
(二)数据治理水平参差不齐
(三)数据资源面临“兵多,将少”
(四)数据要素价值发挥不充分
(五)数据治理人才严重短缺
(六)数据治理资金投入与回报不确定性显著
矿业行业数据治理瓶颈破题之术
(一)推动数字组织变革
(二)培育数字人才队伍
(三)建设统一数据底座
(四)加快数据标准建设
(五)严控数据高质提效
(六)打破数据供需障碍
(七)实现数据要素赋能
矿业行业数据治理的发展趋势
(一)传统矿工转型“新型矿工”
(二)独立建设转向多元协同
(三)数据编织重塑数据架构
(四)DataOps打造数据治理新范式
(五)数据赋能AI深度融合
(六)数据运营加速价值释放
(七)可信数据空间保障数据安全
矿业行业数据治理典型案例
案例一:山东能源集团安全生产技术综合管控平台
案例二:煤矿冲击地压大数据分析平台
案例三:云南能投安全生产运营监测暨应急指挥中心项目
一、序言
序言一
数据被誉为“新时代的石油和黄金”,已成为继土地、劳动力、资本、技术之后的第五大生产要素,是国家的基础性战略资源,更是驱动社会经济高质量发展的新引擎。随着数字经济的蓬勃发展,数据要素与传统要素融合后,对各行各业生产质效的倍增作用日益凸显。2022年12月,中共中央、国务院发布了《关于构建数据基础制度更好发挥数据要素作用的意见》,是构建数据要素基础制度,完善社会主义市场经济体制的重要举措。2023年3月,国家数据局的成立,标志着我国迈入了数字驱动的治理和数字经济发展的新时代。
矿业在社会经济发展中具有重要地位,是国民经济的重要组成部分,为社会发展提供必要的物质基础。长期以来,矿业在数字化智能化建设进程中,形成了体量巨大、多源异构、冗余复杂的数据积累,如能善加利用,必将成为又一宝贵资源。但目前矿山数据感知难、深度互联难、数据共享难、业务协同难、需求响应慢,数据关联建模不充分、标准规范不健全、权责归属不明确、管理机制不科学等问题仍十分突出,数据尚未得到有效治理、数据资源价值难以有效发挥。
数据治理被普遍认为是解决矿业数据资源化、资产化问题的良方,是矿业数字化转型发展过程中极其重要的关键环节。基于“沉淀、复用、共享、协同”的治理理念,矿业行业应构建政产学研用生态协作,共同推动完善数据标准和管理规范,重塑矿业数据架构和数据传输链路,打通矿山数据壁垒,提升数据质量和数据安全,共同构建矿山技术联动和业务协同机制,实现数据驱动型决策和柔性化供给。
期待通过《矿业数据治理白皮书》的发布与推广,能够引领矿业行业重视数据治理、加快数字化进程,以数据驱动矿业实现数字化智能化发展和健康高质量发展。
王虹桥
中国煤炭工业协会副会长、信息化分会会长
2025年1月
序言二
当前,全球经济格局正经历深刻变革,数字化转型已成为各行各业的必由之路。在这场变革浪潮中,矿业作为国民经济的基础性行业,面临着前所未有的机遇与挑战。数字化不仅是技术革新,更是生产方式、管理模式和价值创造的根本性变革。在此背景下,数据治理的重要性日益凸显,它是实现矿业数字化转型的关键支撑。
近年来,我国矿业企业在智能化建设方面取得了显著进展。从智能化开采到智慧矿山建设,从数字化管理到智能决策支持,这些成就的取得无不依托于海量数据的支撑。然而,当前矿业企业在数据治理方面仍面临诸多挑战:数据质量参差不齐、数据标准不统一、数据孤岛普遍存在、数据价值挖掘不足等。这些问题不仅制约了数字化转型的进程,也影响了企业的创新发展能力。
我长期在企业负责数据治理工作,深知数据治理对产业数字化转型的重要意义。数据治理不是简单的技术问题,而是一个系统工程,需要从战略、组织、流程、标准、人才等多维度统筹推进。好的数据治理体系应当能够确保数据质量、提升数据价值、保障数据安全,最终服务于企业的经营决策和创新发展。
本白皮书的出版恰逢其时。它立足矿业行业实际,深入分析了当前矿业数据治理面临的困境与挑战,提出了富有建设性的解决方案,并展望了未来发展趋势。尤为重要的是,白皮书提出的"八大破题之术",即开展数据治理咨询、推动数字组织变革、培育数字人才队伍、建设统一数据底座、加快数据标准建设、严控数据高质提效、打破数据供需障碍、实现数据要素赋能,为矿业企业开展数据治理工作提供了清晰的行动指南。
从白皮书中,我们可以清晰地看到矿业数据治理的发展脉络与未来图景。特别值得关注的是,白皮书指出了数据治理将带来的七大趋势性变化:传统矿工向"新型矿工"转型、独立建设向多元协同转变、数据编织重塑数据架构、DataOps打造数据治理新范式、数据赋能AI深度融合、数据运营加速价值释放、可信数据空间保障数据安全。这些趋势既反映了技术进步的方向,也揭示了管理变革的路径。
站在新的历史方位,矿业数据治理已进入关键发展期。随着国家《关于深入推进矿山智能化建设促进矿山安全发展的指导意见》的实施,以及数字经济的蓬勃发展,矿业企业比以往任何时候都更需要建立现代化的数据治理体系。这不仅关系到企业自身的转型升级,更关系到行业的高质量发展。
在此,我衷心希望这份白皮书能够为矿业企业提供有益的参考和指导。作为中国数字治理专委会,我们也将积极发挥行业引领和服务作用,为矿业企业数字化转型提供全方位支持。具体而言,我们将在以下方面持续发力:一是提供专业的数据治理技术咨询服务,帮助企业制定数据治理战略规划,破解转型难题;二是建设数字人才培养体系,开展定制化培训,助力企业打造数字化人才队伍;三是推进行业标准化建设,制定数据标准规范,促进数据互联互通;四是搭建行业交流平台,促进企业间经验分享与技术合作,推动形成良性发展生态。
期待更多的矿业企业能够重视数据治理工作,持续投入资源,完善数据治理体系,真正实现数据要素的价值赋能。我们愿与各矿业企业携手同行,共同探索数字化转型之路。相信通过全行业的共同努力,必将推动中国矿业在数字时代实现新的跨越,为国民经济的高质量发展作出更大贡献。
李剑峰
中国信息协会数字治理专委会会长
2024年12月
序言三
数据治理是顺应数字变革大势、抢占发展先机的必然要求,是建设“数智矿山”、培育发展新质生产力、促进绿色低碳高质量发展的重要支撑。
习近平总书记多次强调,要发挥数据的基础资源作用和创新引擎作用,加快形成以创新为主要引领和支撑的数字经济。党的二十届三中全会指出,加快构建促进数字经济发展体制机制,完善促进数字产业化和产业数字化政策体系;以国家标准提升引领传统产业优化升级,支持企业用数智技术、绿色技术改造提升传统产业。国家数据局等17部门制定了《“数据要素×”三年行动计划(2024—2026年)》,提出发挥数据要素的放大、叠加、倍增作用,构建以数据为关键要素的数字经济。
随着大数据、云计算、人工智能、区块链等有关数据采集、存储、分析、应用关键技术不断发展,全球数字化进程全面提速。世界主要发达国家都把数据治理和数据技术要素价值上升为国家战略,美欧、韩日、澳洲等通过政策、法案、设立机构等形式,持续深化实施自身数据战略。我国也在政策、人才、资金等方面持续加码,数字经济正逐步成为推动中国经济升级转型的新引擎。在数字化转型大潮中,国家电网、中石油、华为等企业数据治理工作经验丰富、成效显著,树立了标杆。
《矿业大数据治理白皮书》聚焦矿业数据治理现状与破题之术,深入分析了矿业数据治理发展趋势,梳理了行业数据治理典型案例,为行业决策者、管理者和建设者,数据治理从业者以及数字技术服务商等提供了系统性的参考,达到科学决策,提高效率,少走弯路,降低成本的效果,必将加速数据治理赋能矿业数智化发展趋势。
刘波
云鼎科技股份有限公司党委书记、总经理
2024年12月
序言四
我国从“十四五”数字经济发展规划开始,明确了数据作为生产要素的重要地位,各行各业都在积极探索与数字技术的深度融合,以数据为驱动,推动业务转型与升级。矿业,这一传统而重要的行业,同样面临着数字化转型的迫切需求与巨大机遇。我们深感荣幸能够携手云鼎科技,共同发布这份《矿业行业数据治理白皮书》,为矿业行业的数字化转型之路提供一份参考与指引。
腾讯云在大数据领域有着深厚的积累与丰富的实践经验。我们深知,数据是数字化转型的核心要素,而数据治理则是挖掘数据价值、保障数据安全、提升数据质量的关键环节。为此,腾讯云打造了以TBDS、EMR、DLC为核心的大数据平台底座,这一底座不仅具备强大的数据处理与分析能力,还提供了灵活的数据架构与可扩展性,为各行各业的数据应用提供了坚实的基础。同时,我们推出的WeData一站式智能数据开发治理平台,助力企业数据资产化,具备数据集成、数据开发、数据治理、数据服务、数据分析等全生命周期管理能力,旨在帮助企业构建高效、安全、可信赖的数据体系。通过WeData平台,企业可以更加便捷地实现数据的采集清洗、治理整合、分析应用,从而加速数字化转型的进程,以数据为生产要素,推动企业高质量发展。
在能源行业,腾讯云与云鼎科技已经有着成功的合作实践。云鼎科技作为能源行业数字化转型的佼佼者,凭借其在能源信息化、智能化方面的深厚底蕴,为众多能源企业提供了优质的数字化解决方案。我们双方携手打造的能源行业大数据解决方案,在能源行业的数字化转型中发挥了重要作用,推动了能源生产、传输、消费等各个环节的智能化升级。
矿业作为国民经济的重要支柱,其数字化转型不仅关乎行业的可持续发展,更对国家的经济安全与战略储备具有重要意义。然而,矿业数据治理面临着诸多挑战,如数据孤岛现象严重、数据质量参差不齐、数据安全风险突出等。这些问题严重制约了矿业行业数字化转型的步伐与效果。
因此,我们深感有必要为矿业行业提供一份全面、系统、实用的数据治理白皮书,以指导矿业企业更好地开展数据治理工作,推动数字化转型的深入发展。在撰写本白皮书的过程中,我们充分调研了矿业行业的现状与需求,深入分析了矿业行业数据治理的难点与痛点,并结合腾讯云与云鼎科技在大数据领域的实践经验与成功案例,提出了针对性的解决方案与建议。
《矿业行业数据治理白皮书》的编制,是腾讯云和云鼎科技在大数据领域的一次深度合作和创新实践。我们也期待与更多的矿业企业建立合作关系,共同探索数字化转型的新路径与新模式,携手共创矿业行业的美好未来。
最后,我要感谢腾讯云大数据团队的每一位成员,以及云鼎科技的合作伙伴们,是你们的辛勤付出与无私奉献,才使得这份白皮书得以顺利完成。我相信,在未来,我们将继续携手前行,共同推动矿业行业的数字化转型与可持续发展。
黄世飞
腾讯云副总裁
2024年12月
二、前言
2024年,在国际政治动荡、地缘冲突加剧、极端天气频发、财政紧缩等因素影响下,世界经济连续第二年呈现下行趋势。全球矿业行业发展也受到世界经济增长乏力的深刻影响,表现在矿产勘查投资下降、矿产品市场震荡分化、矿山企业经营风险上升、矿山企业经营面临挑战增多,供应链本土化战略将长期影响主要经济体的矿业行业政策。
当前,我国处于近代以来最好的发展时期,世界处于百年未有之大变局,两者同步交织、相互激荡,我国矿业行业发展面临的形势已经发生复杂而深刻的变化。为适应市场的高度不确定性及易变性,矿业行业数字化转型伴随数字经济时代浪潮而兴起,借助数字技术赋能,以数据流驱动物资流、技术流、资金流、人才流,变革矿业行业生产方式,重塑矿业行业产业链、供应链、创新链,打造韧性生产、柔性供应的新型工业形态,纵深推进矿业行业数字化转型,对实现矿业行业高质量发展具有重要意义。
党的十九大、二十大对加快建设数字中国作出重要部署,习近平总书记多次强调,要充分发挥海量数据和丰富应用场景优势,促进数字技术和实体经济深度融合,赋能传统产业转型升级,催生新产业新业态新模式,不断做强做优做大我国数字经济。在习近平新时代中国特色社会主义思想指引下,矿业行业必须紧紧抓住数字化发展历史性机遇,将“数字”与“矿业”紧密结合、深度融合,深入贯彻党的二十大提出的“促进数字经济和实体经济深度融合”战略方针,加快矿业行业转型升级高质量发展、构建现代化矿山产业体系。
数据治理是矿业行业转型升级的催化剂。通过数据治理,打破行业壁垒,达成价值共识,构建畅通无阻的数据网络,实现价值共创与价值共享的数据生态体。具体而言,数据生态体中产业链、供应链之间以及利益相关者之间形成紧密的合作关系,拥有细分行业知识、能力、技术但又彼此互补的矿山企业通过深化合作,汇聚、整合、重构企业内外部数据资源,分散竞争风险。数据生态体中的矿山企业借助数字生态平台优势,聚合合作伙伴和利益相关方,共享资源、技术、知识、能力,协同产品、服务、技术创新,实现敏捷、韧性生产制造与柔性供应,实现单一企业无法实现的共同价值创造,形成更大的市场空间和协同竞争优势。因而,数据治理是数字经济时代矿业行业获取竞争优势的重要抓手。
通过对数据治理体系的深度建设和持续优化,我国矿业行业智能化建设的步伐将进一步加快,切实促进矿业行业的安全、高效、绿色发展。通过持续深化数据治理,我国矿业行业将在智能化建设的大潮中破浪前行,为构筑安全、智慧的现代矿山写下崭新的篇章。本报告希望通过对矿业行业数据治理现状、破题之术、发展趋势和典型案例的分析和阐述,为矿业行业管理者、数据治理从业者等相关主体和个人带来一些思路和参考。
三、矿业行业数据治理现状
(一)数据治理环境日益复杂
随着全球工业化进程的加速,对矿产资源的需求持续攀升。传统矿山开采模式面临着诸多挑战,如资源开采效率低下、安全事故频发、环境破坏严重等问题。
中国作为世界上举足轻重的矿业大国之一,积极开展智慧矿山建设,基于现代智能化理念,关注效率问题、安全问题和效益问题,将物联网、人工智能、自动控制、工业互联网、机器人化装备等与现代矿山开发技术深度融合,形成矿山全面感知、实时互联、分析决策、自主学习、动态预测、协同控制的完整智能系统,实现矿井开拓、采掘、运通、分选、安全保障、生态保护、生产管理等全过程的智能化运行,智慧矿山的建设过程产生海量、多源、异构的各类数据,如地质数据、设备运行数据、生产数据、环境监测数据、安全数据等,形成了数字矿山。
同时,矿业行业产业链条长、辐射范围广、上下游关联度强,生产运营涉及综采、掘进、供排水、通风、压风、运输等众多学科专业知识,地质条件和生产场景复杂多变,生产设备及应用种类繁多,许多矿山地处偏远地区,网络覆盖差,电力供应不稳定。
面对矿业行业复杂多变的环境,如何开采这座“数字矿山”已经成为摆在每一个矿山企业面前亟须解决的问题。
(二)数据治理水平参差不齐
矿业行业数据治理进程和水平差异较大,大致可分成3个层次。先进企业:在整体数字化转型顶层设计和战略规划指引下,科学、系统地推进数据治理工作,已取得显著成效,形成了可持续优化的路径、体系和机制;觉醒企业:已充分认识到数据治理的重要意义,实施推进了一些重点领域的数据治理工作,但数据治理的整体性、系统性不足;沉睡企业:由于历史包袱重、经济条件差、转型难度大等各种因素,对数据治理整体认识不足、数字化基础能力薄弱,尚未开始推进数据治理。行业数据治理整体不平衡问题仍然十分突出。
(三)数据资源面临“兵多,将少”
“数据≠数据资源≠数据资产”。矿业行业往往面临着“数据多、数据资源少”的困境,生产设备及应用种类多、数据来源多、数据类型多、接口协议多、数据量大(兵多),但受限于数字化基础能力薄弱等因素大量数据无法“开采”,能够服务业务,且可复制、可重用的数据资源却很少(将少)。
经过多年的信息化系统建设,一个中等规模的矿山企业往往拥有数百个应用系统、数十万张业务数据表及大量的数据。面对这样的“数字矿山”,业务和技术人员都会存在一种“坐在矿山上讨饭吃”而望数兴叹的感觉。
(四)数据要素价值发挥不充分
近年来,矿山企业通过智慧矿山、一体化经营管控、一体化安全生产管控等数字化平台建设积累了大量数据资源,并在数据采集、存储、治理、分析等方面取得较大进步,但从全行业而言,数据作为第五大生产要素的作用和价值尚未充分发挥和释放,数据孤岛现象普遍存在,数据多而无用的问题依然突出。通过数据驱动的智能化生产、高效化管理和科学化决策尚仅能起到辅助作用;矿业行业数据精确采集、高效传输、模型算法等技术问题还需深入攻关实现突破;矿业行业数据价值化、资产化、资本化的定价、入表、流通、交易、共享等基础制度、政策、体系等尚待破题。
(五)数据治理人才严重短缺
数字产业化和产业数字化等各项工作的推进都需要数据治理专业人才以及具备数据管理思维和能力的人员保障。但是矿业行业数据治理工作除了具有学科交叉性强、技能要求多样性等特点外,更需要数据治理人员深入了解矿业行业业务及矿山企业运营管理模式、信息化与数字化建设思路等,才能够真正实现“基于业务的数据治理与数据价值分析应用”,从而通过矿山企业数据资源的有效管理,提升矿山企业业务运营效率和创新矿山企业商业模式的数字化转型目标。
数据治理是一个新兴领域,专业人才供应量相对较少,同时数据治理人才分布不均,主要集中于金融、通信、互联网等行业,矿业行业数据治理人才短缺现象十分突出,尤其对于中西部地区矿山企业而言,高技能、高学历人才招募难,留住更难。与此同时,因教育培训不能及时配套跟进,具备数据治理能力的人才队伍建设严重滞后且职工整体数字素养与技能水平偏低,非信息技术专业人员对数据治理的认识和能力不足,行业内缺乏既熟悉数据治理技术又懂矿业行业生产安全及辅助业务的专业化复合型队伍。
(六)数据治理资金投入与回报不确定性显著
数据治理需要大量的人力、物力、财力,管理者认知水平、组织体制、管理方法、人才储备等因素,都可能制约矿业行业数据治理的有效开展,矿业行业相对于金融、电信甚至制造业,数字化基因较为薄弱甚至缺乏,从上到下对投资收益的预期不明确,容易导致数据治理进程趋缓甚至停滞。
四、矿业行业数据治理瓶颈破题之术
(一)推动数字组织变革
数据治理工作涉及部门多,人员多,尤其是存在大量跨部门跨职能跨层级的治理活动,矿山企业需持续提升生产组织与管理运营能力,打破过去以物理世界为中心的组织模式和管理模式,围绕数字世界重塑企业数据治理战略愿景、业务流程、组织架构、管理文化等,推动数字组织变革,强化数据资源管理的领导力、执行力和协同力,以“一盘棋”为原则,开展应用场景化梳理、数据全量化汇聚、数据全过程治理,以数据共享开放促进矿山数据资源开发利用,以跨层级、跨系统、跨部门、跨业务的数据融合共享促进矿业行业数字化进程。
矿业行业推动数字组织变革,核心是要规划一套与组织当前数据治理战略相契合的组织架构及明确的职责划分。构建矿业行业多层次的数据治理组织,包括但不限于设立数据治理委员会作为顶层决策机构,数据治理执行工作组负责策略统筹与监督,数据管理部门负责治理工作的引领与开展,数据运营中心负责保障数据标准、数据质量、数据安全、数据应用等场景落地以及业务部门数据管家负责本领域数据治理工作的开展。
数据治理委员会是数据治理最高决策组织。负责制定数据治理战略方向,构建数据文化和氛围,整体负责数据治理工作开展、政策推广和执行,监控和监督数据治理工作绩效,协调和提供数据治理关键资源,对数据治理体系建设的重大事项进行决策。
数据治理执行工作组在数据治理委员会的领导下,按照数据治理战略愿景和长期目标,负责统筹并指导各业务领域数据治理工作开展,建立数据治理沟通机制,形成数据质量管控文化;负责数据治理工作的监督和评估。
数据管理部门在数据治理委员会和数据治理执行工作组指导下,总体牵头、统一引领,组织各单位(部门)开展数据治理工作。负责制定数据管理制度体系和长效机制,构建和维护数据架构,制定完善数据治理相关标准与规范,沟通协调跨部门、跨领域数据问题和争议,组织开展数据治理日常工作。
数据运营中心负责支撑数据运营工作,配合完成数据标准、数据质量、元数据、数据生命周期和主数据等治理工作任务,负责根据业务职能部门、各级单位需求,对数据资产进行融合应用,对流程优化、业务决策等工作予以数据支持,负责数据治理平台的运维,为全域数据资产管理提供数据存储、治理、计算以及分析应用的技术支撑。
数据管家由各部门业务骨干担任,负责建立本业务领域数据治理工作机制和管理细则,负责制定本业务领域数据治理工作目标、计划和执行优先级,负责承担本业务领域的数据管理工作主体责任,组织协调本业务领域人员开展数据标准、质量、安全、应用等工作,负责组织开展本业务领域数据治理宣传培训工作。
(二)培育数字人才队伍
《加快数字人才培育支撑数字经济发展行动方案(2024-2026)》指导意见指出,要发挥数字人才支撑数字经济的基础性作用,坚持创新引领和服务发展,坚持需求导向和能力导向,紧贴数字产业化和产业数字化的发展需要,着力培养一支规模壮大、素质优良、结构优化、分布合理的高水平数字人才队伍。这是在深刻洞察数字经济发展趋势的基础上,对我国数字人才培育目标和方向提出的可行路径。
具体而言,矿业行业需从育、引、留、用四个维度发力,培育更多高质量数字人才。形成工作合力,优化数字人才培育生态;聚焦重点领域,畅通数字人才引入渠道;融合链式服务,构建数字人才留任体系;服务产业创新,提升数字人才使用效能。未来的数字人才队伍,是技术与业务双向融合的队伍,是具备数字化思维、数字化方法、数字化技术的专业化队伍,是具备懂业务、懂数据、懂产品、懂技术的多重能力素养的人才队伍。
(三)建设统一数据底座
矿山企业需统一建设开放的数据底座,整合矿业行业数据,提供统一专业开放的数据服务。通过打通数据组织、网络、接口和填报渠道,实现数据采集;通过统一湖仓一体化技术,实现数据统一存储;通过元数据管理、数据标准管理、数据模型管理,解决数据质量问题;通过资源目录、数据服务、数据分析解决数据共享、应用问题。
基于矿山企业的需求与痛点,腾讯依托多年海量数据处理经验,以及行业客户的普遍诉求,为矿业企业用户提供全栈的腾讯大数据处理套件(TBDS)、数据仓库引擎TCHouse、搜索引擎ElasticSearch、数据中台WeData以及腾讯云BI产品解决方案,解决矿山企业数据打通、数据应用、数据服务、数据展现的根本问题。
其中腾讯大数据处理套件(TBDS),基于云原生技术和泛Hadoop生态开源技术,提供可靠、安全、易用的大数据处理能力,提供多种存算分析组件,包括HDFS、Hive、Spark、HBase、Flink、presto、Iceberg、SR等组件,快速助力矿业企业构建企业级数据湖数据平台。
腾讯大数据处理套件(TBDS)具备如下特性:
生态兼容&开箱即用:兼容更广泛的云服务以及Hadoop生态系统组件,使历史构建在hadoop上的大数据平台可以平滑迁移。对开源大数据生态提供良好的融合能力,可大幅度降低用户的使用和学习成本,在引擎层和工具层开放了全平台接口能力,可以良好的支持被集成与二次开发。
极致的性能与可扩展性:TBDS拥有经过深度优化的高性能计算存储引擎,支撑腾讯内部日增超800TB、日采集数据超50万亿条,日实时计算次数超5万亿次的大规模和高性能数据存算需要。
信创支持安全可信:全面支持信创国产化生态,涵盖国产化芯片、操作系统、服务器领域;同时TBDS提供了统一的,完整的4A安全体系认证服务,支持多级多租户级别的资源隔离,可覆盖绝大多数政企在组织架构和大数据平台安全管理上的要求。
资源利用降本增效:相比传统自建大数据平台在服务器资源上资源利用率低,计算需求的潮汐变化应对不灵活问题,TBDS支持灵活的弹性伸缩,资源按需使用,分钟级即可完成扩缩;并且可以根据业务变化的负载或者时间周期进行计算资源自动伸缩,支持容器资源部署;存储方面也支持存算分离架构,可以对数据分层存储,为客户大幅降低存算资源成本。通过多租户管理实现资源隔离与数据协作。
完善工具链支持:TBDS提供了方便的、可观测的统一运维中心TBDSManager,支持集群和产品的一键部署、监控、预警、安全管控、容灾备份和迁移。运维人员可以通过TBDSManager,轻松部署和操作多个大数据集群,TBDSManager还内置了丰富的监控指标体系,组织形成灵活可定制的监控报表,方便运维人员从多角度对平台进行监控。
多场景解决方案:TBDS具有先进性架构可按需提供多场景解决方案,包括云原生数据湖、实时/离线数仓、湖仓一体、云数一体、国产化数据中台,有效支持能源行业、工业用户等行业在大数据统一存储、弹性计算、高效应用、低成本运营、国产替代的诉求。
在解决矿山企业面临的数据标准不一、数据质量参差不齐、数据高效对外服务等问题上,腾讯提供一站式数据开发、治理平台WeData。WeData致力于端到端管理数据源到数据产品的全过程,提供支持全链路协作的数据规划、集成、建模、开发、治理、分析、服务等工具能力,通过严谨的CI/CD流程规范和自动化的测试发布运维加持能力,缩短从原始数据加工到业务应用数据的路径,并在数据治理能力的加持下,输出准确、及时、有效的数据,提升效率的同时保障数据质量,为上层各类数据应用赋能。
WeData提供了数据生产和消费全方位的产品服务能力:
l围绕数据价值链基于协作空间使数据团队不同的角色更好地协作,打破团队间孤岛,缩短从原始数据到数据价值的路径。
基于DataOps敏捷迭代、自动化流程和工具提升数据可靠性,加快数据生产和分析链路效率。
服务企业数据管理、数据生产、数据应用、数据运营多个角色,给予不同视角一体化的应用体验。
贯穿事前中后的数据质量控制,融入DataOps管道式开发流程,全面保障数据质量提升。
全域元数据集成,通过标准化建模、标准管理、指标管理、安全管理、质量管理能力,形成企业可信数据资产目录。
除此之外,WeData将大模型与大数据相互驱动与共融,一方面利用AI技术加速企业专属数据资产的构建,同时这些数据资产又为模型训练提供了高质量的数据,两者相辅相成,加速企业的数据价值释放。例如:通过AI增强血缘分析的能力;借助大模型技术,提供资产智能化、数据安全智能化能力等。
在数据可视化方面,腾讯提供腾讯云BI数据可视化解决方案。
腾讯云BI产品帮助企业IT/数据部门快速搭建企业数据门户看板,大幅提升报表开发效率和展现效果,帮助经营者快速获取决策数据依据,助力企业高效实现数字化转型;帮助企业不懂技术的业务人员也能快速通过简单的鼠标点击和拖拽完成自助式数据分析,看数取数不求人。
腾讯云BI结合大模型技术,提供ChatBI的能力,利用大模型对语义理解、AI智能分析等能力,革新性地提供生成式分析体验,通过对自然语言的理解,提供对话即分析,数据实时可视化,提供多轮对话、智能追问、输入联想、问题猜测等智能化BI能力,极大助力矿山企业提高数据驱动决策的效率、准确性、智能性。
(四)加快数据标准建设
数据标准是数据治理的基础前提条件,对数据治理的成效起着决定性作用。简言之,没有标准规范,无从数据治理;标准规范不全,数据治理不全。
对于矿业行业来说,要从三方面做好数据标准建设工作,一是深化开展“多业态、多领域的数据标准化体系”建设,针对矿山企业涉及的多业态、多领域,建立统一的数据标准体系,夯实数据治理工作基础,更好地促进数据资源汇聚、流通和应用。二是深化开展“数据全生命周期的标准管理模式”,针对数据产生、采集、治理、应用和销毁全生命周期,落地业务术语标准、数据元标准、参考数据和主数据标准、指标数据标准,减少数据质量问题,释放数据潜在价值,提升数据资产管理能力、技术支撑能力和价值挖掘能力,促进大数据与产业融合发展。三是深化开展“数据标准对信息化管控支撑”,针对矿山企业信息化建设全过程与数据标准结合,实现数据标准可查、可管、可用,凸显数据标准价值,支撑矿山企业数据治理。
(五)严控数据高质提效
数据质量决定矿山行业的生存质量,没有高质量数据作为基础,无论在任何数据建设和应用场景中,都免不了陷入“垃圾进,垃圾出”的怪圈。
矿山行业数据质量问题必须从源头入手,建立贯穿数据采集、处理、融合、应用等过程的质量控制体系,满足问题数据“发现-反馈-修正”的闭环管理。同时做好矿山行业数据的共享应用质量保障,为促进数据质量提升及设计质量评价体系提供量化自动化数据质量评判和报告。
构建矿山行业数据质量检核规则库,支持基于矿山行业数据标准,生成数据质量检核规则,从业务和技术两方面确保数据质量;支持对数据完整性、有效性、准确性、唯一性、一致性、合理性的自动化检核;支持对关系型数据库、非关系型数据库及时序数据库中数据的检核;支持以API接口、SDK函数包等多种方式,对外提供数据质量检核、检测和分析服务。
(六)打破数据供需障碍
数据要素本身就是生产要素的重要组成部分,同劳动力、资本、信息等其他要素一样,供需障碍势必导致矿业行业生产、分配、流通等各环节配置资源的效率降低、成本上升。
建立矿业行业数据资源目录,覆盖矿山企业战略决策、产业运营、管理支持等方面,提供一站式端到端数据供需方案,以可视化、零代码的方式,实现“所见即所得,所得即所用”,促进矿业行业数据跨区域、跨行业高效联通,降低矿山企业获取数据和开展创新活动的成本。为矿山企业各类用户提供一体化入口,支持数据浏览、检索、订阅、一键取数等一体化数据服务,打破壁垒,更好实现数据资源供需的动态均衡,减少数据资源错配、浪费。进一步拓展矿业行业数据应用场景,以API作为技术手段,实现矿业行业数据与第三方服务商的共享,极大降低数据获取、加工、使用难度和成本,让数据的使用更加接地气,真正地走进业务、赋能业务。
(七)实现数据要素赋能
数据治理的成功与否,最终是以为业务创造的价值来衡量和检验效果。矿业行业数据治理围绕矿山业务应用,以解决业务部门在不同场景中的痛点为根本目标。
通过引导业务部门积极主动参与数据治理工作,从各个业务场景出发设计数据应用方案是矿业行业数据要素赋能业务的关键因素。以往矿山企业的生产、经营运转,特别是影响重大的业务运作极其依赖于人的知识与经验,有大量碎片化、难以结构化存储的知识是以经验的形式留存在一线员工的头脑中,这也造成了一些工作环节虽然无数次重复但无法快速复制,一些关键决策点需要人的参与,无法保证前后多次决策的一致性,与矿业行业“减人、提质、增效”的要求格格不入。
通过对矿业行业历史数据的挖掘分析,将以人为驱动的业务经验总结出来,形成以数据驱动的业务动作,用量化结果辅助业务决策,把人员从重复劳动中解放,让有经验的人员集中精力于业务决策,实现人、机、料、法、环等全生产要素的精准定位和全面感知,保障安全生产,助力生产少人化、无人化,实现业务系统数据融会贯通,助力采矿安全、高效、经济、绿色实现数据要素赋能。
五、矿业行业数据治理的发展趋势
(一)传统矿工转型“新型矿工”
随着矿业行业整体数字化程度加深,在部分先进矿山企业的生产组织体系,已经由劳动力密集型逐步转型为技术密集型、设备密集型、信息密集型。一线作业人员数量大幅下降,同时矿业行业数据治理所包含的技术、组织、方法论的革新对人才需求从单一性向复合型转变,矿山企业需要的数据人才不仅会用数据,更要对业务有洞察、理解并能应用到数据治理过程中,创造出更多的商业场景和机会。这种一增一减,为矿山企业懂数据、懂业务、懂运营的复合型数据人才培养提供充分的土壤,未来具备高学历、高素质、高技术、高技能、高收入的挖掘“数据矿山”的“新型矿工”队伍正在逐步形成。
(二)独立建设转向多元协同
矿业行业产业链庞大,伴随产业多元化发展及产业链条的不断延伸,矿山企业内部业务类型越来越复杂,外部产业联系范围不断扩大,伙伴关系也在不断延展,衍生而来的“泛矿业行业”形态正在突破传统矿产资源开发的产业边界。随着矿山企业将5G、F5G、云计算、人工智能、大数据等现代信息技术应用于采矿活动中来,新一代信息技术与矿业行业不断融合,智能矿山建设取得积极进展,对数据治理的要求也越来越高,但矿业行业数据治理所需技术、政策、人才均处于培育阶段,未形成有效的生态。
未来,矿业行业数据治理将由独立建设转向多元协同,不仅涉及生产型企业、装备制造企业,还包括安全监管机构、行业协会、高校、科研院所等各个层面。重点共建矿业行业数据标准、数据确权、数据共享等环节的数据流通体制机制,解决矿业行业部门壁垒、“信息孤岛”问题,管理矿业行业智能化建设产生的海量数据,培育矿山企业数字化技术和人才,促进多元协同,推动矿业行业开放融合外部资源,打通产业链上下游不同层级、不同行业间的数据壁垒,实现跨部门、跨行业、跨区域的深度融合,以数据要素驱动矿业行业生产、运输、储备、贸易、利用各环节的高效贯通,推动形成数字化的新型“生产关系”,促进业务流程、管理体制机制、商业模式、应用范式的协同创新。
(三)数据编织重塑数据架构
矿山企业正面临数据统一纳管的难题。矿业行业生产涉及的学科专业知识广、门类复杂,工业体系庞大,矿山设备的构成复杂,矿山企业分支机构多、地域分散、业务体系庞杂。千差万别的作业程序、辅助设备及应用软件之间存在不同协议、不同的操作系统,互联互通程度低。掘进机、挖掘机、液压支架、传感器等矿山设备系统多、集成难,生产经营数据利用率低等问题普遍存在。以上问题导致矿山企业无法形成统一的数据管理与应用视图,数据共享和流通成本较高,难以整体激活数据价值。有部分大型矿山企业尝试通过统一物理基础设施来解决这一问题,但依赖于高层强有力地推动,且成本和代价较大。
数据编织(DataFabric)是一种新崛起的数据管理设计概念,目的是实现一种灵活的、可重用的和增强的数据集成方法和服务,从而能够跨多平台支持不同的数据操作和分析任务。Gartner认为DataFabric已成为支持组装式数据分析及其各种组件的基础架构,通过在大数据技术设计上复用数据集成方式,DataFabric可缩短30%的集成设计时间、30%的部署时间和70%的维护时间。事实上,DataFabric不是一个产品而是一种设计理念,是利用AI、机器学习等功能,访问数据或支持数据动态整合,以实现将“恰当”的数据在“恰当”的时间提供给“恰当”的人。
未来,矿山企业通过增强数据目录、数据虚拟化、主动元数据等数据编织技术,重塑数据架构,将地域分散的多个数据平台进行逻辑集中管理,避免物理集中带来的重复建设,实现数据统一纳管、充分共享、融合分析与应用。
(四)DataOps打造数据治理新范式
在矿山信息化、智能化建设过程中,以往相对封闭的采矿环境被打破后,设备智能化、业务协同化、数据互联互通、决策数智化对生产装备系统的开放性和互联性的要求增强。矿业行业数字化转型需要运用大数据技术实现海量数据的实时获取、精准分析,也需要通过物联网实现传感器、控制器、工业设备之间的无缝对接和远程设备管控。
传统的数据治理往往由多个分散的管理活动和解决方案组成,造成数据治理各个环节之间的脱节(包括开发与管理、管理与运营),使得数据从生产端到消费端的开发效率降低,难以满足矿业行业数字化转型需要。
传统的数据治理往往由多个分散的管理活动和解决方案组成,造成数据治理各个环节之间的脱节(包括开发与管理、管理与运营),使得数据从生产端到消费端的开发效率降低,难以满足矿业行业数字化转型需要。
DataOps(数据开发运营一体化)是数据治理的新范式,将敏捷、精益等理念融入数据开发过程,通过对数据相关人员、工具和流程的重新组织,打破协作壁垒,构建集开发、治理、运营于一体的自动化数据流水线,不断提高数据产品交付效率与质量。
未来,通过DataOps技术的引入,有助于实现矿山设备、传感器万物互联,打破信息系统间的数据壁垒,推动不同层级矿业行业数据采集、融合、治理;充分发挥海量数据价值和矿业行业领域多元化场景优势,构建矿业行业的数据湖和资源、设备、经营、供需、监管等五大类基础数据库,为打造采矿数字世界奠定坚实基础;让数据有价值的流通,推动数据确权与利益共享。
(五)数据赋能AI深度融合
随着近年来以大模型为代表的AI技术在矿业行业的突破式发展,所有成功应用案例背后离不开人工智能的三大要素,即:数据、算法和算力。数据是AI发展的基石,高质量的数据资源对于提升AI模型的准确性和可靠性至关重要。经过治理的数据成为AI训练的“食物”,支持模型的精细打磨和泛化应用,未来数据与算法的边界愈加模糊,数据嵌入到模型生成中,高质量的数据与AI深度融合。
面向AI的数据治理方法逐渐形成结构化数据管理框架,相关技术工具不断成熟,以完善的理论框架、技术工具、产业实践推动矿业行业AI的进一步发展;面向AI的数据集质量评价体系不断完善,在代表性、可追溯性、公平性、非歧视性等方面不断加强,具备量身定制的工程化能力;数据安全与隐私保护得以落地,如知识侵权、个人信息的违规收集、数据不安全传输、数据恶意篡改等内容,数据治理在AI模型生产、使用、运营整个全生命周期建立数据安全和隐私保护能力。
(六)数据运营加速价值释放
随着矿山企业数字化转型的不断深入推进,数据治理占日常经营管理的比重日渐增加,传统以需求定制开发为主要模式的被动服务形式,已难以满足数据服务响应诉求。
未来,构建数据运营中心是矿山企业的必然选择。通过数据运营中心定期采集数据使用方诉求,构建数据治理需求清单,解决数据应用难点、痛点、堵点,跟踪数据应用效果,加深数据人员对业务的理解和认识,主动赋能业务发展。数据运营中心发挥对业务部门的辅助作用,提供包括自助式数据服务、AI模型等在内的支持,并通过定期宣导与培训,提升业务部门的数字技术能力。此外,以场景化数据运营为出发点,鼓励业务部门的数据资产使用各方使用相关平台探索数据,共享探索成果,提出改进建议。
此外,数据运营从服务目录、权属界定、产品设计、定价机制、收益分配、安全保障、运营监管等方面,构建数据价值评估体系与运营策略,并打造适合于矿业行业的数据开放利用的生态体系,不断提高业务数据化效率,真正让矿业行业数据“活起来、动起来、用起来”,推动数据资产价值释放,加速矿山企业数字化转型。
(七)可信数据空间保障数据安全
在数字经济快速发展的大背景下,矿业行业供应链、产业链、价值链的协同日趋紧密,矿山数据资源流通和开发利用的需求日益增长,如何确保矿业行业数据的安全、合规、高效流通,成为制约矿业行业数字经济发展的关键问题。
因此,建立一套数据流通使用信任体系,使得数据流通使用全过程“可信”,尤为重要。可信数据空间(TrustedDataSpace)是一个基于信任、隐私保护和数据安全的框架,旨在为不同的组织、个人或系统提供一个安全、可控的数据共享和协作环境。在这个空间中,各方能够在不泄露敏感信息的前提下,进行数据交换、共享和合作,同时保证数据的可靠性、完整性和隐私性。
构建可信数据空间是未来矿业行业解决数据“不愿流通”“不敢流通”等问题的法宝。通过隐私计算、区块链、智能合约、控制技术、数据沙箱等技术的应用,在涉隐涉密高价值数据的传输、计算、处理等方面基于共识规则,连接多方主体,实现矿业行业数据资源共享共用,解决数据要素提供方、中间服务方和数据使用方等主体之间安全与信任问题,保障数据要素能够在安全可信的环境中接入、发布、发现、转换和交付,助力矿业行业数据要素实现高效流通,充分发挥数据要素价值。
通过矿业行业可信数据空间,围绕数据全生命周期,提供一站式安全护航,实现原始数据不出域、数据可用不可见、数据可控可计量。接入多类型数据资源,集成隐私计算、数据沙箱、函数计算等多种开发工具,提供数据集、API服务、隐私计算等多种产品服务,满足原始数据不出域、数据可用不可见的数据流通安全要求,支撑全应用场景的数据可信流通。
六、矿业行业数据治理典型案例
案例一:山东能源集团安全生产技术综合管控平台
1.建设背景
国务院国资委《关于加快推进国有企业数字化转型工作的通知》明确提出,以制造类、能源类、建筑类、服务类四大行业为重点,打造企业数字化转型示范。近年来,能源集团抓住新一轮技术革命和产业变革机遇,认真贯彻党中央、国务院建设“数字中国”的指示精神,按照山东省委、省政府、省国资委决策部署,牢牢把握数字经济发展趋势,积极开展数字化转型,推进数据价值的探索和开发。
能源集团为加快数字化转型,提出转服务体验、转运营模式、转生产方式、转平台能力和转工作方法“五大”转型方向,要求建设覆盖煤炭、化工、电力新能源、高端装备制造、建筑施工等产业板块的安全生产技术综合管控平台,有效支撑能源集团战略决策、集中管控与资源共享,实现安全生产技术管理一盘棋,实现“一数一源、一源多用”,提升数字化对能源集团战略发展的驱动能力,构建数字化管理体系。
2.建设内容
安全生产技术综合管控平台在能源集团、二级公司、三级单位各级推广使用,覆盖煤炭、化工、电力、装备制造、建筑施工等板块,涵盖调度、应急、安全、环保、采掘、机电、辅运、通风、地测、洗选专业,有力提升各单位安全生产管理水平。
在能源集团安全生产技术综合管控平台的建设过程中,数据治理是必不可少的重要环节。根据数字化转型规划在能源集团建立“采存治用”数据治理体系,统一采集、存储数据并对外提供数据服务。通过数据采集、治理、存储以及分析挖掘,促进数据共享和业务融合,为各级公司以及各类应用系统提供便捷、统一的数据服务。能源集团数据治理工作由技术部门和业务部门共同深度参与,制定“1236N”数据战略发展蓝图,建立数据治理组织,强化数据管理机制,构建数据治理制度体系,搭建技术平台体系,为全域数据资产管理提供数据存储、治理、计算以及分析应用的一体化支撑底座,构建数据标准体系,实现数据的规范化与标准化,数据治理实施工作纵向贯穿能源集团、二级公司和生产单位,横向打通跨部门、跨专业间业务协同。
3.价值成效
(1)节约信息重复采集的行政成本
由于现有安全生产监管信息缺乏共享和交换机制,各部门为满足自身业务管理的需要,每年都要安排大量的人力、财力和物力来采集相关的安全生产监管信息。对于安全生产监管的基本信息采集,可通过系统研发与应用平台建设项目,做到“一数采集、多部门使用”“一次采集、反复使用”。
(2)提高工业数据质量
现场工业数据,是大数据建模分析的基础,但是现场数据传输标准、交换标准不统一,采集的数据质量也不高,通过项目中的数据标准建设和数据治理,确保数据的质量、可用性、可集成性、安全性和易用性,使数据作为资产应用于业务、管理、战略决策中,发挥数据资产价值。
(3)提升数字化决策水平
针对各专业业务进行数据分析,通过报表工具分析展示业务数据。针对跨系统、跨业务数据,利用报表平台,进行数据收集汇总分析。针对能源集团、二级公司需求,利用大数据平台进行数据分析,对不同部门、不同系统、不同类型的数据通过数据建模,实时抽取分析数据,提供决策支撑。
案例二:煤矿冲击地压大数据分析平台
1.建设背景
能源是推动国家经济发展的核心要素,对于促进经济发展、提升人民生活质量发挥了至关重要的作用。随着煤矿开采深度的逐年递增,特别是在山东、吉林、河北等煤炭开采历史悠久的地区,许多矿井的开采深度已经突破800米大关,步入了深部开采的新阶段。与浅部开采相比,深部开采面临着更为复杂的地质条件,开采难度显著增大,岩体受扰动的情况也更为复杂。煤矿冲击地压是采矿活动引起的矿山岩层运动,受到采矿和区域应力场的影响,使得矿区内外应力处于不平衡和不稳定的状态;在某个区域积累的能量到达一定程度后,将会以冲击的剧烈作用形式释放出来,形成矿震。
为了减少冲击地压对煤矿生产安全带来的影响,需要建立煤矿冲击地压大数据分析平台。一方 面可以减少对人工分析的依赖,降低分析人员的工作强度,并提高预警的准确性和及时性;另一方面,通过建立单参量与多参量分析模型,对海量数据进行挖掘,实现多参量实时、在线联合分析,更好 地揭示冲击地压的内在规律和变化趋势,为采取相应的防范措施提供科学依据。
2.建设内容
煤矿冲击地压大数据分析平台采用统一技术底座,实现从数据自动采集、数据智能分析、数据质量管理、信息推送等功能。制定统一的数据标准,将分散在矿端各个系统的数据进行关联融合,分析多源数据,基于应力、微震、钻屑、支架阻力等监测数据,结合生产动态、矿井地质基础信息,构建多维度的分析模型,从单系统(应力、微震、钻屑、支架阻力)、多参量(数据融合)分析煤矿冲击危险性。
(1)构建冲击地压数据质量保障体系,制定微震、应力、钻屑等数据规范,自动化采集数据,识别无效数据,确保数据的及时、完整、一致、可靠。
(2)建设能源集团统一微震台网,实现跨矿井、跨区域的统一监测,实现微震事件位置及能量的自动计算。
(3)构建防冲大数据分析模型,利用大量的微震、应力、钻屑监测数据,结合煤矿地质信息、生产情况及矿图等信息,根据模型分析数据规律,形成总结报告,判别冲击危险性。
(4)构建多样化图表展示,将分析结果多样化展示,可灵活配置,帮助管理人员、矿井人员直观了解数据变化情况,提升工作效率。
(5)构建信息推送机制,实时监测微震、应力、钻屑等数据,及时推送预警信息,预警产生后分析多系统数据指标,形成分析报告,指导发生预警的煤矿制定应对措施。
3.价值成效
(1)降低微震事件处理工作量,实现减人增效
每对冲击地压矿井可减少1名微震数据处理人员工作量,降低人力成本。目前多数矿井所使用的微震监测系统无自动定位标注功能,当发生微震事件后,需由微震数据处理人员进行大量的数据整理与核对,工作强度大。本平台可实现微震事件自动标注,因此可节省1名微震数据处理人员的工作量。按防冲分析人员月平均收入1.5万元为例估算,每年可为矿井降低人力成本18万元,按能源集团冲击地压矿井37对为例估算,每年节省666万元人力成本。
(2)降低分析工作量,实现减人增效
每对冲击地压矿井可减少1名冲击地压数据分析人员工作量,降低人力成本。冲击地压数据分析人员需要对微震监测数据、应力监测数据、钻屑监测数据、支架阻力监测数据进行收集、整理、核对、绘制图表及具体分析,且需按周期编写对应的分析报告,需要大量时间进行数据处理工作。本平台可实现自动分析,一键生成日、周、月分析报告,可减少1名冲击地压数据分析人员工作量。按防冲分析人员月平均收入1.5万元为例估算,每年可为矿井降低人力成本18万元,按能源集团冲击地压矿井37对为例估算,每年可节省666万元人力成本。
(3)提升煤炭行业整体安全水平
煤矿冲击地压大数据分析平台能够提供更全面和深入的冲击地压风险评估,帮助企业制定更为有效的安全管理措施。通过科学的数据分析和预警,可以在一定程度上降低冲击地压事故的发生率,减少因事故导致的人员伤亡,对于提高煤矿行业的整体安全水平,具有重要意义。
案例三:云南能投安全生产运营监测暨应急指挥中心项目
1.建设背景
云南省能源投资集团有限公司(简称能投集团)是以能源、现代物流、绿色能源新材料为三大主业的省属国有重要骨干企业,是云南省能源战略实施和能源产业改革创新发展的重要平台。云南省首家主体信用AAA评级企业,云南省唯一拥有惠誉BBB-和联合国际A-双重国际评级企业,国务院国资委“双百行动”标杆企业。
根据国务院《关于加快推进国有企业数字化转型工作的通知》要求,为贯彻落实习近平总书记关于推动数字经济和实体经济融合发展的重要指示精神,落实党中央、国务院关于推动新一代信息技术与制造业深度融合,打造数字经济新优势等决策部署,促进国有企业数字化、网络化、智能化发展,增强竞争力、创新力、控制力、影响力、抗风险能力,提升集团产业基础能力和产业链现代化水平。建设集团安全生产运营监测暨应急指挥中心,可以为集团数字化转型奠定基础。
为贯彻落实能投集团数字赋能重要战略,推进集团管理数字化、产业数字化和数字产业化发展,能投集团召开2023年第25次党委会,会议研究通过并下发《数字化赋能专项行动方案》,行动方案明确了5项任务12个重点工作,围绕集团管理数字化、产业数字化和数字产业化3个方向,着力构筑集团数字化管理核心平台,统一集团技术应用架构,建设集团数据标准体系,实现集团数字化价值释放。
能投集团尚未建设有集团统一的生产运营专网,没有统一的数据湖,未实现各生产单位的数据统一汇聚。部分场(厂)站建设有各自的生产管理信息系统,各个二级公司以及下属公司建立了各自的专业系统,各个系统之间没有实现或仅部分实现互联互通,集团各企业之间存在严重的信息孤岛及行业壁垒;数据无法交换及共享利用。大部分生产部门的系统,采集的生产数据没有进行汇总,做统计分析时、数据种类多、数据量大、信息来源多渠道,计算复杂导致统计时间长,具有明显的时效性,展现形式相对单一;部分生产部门的生产数据和统计报表仍停留在手工填报的层面,效率低下,数据准确性不确定。
随着能投集团业务的快速发展,市场竞争日益激烈,集团对内部的精细化、规范化、信息化管理的需求日趋强烈。为解决集团所属企业行业壁垒,打通集团信息孤岛,整合集团资源,提升集团的核心竞争力,构建一套适应和促进集团发展需要的安全生产运营监测暨应急指挥中心已经迫在眉睫。建设集团层面统一的安全生产运营监测暨应急指挥中心,是解决集团所属企业行业信息壁垒、信息孤岛、实现集团层面生产运营监控的有效措施。
2.建设内容
能投集团生产运营监测平台暨应急指挥中心的建设充分利用了集团及各家重点性生产企业信息化建设应用现状,以及集团综合楼的使用规划。其中安全生产运营大数据中心部分建设内容为:
基于互联、开放的标准和架构,结合先进和开源技术,构建安全可靠的大数据基础平台,通过数据采集、数据治理实现数据智能化分析,聚集电力、天然气、盐业、物流、绿色新材料等集团所有业务板块的安全、生产、运营、环保等生产经营数据,形成集团安全生产运营大数据中心,提升数据接入、数据治理及应用拓展能力,进一步挖掘数据资产价值,赋能集团经营决策管理,提高集团整体运营效能。
数据采集要在7家生产单位部署边缘采集平台进行数据采集;自动化采集不能满足的部分通过填报方式进行数据采集。
数据治理要对能投集团各生产企业的安全、生产、环保、运营等数据进行集成、治理、应用,具体活动包括业务调研、数仓整体规划、数据标准制定、数据集成、数据治理开发、数据应用、数据质量检查等,旨在为生产运营监测和安健环及应急管理应用开发提供基础数据支持。
数据应用要指导能投集团完成各类数据应用的场景,如开发API服务、构建资产目录、建设大数据平台大屏等。
3.价值成效
(1)实现数据从“线下”到“线上”的转变
建成了集团数据采集生产专网,统一了数据采集架构,构建了1+N(集团统一监控+边缘计算平台)数据采集体系。完成了11家单位,26个业务系统,371张业务表,24319个时序点位数据入湖;同时开发智能填报系统,完成了35家生产单位,共计82张报表的设计与开发,实现了指标数据从“线下”到“线上”的转变,补齐了数据归集的最后一环。
(2)实现数据赋能业务
构建了湖仓一体化平台,建成了集团统一的数据底座,共建立了28个主题域组、54个主题域、98个业务对象、928个ETL作业,形成了包含5个应用项目、1842张数据表、106GB存储量的能投集团《数据资源目录》;
开发了20个分析模型,1500余分析指标,对外提供了150余个API接口,满足了14张集团总览大屏、20张业务驾驶舱页面的数据应用需求;
建设了“采存治用”的数据治理体系,统一了集团数仓分层治理路径,打破了协作壁垒,构建了集开发、治理、运营于一体的自动化数据流水线,提升了数据质量;
形成了《时序数据采集规范》《非时序数据采集规范》《湖仓一体化平台数据接入规范》《湖仓一体化平台数据模型设计规范》《湖仓一体化平台数仓开发规范》《湖仓一体化平台数据应用接口规范》《湖仓一体化平台数据质量规范》《应用开发平台UI设计规范》《应用开发平台技术开发规范》等标准规范,并培养了能投集团自己的数据治理人才队伍,为下一阶段的集团数据治理及建设打下了坚实基础。
能投集团通过汇聚集团各单位大量生产数据,构建了数据治理规范体系,提升了数据质量,促进了数据共享,以数据推动了业务、管理等方面的模式业态创新。通过对业务数据赋能,支撑了生产运营监测中心、安全环保、应急管理等业务应用,促进了业务协同,确保了数据能够“看得到”“用得着”。