(国电南瑞科技股份有限公司南京210000)
摘要:随着国家电网确立的电力用户用电的信息的采集“全覆盖、全采集、全费控”的目标已经逐步实现,电力系统运行的采集终端数量大幅度的增加,由此使电力系统的采集的数据信息量呈几何级数增长。面对大量的用电数据,当前用电信息采集系统在很多方面出现瓶颈。本文通过分析作为领先解决大数据储存、计算、分析、管理等有效手段的云计算技术,综合当下的用电信息采集系统所遇到的问题,研究了云计算在电力用户用电信息的采集系统中的应用前景和面对的挑战,对为了电力用户的用电信息采集系统的发展建设有指导意义。
关键词:采集系统;建设;云计算
引言:
电力用户用电信息采集系统(简称“电力用采系统)是实现电网用电侧电气信息在实时采集和在线监测的重要系统,同时还是营销电力业务应用的支撑系统。
电力用户用电信息采集系统现状
随着智能电网的建设不断推进,作为电网用电测信息获取及用电量控制重要途径的电力用采系统,已经是智能电网不可缺少的一部分。为提升电力系统信息化水平已支持智能电网建设,国家电网公司提出了全覆盖、全采集、全费控”的要求。为此国家电网积极推广应用智能电表,目前已经囊括了国家电网27个省级电力公司的1.82亿只智能电表,基本实现了随着用户用电端的智能化。计量仪表和其他需采集设备不断被增加。面对还量化、多类别和共享性日益增强的系统大数据,用电采集系统面临的多个方面出现的为题如大规模终端的并发接入、海量数据入库慢、数据查询速度慢、应用程序响应缓慢等等。
综合当前信息环境下电力用采系统的特性和出现的问题可以断定,电力用采系统已开始向大数据趋势发展,为此需要具体分析大数据环境下电力采用系统所面临的问题,并结合现有大数据应用的领域的各项技术去探索相应有效的解决方案。
一、海量数据入库慢。
采集终端设备和监控设备巨量增加,导致数据入库的压力剧增。现有的基于中小型机关数据库集群方案,受到传统关系数据库的约束,不能调节使用限制资源,使得数据入库慢,无法满足很多必须的规模服务,同时数据规模的扩充,单一的数据结构,在进行数据查询,系统运算,系统分析时耗时量大,效率低。
二、用电数据容灾、备份难
现用的数据库系统很难以保证出现单点故障后仍然维持正常运行,从而降低了系统可靠性。由于数据量大幅增加,数据备份的速度以及备份数据的储存恢复都是已出现的难点,
三、海量数据查询、分析、计算速度慢
数据规模的扩大使得采用传统关系型数据库的电力用采系统和数据查询检索方面的耗时大大增加。同时数据分析、统计和计算方面,传统计算机模式和算法已经难以满足应用层的新需求。
以上问题的出现都是由于用电数据向大数据发展中相对应的系统以及信息的处理技术为随之升级所引起的。为了相对应的电力用电数据的大数据变化趋势,需要从大数据的分析、储存、和计算等核心的技术出发,探索相应有效的解决方案,并将应用到电力用采系统。
四、云计算技术
当下对大数据最有效的技术是云计算技术,云计算的模式主要体现在分布式,并行和效用计算,具有虚拟化、负载均衡、冗余热备份和网路化存储的优点。
云计算可以提供IAAS(InfrastructureAsaService,基础设施即服务)PAAS(PlatformAsaService,平台即服务)和SAAS(SoftwareAsaService,软件即服务)等服务模式这三种类型模式本质上都是对IT资源进行总结,然后按需要以服务的方式提供给广大用户使用。这三个服务模式将IT基础设施,开发,运行平台应用软件叫做服务,按需求提供广大用户。云计算在大数据应用中的技术特点和优势
云计算在大数据领域中的应用技术主要包括储存系统、数据库系统、并化处理机制、资源调度和管理。
使用云计算构建用电信息采集系统,能够有效改善数据储存、查询和计算的性能,提升系统综合效率但仍需要按照用电量信息的采集系统的概念,处理好云计算机的用电信息的采集系统与传统应用之间的关系为了使智能电网的用电信息采集系统想与计算平台的过渡。
云计算采集系统结构,从功能上大致可以分为采集集群、云数据存储环境、并行ETL环境、并行分析计算环境、数据查询组件、前端接口以及用于开发的映射工具。
采集集群周期性地从用户终端中采集信息,并通过调用存储接口将数据存储到云存储与查询环境中;数据存储与查询环境负责对采集到的信息进行高并发的存储,并向上提供用电数据索引和高效查询功能。并行ETL环境负责原有关系型数据库中档案信息与云计算环境的数据交换;开发用户需要利用ETL管理工具建立数据表映射关系以及任务的执行策略,系统通过并行ETL工具对关联系统中的数据进行实时跟踪获取取和一致性校验。并行分析与计算环境负责运行用电信息采集系统的应用算法,提供丰富的任务调度和监控工具,以实现整个环境的运行时优化。前端接口包括类SQL接口、Web服务、客户端包等,面向外部系统提供查询和分析计算的服务。映射工具采用了基于查询重写的SQL到Map/Reduce的优化技术,将原有SQL转化为查询图,并利用重写规则演变为多种形式,实现原有存储过程形式的应用程序向云计算环境的辅助迁移、正确性验证和性能优化,能够大幅度降低关系型数据库应用到云计算的迁移成本,提高开发效率,提升并行计算的总体性能。
结束语:云计算以其大数据处理的优势可以为用电采集系统和能源互联网信息采集提供新思路和方法,但是在实现过程中,还有一些实际困难。当前能源系统数据服务基本都是建立在关系数据库之上,使用数据表模型,而云计算使用键值对数据模型,二者必须有效匹配转换。同时,面对不同能源网络的复杂业务需求,NoSQL分布式数据库实时性仍旧较低。其次,云计算在并行处理和计算分析时,要求数据之间的关联性要尽可能低。如何解耦数据之间的相关性,设计合适的并行分析算法,是应用云计算技术的难点。另外,数据共享与融合带来的信息安全问题,也是重要的技术壁垒。因此,在搭建好云计算用电信息采集系统架构后,如何深入研究应用外围的辅助技术,使之真正发挥实效,还有待时日。
参考文献:
[1]陈盛,吕敏.电力用户用电信息采集系统及其应用[J].供用电,2011,28(4):45-49.
[2]康丽雁,张冶,蔡颖凯.电力用户用电信息采集系统在智能电网中的应用[J].东北电力技术,2013,(7):50-52.
[3]洪建光,吴凯峰,裴旭斌,等.基于云计算的用电信息采集系统性能提升关键技术研究及应用[J].电力信息与通信技术,2014,12(3):1-4.
[4]曹军威,万宇鑫,涂国煜,等.智能电网信息系统体系结构研究[J].计算机学报,2013,36(1):143-167.
作者简介:
钱茜(1988~)、男、本科、国电南瑞科技股份有限公司用电技术分公司,从事用电信息采集系统方面研究。
王金鑫(1990~)、男、本科、国电南瑞科技股份有限公司用电技术分公司,从事用电信息采集系统方面研究。