电力大数据快速组合查询的动态索引技术研究

电力大数据快速组合查询的动态索引技术研究

李金泽

（国网辽宁省电力有限公司辽宁省沈阳市110000）

摘要：随着我国社会经济的快速发展，社会用电量不断增加，电力系统因此，在科学技术发展的浪潮中，采集系统日渐完善，电力系统运行中出现海量电力数据，随之，电力大数据时代到来，急需要优化完善传统数据索引和查询方法，这是提高电力大数据利用率的关键所在。因此，本文从不同角度入手客观分析了电力大数据快速组合查询的动态索引技术。

关键词：电力大数据；快速组合查询；动态索引技术

一、大数据快速查询

在新形势下，数据量大幅度增加，商业智能化分析日渐深入，不同类型的查询分析逻辑复杂化，传统数据面已无法满足新时期数据查询客观要求。随着大数据时代的到来，在大数据技术作用下，信息数据查询效率是其关键所在，利于用户快速查询各方面信息数据。具体来说，在传统查询方法作用下，用户需要花费几十分钟乃至几个小时，查询过程复杂化，信息数据查询难度大幅度增加，无法实现快速查询，为用户带来了极大地不便。在大数据作用下，用户查询信息数据的时间大幅度缩短，借助预处理，信息数据查询流程得以简化，在数据进入数据库之时，便可以进行自动化创建索引，而在底层关键性技术作用下，可以根据用户多样化查询条件，自动化组合索引文件上一系列信息数据，为用户查询各方面信息数据带来了极大地便利，能够在一定程度上有效满足他们查询信息数据的客观需求。

二、电力大数据的高效索引技术

站在客观角度来说，想要以电力大数据为基点，创建高效索引难度相当大，是一项系统化、复杂化工程，极易受到多方面因素影响，要优化利用相关技术。和传统电力数据库项目，电力大数据在索引方面的客观需求显得更为迫切。在海量用电数据作用下，传统电力数据库要借助索引才能顺利实现查询功能，而在大数据时代背景下，急需要优化利用高效索引技术，加快信息数据索引速度。从某种意义上说，传统电力数据库索引属于单索引结构，而很多建立在Hadoop基础上的大数据产品尽管可以实现复合索引，但实际上，也是单索引的一种，也就是说，一次查询不能使用多个索引，所谓的复合索引只属于简单拼接不止一个字段。当下，单索引已可以满足用户简单化条件下的查询要求，传统复合索引在各方面因素作用下，拼接技术简单化，只能进行单一化查询，而这已无法有效满足新时期海量的电力信息数据查询客观需求。如果用户在信息数据查询方面的条件复杂化，将无法进行相关查询，无法有效满足他们多样化客观需求。针对这种情况，在电力大数据作用下，急需要综合分析各方面影响因素，优化利用合理化的复合索引技术，比如，动态索引图技术。就DIG技术而言，属于建立在分布式存储以及计算机基础上的一种索引架构，以数据为中心，构建立体化的索引系统，可以实现高效索引。该索引系统围绕第一个域，实现排序，构建无数索引起始点，借助相关技术，构建索引分段系统。在用户查询用电信息数据中，高效索引系统会自动化识别查询类别、规模，自动化选取最佳的查询方法，可以最大化加快查询速度，原本需要花费若干分钟进行查询，现在只需要花费若干秒，大幅度缩短了电力用户查询信息数据的时间，符合他们已有的等待承受心理，有效满足他们在信息数据查询方面的客观要求。

三、电力大数据快速组合查询

对于传统电力数据库来说，索引只是一种辅助手段，如果用户采用快速组合，其并没有建立在索引基础上，可以采用全表扫描技术实现快速查询，但其具有一定的限制条件，要充分发挥大数据高效索引技术多样化作用。在新形势下，智能电表日渐普及化，电力行业信息数据呈现爆发式增长状态，这是因为在经济发展的浪潮中，电力行业已和不同层次社会大众乃至多个行业紧密相连。电力数据呈现出多样化特点，比如，较大数据量、格式化，以小时为基点，采集一次电力信息数据，会发现电力信息数据明显增加，一旦采集次数以及用电单位增加，对应的信息数据也会处于爆发式增长状态。对于具有周期性特点的信息数据来说，HBase已成为“存储、处理”大数据的关键性平台，具有较高的处理大数据能力，但并不是毫无限制进行复杂化条件下的查询，在固定条件下，其有着较高的信息数据查询效率，只是在查询过程中，大都需要进行复杂化条件组合查询，这是HBase无法顺利实现的，需要客观分析其具有的多样化特性，优化利用DIG技术，最大化提高组合查询整体效率。在此过程中，电力用户可以借助java数据库，和HBase数据库相互连接，处于统一化网络结构体系中，相互作用、相互影响，进行实时统计预处理的基础上，构建全新的查询索引。具体来说，在读入新增电力信息数据过程中，HBase数据库中一系列信息数据被同一时间被传输到规定的查询加速服务器中，以对应的核心字与日期为中心，科学统计某字段数值，构建全新的查询索引。一旦电力用户向对应的HBase发出查询方面的请求，该请求便会第一时间被传输到特定的查询引擎中，在查询条件作用下，及时返回到索引地址中，充分发挥索引地址多样化作用，在最短的时间内找到原始信息数据，并将对应的结果及时返回。就DIG技术查询来说，查询速度和信息数据总量没有本质上的联系，及时用电信息数据特别多，查询时间也不能超过5秒。在电力大数据快速组合查询作用下，不需要根据各方面情况，科学更改HBase多样化配置，也不需要进行各种编程，电力用户便于在最短的时间内进行复杂化条件下的信息数据查询，极大地提高了信息数据查询效率，利于最大化提高海量用电信息数据利用率，充分展现其多样化价值，将其更好地应用到实践中。相应地，下面便是电力大数据时代背景下电力用户数据查询结构示意图。

电力用户数据查询结构示意图

四、结语

总而言之，在新形势下，电力大数据快速组合查询下高效索引技术应用的重要性不言而喻，必须将其放在关键性位置。电力企业必须运用发展的眼光，准确把握用电大数据特点，综合分析各方面影响因素，客观分析大数据快速查询，电力大数据的高效索引技术以及电力大数据快速组合查询等。以此，充分利用电力大数据高效索引技术多样化优势，实现新时期海量电力信息数据的快速组合查询，有效满足电力用户快速查询客观要求，优化利用海量的电力信息数据，促使新时期电力事业不断向前发展，走上健康稳定发展的道路，有着广阔的发展前景。

参考文献

[1]郑海雁,金农,季聪,熊政,李昆明.电力用户用电数据分析技术及典型场景应用[J].电网技术,2015,11:3147-3152.

[2]艾列富.基于内容的大规模图像索引与检索方法研究[D].华中科技大学,2014.

[3]祁亚斐.不确定数据流上Skyline查询处理技术研究[D].国防科学技术大学,2010.

[4]李珍.基于特征匹配的目标识别与定位方法研究[D].南方医科大学,2012.

[5]杨晓涛.电力短期负荷预测管理系统的设计与实现[D].电子科技大学,2015.