KAFKA、HDFS、RESTful_API交互技术在电信运营系统中的应用

KAFKA、HDFS、RESTful_API交互技术在电信运营系统中的应用

高兵,罗宏,孟令臣

中国电信股份有限公司安徽分公司 云网运营中心 230000

摘要：

随着云网融合快速发展，电信运营系统正向云网统一运营系统演进。该系统由不同软件开发商开发的功能模块构成，因此需要各类运营数据在不同软件模块间高效交互。本文探讨了KAFKA、HDFS、RESTful_API三类数据交互方式及其优缺点，并提出了统一架构下底层控制器与上层调度系统应用之间的数据交互方案，并阐述了适用的运维场景。该方案已在现网的规模应用，证明该方案成熟稳定，具备较强的推广价值。

关键词：解耦KAFKA HDFS RESTful 控制器

1.引言

按照云改数转、云网融合的电信战略，传统烟囱式的运营系统正在按照新一代云网运营系统的架构解耦改造，以实现“自助、按需、自动化、一站式”的服务目标[1]。解耦开放后的网络能力，有利于快速形成产品应用，从而有力支撑未来10-15年2B/2C/2H云网融合新业务生态。原来由同一软件开发商内部通过代码耦合方式开发的系统采集层、数据层、应用层、呈现层分层解耦，由不同软件开发商来相互配合、分别进行开发实现。

因此，传统运营系统内部的数据交互方式，也由原先的关系型数据库、内存数据库、内部消息机制等私有的交互方式，转变为公共的、可供不同消费者使用的数据交互方式，从而在数据层面实现真实的解耦。

2.运营系统的数据交互需求

针对传统的网络，运营系统的数据主要包括以下几类：

（1）第一类数据：实时的告警性能数据，如基于SNMP Trap协议的告警、秒级监控数据等。该类数据由设备主动上报,实时性要求高，数据量巨大，产生时间随机。

（2）第二类数据：单点查询数据或下发操作数据，如查询资源、性能指标、业务开通等。该类操作对实时性要求较高，数据量小。

（3）第三类数据：周期轮询的资源及性能数据，如基于SNMP Get方式获取的网络设备、逻辑资源等数据。该类数据实时性的要求低，数据量较大，产生周期确定。

基于上述运营数据及应用需求，我们测试并分析了几种有效的数据交互方式，在不同的应用场景下适配不同的数据交互，从而实现整个运营系统的运营最优化。

3.新一代云网运营系统架构下的综合应用

新一代云网运营系统需要满足网络运维和业务开通两大类需求，关键是实现网管解耦和业务编排。因此，本文设计了网管系统解耦后数据流向和业务编排等场景数据交互方式。将不同的数据交互方式综合应用起来，从而实现最佳网络运维效果。

3.1.网管系统解耦后数据流向

网管系统主要面向维护人员，按照新一代系统运营架构，可解耦为采控平台、共享平台、能力网关、调度系统等。该架构同时符合资源运营、服务运营、业务运营三层智治网络架构[2]，为实现网络智治打下基础。如下图所示，数据交互流向按业务功能总体分为两大类。

图1统一架构下的数据流向示意图

1、信息采集类

由控制器采集到各类数据，上报到云网基础数据共享平台。主要采用两种方式：

（1）以KAFKA为主的MQ消息队列方式：主要适用于实时Trap告警、Telemetry性能数据、BGP-LS链路拓扑信息等流式数据处理，数据本身的结构性不强。可用于满足上文第一类数据要求。

（2）以HDFS为主的文件交互方式：主要适用于网络设备的资源、状态、性能数据。每类数据都有严格的结构，可用于满足上文第三类数据需求，可以高效解析、存库。

2、业务控制类

控制类的数据采用RESTful API为主的API服务方式。由上层应用发起，调用注册在DCOOS网关上的RESTful API，由API的服务端（即控制器）响应该请求，把请求中的JSON入参转成设备侧能识别的实指令并下发到设备上；接收设备侧返回信息后，再通过JSON格式返回给上层应用。可用于满足上文第二类数据需求。

3.2.业务编排等场景数据交互方式

基于前述的三种数据交互方式，按照新一代云网架构完全解耦后的运营系统，在不同的软件开发商的系统之间，有下述四种场景下的数据交互，如图5 所示。

1、基于RESTful_API的业务下发

应用于专线业务开通。通过RESTful_API的方式，由上层应用调用相应的API，实现业务自动开通。可用于MPLS VPN、SRV6 EVPN等专线业务开通场景。

2、基于RESTful_API的实时查询

应用于网络设备的状态实时查询、故障实时诊断。由上层应用调用相应的API，实时获取到当时设备、板卡、协议等实时信息，通过流程编排，实时一键式的故障诊断。可用于家宽、专线诊断能力。

3、基于KAFKA的实时上报

当网络设备出现告警或者需要上报Telemetry、Syslog、BGP-LS数据时，可以通过KAFKA方式上报。告警、流量、测试结果等可采用这种方式的实时上报。

4、基于HDFS的周期上报

对网络设备进行周期性轮询，采集到设备的各类资源、状态、性能等信息。这类信息的数据量特别巨大，数据结构规范，不同的软件系统之间无法通过API、KAFKA或数据库方式交互，因此特别适用于HDFS小文件系统来交互。

4.结语

本文首先论述了在云网融合背景下，电信运营系统解耦的意义，再次阐述了运营系统三类数据交互需求，提出了新一代运营系统架构下的数据流向及数据交互方式。针对不同数据交互方式的特点，设计了最优应用场景，从而满足网管解耦和业务开通等关键网络运营需求。不同数据交互方式之间取长补短，实现上层应用与底层控制器之间数据高效交互，从而满足的新一代云网运营系统“云化、解耦、融合、自动”的要求。目前该方案已在某省级运营商试商用，现网规模运行经验证明，该方案成熟稳定，可以大规模应用。

参考文献

[1] 中国电信CTNet-2025网络架构白皮书，2016年7月

[2] 电信管理论坛TMF自智网络白皮书3.0，2021年10月