大数据平台数据安全体系架构研究

 大数据平台数据安全体系架构研究

吕恩泽

中国银联，上海 200080

摘要：随着近年来信息化的持续发展，云计算、移动互联网、智慧物联网等的广泛开发与应用，大数据已逐步成为业界关注的热点。随着网络数据价值的不断增加，其安全威胁也与日俱增，如何在大数据环境下确保信息的安全性和如何为用户提供更精准的数据共享安全控制策略等问题变得更加重要与迫切。本文在分析安全架构体系架构原则和意义基础上，结合大数据平台技术架构的框架设计和技术分析，着力解决实际安全问题。

关键词：大数据平台；数据安全；体系架构

引言

近年来，物联网、云计算、移动互联网等信息化技术和各类新兴技术的不断发展和应用，带来了信息数据量的呈指数幂增长，随之能够存储、读取、检索多样化海量信息数据的大数据技术应运而生并成为人们关注的焦点。但是在大数据技术发展的过程中，其安全问题一直是业界关注的重点问题，也是急需解决的问题。并且随着新型网络攻击手段的日益复杂化和隐蔽化，现有的数据防护技术难

以及时发现并进行有效应对，这就致使大数据平台数据丢失和泄露的风险日益加大，并带来不可估量的损失。因此，构建全程可信、可管、可控的大数据平台安全架构体系以解决大数据平台的安全问题，促进大数据平台的健康可持续发展成为当前研究的重点，并且变得愈发迫切。

1 研究数据安全体系架构的背景

随着近年来信息化的持续发展，云计算、移动互联网、智慧物联网等的广泛应用，信息数据量不断飞速增长。为快速有效的应对大量数据对信息的存储读取和检索等，大数据技术成为业界关注的热点。而由此也带了新的安全拢战，需要应对更多的安全风险。现今时代的网络安全风险，已经变得更加多样化、更加复杂化。如何在当前环境下确保数据安全，如何为客户提供更精准的安全控制策略等需要深入研究和探讨。同时大数据也为信息安全的发展提供了新的机遇。具体分析如下：

1）数据安全面临着严峻挑战

大数据时代，网络数据价值不断凸显（网络数据包括了个人信息、企业数据和国家数据），以数据资源为目标的安全威胁行为越来越多的涉及经济利益、甚至国家利益的争夺，安全监管和执法面临严峻挑战。

2）IDC频受攻击，数据丢失及泄露风险加大

大数据平台集中着大量的政府、企业和个人的核心业务服务器和重要数据，作为重要的信息基础设施，其安全地位日益凸显。近年来针对大数据平台的攻击日趋增加，数据泄露风险不断加大。

3）新型网络攻击手段复杂隐蔽，现有数据防护技术难以抵御

新型网络攻击技术复杂性和隐蔽性越来越高，威胁范围不断扩大，现有安全技术措施难以有效发现应对，常造成数据大规模损毁和泄露等严重后果。

4）用户隐私数据泄露事件接连不断，监管保护急须加强

近年来，用户隐私数据泄露事件成倍增加，事件带来损失不断扩大，用户隐私信息保护已经成为全球各国网络空间安全监管的巨大难题。

5）数据交易黑色地下产业链活动猖獗，治理仍需长期展开

我国的数据交易地下产业链的规模、产值不断扩大，不仅侵犯虚拟数据资产，更带来了实际的经济利益损失，对数据安全和经济安全构成了极大威胁。

6）数据开放和共享的需求强烈，开放共享与安全防护水平之间的矛盾凸显

随着数据价值的体现和科技的发展，以经济和民生需求为导向的数据开放共享需求日益强烈。在数据开放和共享的同时，提升数据安全保护措施和技术已成为长期存在的难题。

7）数据跨境流动成为关注热点，国际博弈激烈

随着数据资源共享的需求日益强烈，数据跨境流动也日趋频繁，由于数据跨境流通的安全难以明确界定，各国针对数据跨境流动监管态度各异，国际博弈激烈。

随着网络数据价值的不断增加，各类安全、威胁也与日俱增，大数据的安全保护面临着严峻的挑战，使得多国家对网空数据的使用和管理从“强调开放”变为“注重保护”。因此，如何解决大数据平台安全问题变得愈发重要与迫切【1】。

2 大数据平台数据安全体系架构的设计原则

在大数据平台数据安全体系架构的设计过程中，首先需遵循的是全面性原则，即数据安全体系架构的构建要贯穿整个大数据平台安全建设的全生命周期，是局部和整体的总括。其次，要遵循的就是实用性原则，数据安全体系构建要做到与现实生活的全面结合。最后是平衡性原则，在这一过程中，要做到两个抓手，一是坚持科学管理这个抓手，二是做到技术运用另一个抓手，从数据信息的不同侧面对数据安全做到保障，对外能够严格遵循等级保护2.0标准、风险评估的要求，而对信息内部的管理能够做到科学合理，实现数据信息和用户信息保护的二者平衡。在大数据体系架构的构建过程中需要遵循的原则并不仅仅只有上述所列举的三个，而上述原则是在实际应用过程中需要贯穿和指导的原则【2】。

3 大数据平台安全架构体系的整体框架设计

该体系主要分为安全技术和安全管理两大部分。在安全技术方面，应围绕大数据的整个生命周期，保证安全接入（包括边界防护、可信接入、保证传输通道安全、API安全使用等），保障应用安全（包括防止ATP攻击、WAF、SDLC等），保障数据安全（包括保护数据完整、数据脱敏、策略化数据抽取和集成、数据加密、数据传输安全、数据隔离、隐私保护、数据发布匿名保护、数据安全分级、数据销毁、数据备份容灾等），保障网络安全（包括防火墙、漏洞扫描、DDOS防护、VPN系统、IDS/IPS等），保障主机安全（包括主机加固、进行恶意代码防护、防止病毒入侵、配置主机安全基线、进行可信计算等），保障物理安全（包括营造良好的机房环境、设置门禁系统、运用UPS系统、进行视频监控、实现安全报警等），以防止数据的篡改、丢失、泄露和越权访问。在安全管理方面，需明确大数据平台安全的总体目标和方针、标准体系、安全需求和标准，建立统一的管理制度和框架，并统一部署安全防护设备，以规范数据采集和共享的规范化；需对数据格式、数据别名等数据元素进行明确定义；需对数据的产生信息、修改记录、访问记录等进行实时记录；需组织安全培训，明确保障大数据平台安全策略执行的组织架构，进行人员管理和第三方管理，完善安全组织体系；需就安全规划、安全应急响应、建设管理、安全监控、安全检查、应用开发管理、资产分类管理等各方面进行统一的运行管理。

4 大数据平台安全技术分析

本文重点就大数据平台安全架构体系中的安全技术部分进行分析，着力解决实际安全问题。

4.1 基础设施安全

首先，大数据服务器安全应做到服务器到服务器的认证（例如Kerberos认证等）、客户端到服务器的认证（例如分组用户身份识别，但 Namenode、DataNode、

JobTracker、TaskTracker 等无认证）、用户访问级别控制（暴露数据服务接口，将用户身份与数据权限联系起来，使授权客户只能访问自己的数据，并使应用集成、负载均衡和异构平台兼容）。其次，设计网络总体安全架构，将大数据网络安全域分为数据采集子域（分为网络内、外部数据采集）、数据计算存储子域（包括数据分布式存储、数据分类存储、数据分发、数据的分布式计算等设备所在的区域）、管理子域（包括业务管理平台、网络监控、安全审计等设备所在的区域）、数据ETL子域（包括数据缓存、脱敏、清洗、分发等设备所在的区域）、数据外联子域（包括Web服务器等设备所在的区域），并在各区域的边界处通过划分 VLAN、部署防火墙等进行不同强度的隔离防护。最后，构建同城双中心（即在同城或邻近城市建立两个数据中心，二者均可独立承担关键系统的运行工作，实现双活容灾）和异地灾备中心（即在异地建立一个用于双中心数据备份的灾备中心）组成的两地三中心容灾模式，通过热迁移、数据库复制、陈列复制、镜像、备份软件等灾备技术保证业务的恢复。

4.2 数据安全

可运用身份认证、完整性保护、数据加密等方式确保数据采集过程的安全；可通过数据加密、密文后附件消息认证码、接收端验证发送端身份、在数据分组中加入时间戳或者不可重复的标识等方式保证数据传输的机密性、完整性、真实性和防止重放攻击等；可通过加密技术保证数据在节点之间的传输安全；可将用户信息划分为一级、二级、三级，并运用加密、屏蔽、变形等方式将敏感数据做

脱敏处理，以内置算法对表进行透明访问或通过记录分配数据标签以保证敏感数据的安全；可采用物理隔离、Multi-tenancy、虚拟化、数据分级、访问控制等手段进行不同用户之间数据信息的隔离；可采用失真、加密、匿名化等技术进行数据隐私保护；可实时监控安全基线配置的完整性和合法性；可通过策略化添加、修改和删除对大数据平台的数据进行集中的策略管理；可允许全文检索，进行多角度的大数据审计；可在Hadoop节点上部署安全加密网卡、安全中间件、安全探针等以实现敏感数据的审计和监控；可在数据发布之前进行全方位的安全审查；可运用Hbase架构实现实时在线业务，并提供本地备份、数据恢复、地理容灾等。

4.3 访问权限控制

就Hadoop安全访问控制来说，其一般基于网络安全认证协议——Kerberos 实现。其优点是不用在网络上传输密码就能实现安全认证，Kerberos的安全服务器是密钥的分发中心，而 KDC负责存储用户和服务用于通信的密钥。用户只需要输入身份验证信息，获取 Kerberos经由对称加密算法生成的票据，便能访问接入Kerberos的多个服务。这也就要求Hadoop的每一个独立节点都要搭建 KDC，并且所有节点都需要安装Kerberos客户端。就细粒度的基于角色的安全控制来说，Sentry作为一个高度模块化和可扩展机制，能够通过文件系统 ACL、基于角色的授权和细粒度授权，支持细粒度的Hadoop数据和元数据的访问控制，并定义授权用户和应用程序对于集群数据的访问和使用权限，且允许Impala和 Hive执行细粒度的安全策略【3】。

5 结语

综上所述，在信息技术迅猛发展的背景之下，大数据平台在发挥数据价值的过程中，也存在潜在的安全隐患，数据信息泄露和数据内容被窃取的现象呈现高发状态，数据安全防护问题已然成为制约大数据平台发展的一大重要因素，因此，不断加大对大数据平台数据安全体系构建的分析力度是时代发展的必然要求。在对大数据平台安全架构体系的分析过程中，探索出的一套数据安全架构建设方案能够为整体大数据体系构建和规划提供现实的可能性。

参考文献

[1]胡志达.大数据平台数据的安全管理体系架构设计[J].江苏科技信息,2021,38(13):25-28.

[2]王靖夫.大数据平台数据安全体系架构研究[J].网络安全技术与应用,2020(11):76-77.

[3]邹蕴珂.以数据为中心的安全体系研究[J].网络安全技术与应用,2022(08):50-51.