大数据时代的安全运维服务如何实现？

在互联网时代，尤其是社交网络、电子商务与移动通信把人类社会带入一个PB级别以上单位的结构与非结构信息的大数据时代。数据量的爆发性增长，使企业IT架构不断扩展，服务器、存储设备的数量越来越多，网络也变得更加复杂。而大数据的4V特征，数据量大(Volume)、 类型繁多(Variety) 、价值密度低(Value)、时效高(Velocity) 也使得传统的技术架构和路线，已经难以高效地处理如此海量的数据。可以说，大数据时代对企业的数据驾驭能力提出了新的挑战。尤其是大数据平台往往支撑着公司的搜索、推荐、广告等核心业务，为了保障良好的用户体验和业务效果，运维工作显得十分艰巨。相比于传统的运维方式，大数据时代的运维面临着集群规模更大、业务组件更多、监控可视化与智能化更为复杂等诸多难题。

我们知道，在互联网初期，大部分应用程序跑在少量的服务器上，网络带宽很小，存储量也很小，这个时候的运维更多的是解决类似于组网、操作系统等机房建设问题，应用的上线部署可以由开发工程师来完成，运维的工作职责没有那么明显。随后互联网进入高速发展期，数据规模从GB到TB再到PB级别，在存储量上超过千倍增长，在计算规模上可能也远远超过千倍增长，传统的通过单节点来存储和计算超过PB级别的数据已经比较困难，分布式集群的方式已经成为标准的解决方案。分布式系统在存储上解诀了大规模数据单机无法承载的问题，同时在计算上解决了单机CPU或者内存等资源无法完全满足的问题，但是同时也带来了很多运维难题，诸如统一上线部署、 大规模机器管理、降级、容灾、数据同步等。从数据规模到机器规模的扩大，传统的运维方式和方法已经不能满足产品快速迭代的要求，智能运维在这样的场景下应运而生。 智能运维是建立在运维基础上，通过一定策略和算法来进行智能化诊断决策，以更快、更准确、更高效地完成运维工作的技术体系。要实现智能运维的目标，需要有平台支撑，这也是DevOps很火的原因，很多运维工程师都掌握了开发工具和平台的本领，因此建立了高效的自动化运维平台。所以说智能运维是运维发展的高级阶段，也是互联网时代发展到一定阶段的产物。 智能运维的基础是建立在大规模数据分析和计算之上，当数据量很小时，我们甚至可以人工判断和决策，一旦数据达到一定规模，大数据涉及的所有技术就都会成为智能运维所依赖的技术。一方面，可以说智能运维是一种新型技术， 因为它从另一个视角去看待运维，对传统运维进行了创新和升华;另一方面，也可以说智能运维是一种经典技术，它是一系列成熟技术的结合体， 它融入了运维技术、大数据、传统机器学习技术、机器学习、深度学习等方方面面的技术。 那么在大数据时代应该如何做好运维?我觉得有三个方面。 一是基础设施平台化，大数据的4V特性，相比于传统的系统运维，数据的处理框架变得更为多样化和复杂化，这要求我们必须夯实基础设施才能事半功倍。比如多源异构海量数据的分布式存储、离线批处理、高性能索引、大规模流数据处理，以及可视化监控与报警平台等。 二是集群管理自动化，降低运维复杂度。自动化能够提升稳定性，固化的操作交给机器去做，可以降低人为操作失误，提高线上的稳定性;自动化还能极大地提高效率，将运维人员从日常烦琐的操作中解放出来，把更多的时间投入到运维平台迭代优化上，从而更好地为业务运营服务。 三是运维决策智能化，充分利用大数据分析技术提升预测、发现和自动检测的能力，预测分配资源，动态伸缩集群，实现智能预警，自动修复，最大化利用资源，减少开销。