“混合云之下，DeepFlow整个网络流量采集成为头部公司的 “心头好””

在混合云的发展趋势下，数据中心的互联网流量监控变得越来越复杂。

根据咨询公司“企业管理协会”的调查，在公司上传到云中之前，大多数公司使用4-10工具来监控互联网和消除障碍。 当阴霾重重的环境和复杂的it体系结构暂时出现，互联网的数量和复杂性倍增时，以前流传的以设备为中心的互联网监控工具开始无法满足云环境所需的可见性，企业越来越碎片化

那么，在混合云中进行互联网流量监控该怎么办呢？ 对于使用多云环境的公司，是否有基于全景的互联网监控处理方案，以便于管理许多复杂的互联网环境？

过去，互联网流量的收集和分解一直是公司数据中心基础设施不可缺少的监控手段。 通过对互联网流量深度的分析，企业可以更好地识别互联网故障，优化互联网和业务绩效指标。

但是，2019年以来，来自金融、电信、idc等领域的一线工人，对云环境下互联网流量收集这一课题，保持着集体关注。 对于这些it水平走在各行各业前列的大型组织来说，自古以来就成为热门话题的互联网流量监控行业遇到了哪些问题？

过去，国内公司的数据中心通常使用以前流传的三层it体系结构。 internet流量监控主要是通过internet物理交换镜像进行业务往来，针对数据中心出口的南北流量获取流量，并将收集到的流量传递给分解工具。

随着公司数据中心结构的逐渐云化，互联网流量的收集和分解随之发生了巨大的变化。 在云计算环境中，一些东西方的流量不再经由物理交换机。 此外，虚拟机的在线、离线、扩展、迁移和切换等操作非常频繁，而且全部都是自动化的。 另外，以前传递的静态镜像无法追随虚拟机进行同步动态部署，无法收集所需的流量。 也就是说，基于以前流传的物理交换机镜像的互联网流量监控方法在云环境中开始禁用。

另外，云中激增的虚拟互联网流量也无法承受之前流传的镜像监视方法。 艾瑞咨询《年中国数据中心领域快速发展内在报告》指出，云化将数据中心发展为大型机房，目前数据中心东西流量超过南北流量。 传统的镜像方法通过物理交换机端口将大流量引入虚拟机和服务器进行集中解决，由于端口消耗过多，严重影响了互联网设备的性能和稳定性。

值得注意的是，混合云环境中的互联网体系结构更多更复杂，想要基于公司现有的监控工具实现端到端诊断几乎成了不可能的任务。 在混合it体系结构下，企业云数据中心可能包含异构it资源池，如开放堆栈、vmware和裸机容器。 包括业务区、网络接入区、外部网、dmz区等不同的互联网区域划分，互联网环境越来越大、分层、复杂。

从公司现有的互联网监控工具来看，日志管理、互联网性能管理、应用性能管理等工具和云厂商提供的流量收集与分解工具都是各自独立的，为公司整理了完善的业务流量访问路径， 无法实现基于混合it的网络流量整体监控，当然能够在阴霾的环境中掌握全球化、精细化的互联网管理能力。

根据forrester的调查报告，12%的使用现代基础设施监控工具的受访者表示，为了支持企业范围内的互联网运输，端到端的可视性和可扩展性仍然很困难。 随着企业数据中心云化的发展，这一局限性越来越明显。

许多企业意识到，在混合云环境中监控整个网络流量并不是一件容易的事。

云环境下网络流量监控的缺失让企业像鲣鱼一样卡在喉咙里。 各大金融机构、电信运营商、idc运营商以及使用混合云和云本机技术的头部公司都迫切需要一个处理方案。

但是，在公司it的历史负担下，改造的道路为什么很简单？

从建设的角度看，公司经过多年的新闻化建设，积累了大量的软硬件it资产，形成了较为固定的it管理方法。 公司越来越多地考虑在维持现有互联网设备投资和监控方法的基础上如何实施改造 这需要新的互联网处理程序，它可以与现有的it硬件、软件设备和监控工具无缝集成，并尽可能轻地部署，而不会干扰现有的生产环境。

从部署的角度来看，如果云业务带来了大型、灵活的虚拟互联网流量，云环境下的流量监控方案也必须与云配合工作。 另一方面，它可以在it异构环境中灵活部署，并随着虚拟机和容器等资源的实时变化而灵活扩展。 另一方面，需要减少计算、存储、带宽等资源的占用，不影响当前网络上运行的业务。

从安全角度来看，大规模部署、灵活的虚拟互联网更改和开源组件的应用都有可能危及公司内部网络的安全。 因为这个新方案需要考虑安全策略的自动管理，以便正确执行现有的安全策略，满足公司云安全合规性的要求。

在工作立场上，网络流量监控曾经只是it部门的运输业务，现在已引起运输业务、安全、业务审核等多个部门的共同关注。 无论是互联网故障诊断、云中的互联网报警还是基于业务视角的互联网诊断，都需要收集和分解整个网络流量。 如何比较各部门不同的诉求，统一采集流量，多次逐一收费，避免烟囱式的建设和重复投资，也成为公司考虑的关键之一。

总体而言，企业对整个网络流量采集方案要求非常高，除了部署的低入侵性、高灵活性、高性能和安全性外，还重视采集平台的开放性。

另一方面，目前市场上的许多处理方案仍然基于物理交换机的镜像集中解决通信量，或基于虚拟机的大规模安装代理收集通信量，对现有设备的性能造成很大影响 这是因为，传统上流传下来的互联网制造商和虚拟化制造商通常基于自己的硬件和软件设备提供一体化的处理方案，难以与其他制造商的产品融合，也缺乏创新的意愿。

在混合云潮流中爆发的网络流量监控痛点，正在国内大中型企业云化过程中转变为新的诉求，这个市场还在等待破裂。

必要时，市场领先、稍具技术领先的领域巨头们已经走在以前流传的处理方案前面。 据不完全统计，目前国内已有30多家公司级数据中心部署了云环境流量采集系统。

那么，这些大公司到底是如何应对云网络流量监控的挑战的呢？ 让我们来看几个具有代表性的例子。

民生银行:金融监管下的云网络流量监控

民生银行很早就开始了云数据中心的转型升级，业务成功升级到云并稳定运行。 为了应对国家金融监管政策，保障云数据中心的网络安全、交易监控安全，2019年，民生银行引入云杉互联网deepflow虚拟互联网采集可视化和分解平台，实现云环境中东西方虚拟流量采集的

与以前流传的互联网流量监控方法相比，deepflow的特点是部署方法简单，不需要维护独立的虚拟机。 由于deepflow使用的是主机模式，因此通过对云环境中的各物理主机独立采集软探针，天生具有完全旁路的机制，不会入侵虚机、业务网卡、虚机交换机。 作为主计算机上的顾客状态过程，具有重量轻、安全、可控等优点。 另外，为了避免对宿主机稳定性的影响，在deepflow集电极上还设置了过载保护机制。

从管理的角度来看，deepflow也是业界少有的能够与openstack、vmware等云平台无缝对接的产品，其控制器遍布云平台内的各种资源、地区、客户、vpc、。 与流量进行组合后，可以直观地向互联网管理员展示，以实时了解云环境中的流量收集和资源部署情况。

目前，在民生银行的分支机构云环境中，deepflow已经与现有的流量采集平台无缝对接，不仅成功实现了对云环境中东西方虚拟流量的精细采集，还与云管道平台联动， 考虑到生产环境的系统安全性，基于deepflow的云网络监控也可以实现与生产系统的零耦合。

总的来说，民生银行以最小化的配置，获得了最大化的灵活采集战略和安全便捷的云网络流量监控。 在扩大原有流量采集能力的同时，不影响生产系统的性能和稳定性，可以说是云网流量采集的最佳实践之一。

河南省移动:电信云的精细化运营

在河南省移动的私有云有多个数据中心，其资源池为数百台集群规模，承担数百个业务。 作为电信运营商，河南移动的私有云建设不仅满足国家等担保2.0的要求，在核心网的可靠性、效率、客户隐私保护等方面也比许多领域要求更严格。

另一方面，在河南移动私有云内部使用互联网虚拟化后，数据中心将由东西方流量主导，以前流传的互联网监控方案无法应对虚拟流量，系统内的互联网行为将完全成为黑匣子。

另一方面，该私有云租户众多，从省企业各部门到不同省企业之间的区域间客户，从云平台运营到租户业务运营，都要求云资源和流量数据的采用情况更加细致。

为了更好地运行电信云，经过反复测试和对策后，河南移动引入云杉互联网deepflow监控私有云，实现实时分解和故障追溯分解，较好地满足了河南移动精细化运营和管理的诉求。

对电信运营商来说，目前5g、边缘计算、物联网方向上的力量，催生出越来越多的互联网运营场景。 对此，河南移动和云杉互联网也在为爆炸的实时流量采集和拆解指控做准备。

众多领域的猎头公司在图们江网络deepflow的协助下，建设全网络流量监测分解平台，在私有云或混合云环境下实现精准高效的互联网流量统一采集和共享能力

其实，除了上述公司之外，国泰安裕、平安科技、兴业数金等金融机构、移动、联通、电信三大运营商、中国航空快递、深航货运、公路旅游、联想it等大型集团公司也纷纷推出云杉互联网deepflow

为什么这么多大领域会选择云杉互联网而不是之前就和网络制造商合作呢？ 根本原因在于，图们江互联网运用自身独特的技术力量和产品思路，说明了深度流量对客户确实有价值，真正符合客户诉求。

例如，企业在云环境中获取虚拟互联网流量有多种方法，但客户最关心的指标(如零入侵生产、高灵活性和高性能)很少是符合企业标准的处理计划。

云杉互联网deepflow使用的主机总线旁路方式，只需要在kvm环境中运行一个客服流程，作为虚拟机部署在公共云和vmware云平台上。 收集器运行期间，消耗的资源为单核cpu、1g内存。 作为flow新闻进行采集时，互联网带宽消耗不足实际流量的5%，同时采集器具有过载保护机制，入侵性低、稳定性高，真正满足了企业对动态部署的诉求。

例如，比较混合云环境下企业的流量收集诉求，deepflow具有分布式架构和开放可编程的特点，将收集和分解所需的费用解除耦合，与多个云平台对接，从而扩大规模 为了确保公司安全策略的一致性，deepflow实现了云环境收集策略的自动跟踪，通过持续的机器学习自动生成互联网策略建议，并在动态环境中持续执行策略。

可见，deepflow的架构设计和产品功能天生适合雾霾和云的原生环境，也与云杉互联网诞生于云计算时代有关。 由于其sdn的基因和基础平台的开放性，deepflow打破了以前流传下来的处理方案在入侵性、性能、灵活性等方面的瓶颈，并且还原生地适应了虚拟化、集装箱、公共云等多种生态。

随着更多的公司进入混合云时代，各行业巨头和云杉互联网共同制定的云网络流量收集最佳实践无疑为其他公司提供了可借鉴的建设经验。

在部署中，平台建设不是一步到位的，而是分批建设，必要时进行扩展。

随着数据中心规模的增长和it基础设施的增长，企业将传统的物理互联网监控、虚拟通信量监控和安全问题监控等业务整合到整个网络通信量收集和分解平台中。 但是平台建设不是一步到位的，而是根据公司现有的it基础设施和业务诉求逐步建成的。

首先，企业通常会选择kvm、容器资源池进行部署实施，以利用deepflow来解决虚拟互联网环境流量的黑匣子问题。 这是因为公司在之前流传的物理互联网上已经具备了完善的监控方案。 它填补了虚拟互联网流量监控的空空白，与现有的监控分解工具对接，关闭了私有云、集装箱环境中的运维、业务分解工具链，成为公司迫切的诉求。

在虚拟互联网环境部署取得理想结果后，企业可以选择将物理交换机、专线等流量数据纳入越来越多的资源池，以实现整个数据中心的流量收集能力。 然后对接互联网中心、安全中心、智能运维等平台，满足各平台对当前网络流量数据的成本诉求。

第3步，公司收集运行在公共云中的workload或实例流，完成整个混合云it环境的监控流量管理，逐一发送整个互联网图像、流量，实现多平台

如果混合云环境已经在运行，企业也可以分批部署，而不影响生产环境的运行，并将与deepflow平台相关的管理和监控逐个用于现有的互联网平面。

计划从不同的it环境和互联网类型中，分为地区、资源池进行计划。

在数据中心端，可以按区域进行定义。 区域中的internet通信量包括可用区域的物理internet通信量和资源池中的虚拟internet通信量。 在物理互联网中，采集点一般通过设备制造商的监控方案实现的虚拟互联网流量采集中，可以使用deepflow提供的各个模型采集器，进行设备制造商方案的标准数据输出。

deepflow支持对多个数据中心、多个分支机构的企业、各地的数据中心区域、各种资源池的互联网流量收集，并由相应模型的收集器进行。

在公共云端，可以通过deepflow收集公共云vpc内的各种资源的互联网流量。 收集器作为客户软件部署在虚拟机、容器、裸机设备等workload上，支持linux、windows等主要操作系统。

在控制管理方面，可以从控制方面的设计开始，应对大规模且可管理性的问题。 控制器是管理控制收集器和策略发行的控制中枢，分为主控制器、备用控制器、从控制器，可以根据导入请求进行选择。

在多点部署环境中，首先指定主区域( region )。 主控制器位于主区域内，提供对通信量管理平台的整体控制入口。 主区域以外的区域的控制器作为从站控制器，不参加主控制器的选举。

在云环境、容器环境中，控制器可以通过对接虚拟化资源池、配置管理数据库、公共云开放api等，实现多粒度采集、逐一战略，更加灵活和接近业务应用。

在
功能中，确保平台的可扩展性、开放性、统一的管理能力，实现一次采集、多次逐一的费用。

在云和云的本机环境中，所有资源(包括互联网资源)都将灵活变化。 那么，相应的互联网监控平台也需要灵活、可扩展的特征。

特别是在混合云环境中，互联网规模大，资源池类型多样，虚拟交换机的收集点数量比以前流传的监视规模增加了几个数量级。 这是因为，使用分布式布局(如deepflow )可以充分适应逻辑互联网跨越资源池的场景，而不会产生单个瓶颈。

另外，要考虑每个互联网平面，尽量复用现有的互联网，以降低监控系统的资源开销，基于不同的业务视角提供互联网分解的全景图，不进行多部门的重复投资，最终实现公司的混合云

在混合云时代，互联网变得更加复杂，企业在各个层面都面临着虚拟互联网黑匣子的挑战。 随着领域各大企业纷纷着力收集和拆解网络流量，示范效应逐渐释放，许多企业在混合云环境中应用新的互联网监控管理技术，建设新一代网络流量监控基础设施。

本文：《“混合云之下，DeepFlow整个网络流量采集成为头部公司的 “心头好””》