百度：如何优化多数据中心的带宽成本？

作者介绍

熊亚军，目前在百度负责 IT (网络、服务器)设备监控平台研发。

主题简介

本文将主要从以下几个部分同大家探讨：

1.多数据中心的特点及计费模式

2.数据中心的外网流量特点

3.外网流量优化的困难和挑战

4.如何更充分利用付费带宽

5.未来展望思考

一、多数据中心的特点及计费模式

背景：随着互联网业务的快速发展，大型互联网公司数据中心的数量和网络复杂程度也在急速上升。

多数据中心的网络

和Google 的网络类似，大型互联网企业的网络一般可以分为：

◆数据中心内部网络(Data Center Networks)

◆WAN网(即Wide Area Networks)

其中， 按照流量的方向，可将WAN网分为两张骨干网：

◆内网：数据中心之间互联的网络(Inter-DC WAN，类似Google B4)，用来连接互联网企业在地理上分布的多个数据中心。

◆外网：面向Internet用户访问的网络(Internet-Facing WAN)，用来提供面向用户的云服务，如搜索、视频、下载。

带宽的计费模式

互联网企业的外网(Internet-Facing WAN)需要向运营商支付高额的费用。

并且，随着云服务的蓬勃发展，Internet用户数量和流量的急剧增加，网络容量也从数年前的10G快速增长到1T，10T甚至更大。

在数据中心的成本中，外网的带宽费用越来越引起关注。其中，常见的外网计费模式有以下几个：

1.峰值计费：对数据中心出口的带宽周期(如5分钟)采样，按照一个月的最大带宽采样值进行计费。大多数数据中心都采用峰值计费的收费模式。

2.95计费：同样进行周期采样，去掉最大5%的采样点，按照剩下的最大带宽采样值进行计费。

3.日均峰值计费：同样进行周期采样，每天有一个带宽峰值，按照一个月内每天的带宽峰值的均值进行计费。

二、数据中心的外网流量特点

一个简单的峰值计费例子

峰值计费模式下，根据数据中心一个月的出口带宽峰值进行收费。

如下图所示，为某互联网公司数据中心的流量图，这个数据中心在第一天的夜里22点到达峰值，依据该点的带宽峰值进行计费。

很显然，在非峰值时刻，该数据中心可以(免费的)使用更多流量。

如下图的绿色部分，我们将数据中心能免费使用的流量称为该数据中心的空闲带宽。

在峰值计费的收费模式下，每个数据中心都有可观的空闲带宽，而这些带宽并没有被充分的利用起来。

特别的，某些特殊的日子会导致非常高的流量峰值，如京东618、双十一或某部热门剧集发布。

数据中心在这个月其它时间的带宽值都远远小于流量峰值，存在大量空闲带宽。

一个日均峰值计费例子

有些数据中心采用日均峰值计费的模式。

和峰值计费类似，日均峰值的数据中心也有大量空闲带宽没有被充分利用起来。

如下某互联网公司数据中心的流量图中，非当日峰值的时刻，这个数据中心的流量远小于当日的峰值，也存在非常可观的空闲带宽。