抖音服务器带宽有多大，为什么能够供那么多人同时刷？

大型网站，特别是视频网站都是分布式的云计算，就我前面做云计算的经验来说，至少他们他们需要在全国几大区域都有服务器群，例如北上广四川或者贵州都有云服务器，这个不仅仅是某个服务器的带宽来衡量了，而是整个机房的出口带宽，还有云集群的并发能力了。当然，还会配合OSS,CDN,SLB等诸多的技术，我估计目前有这样的服务器群级别的只有阿里云，当然他们已经发展这么大了，也有可能使用自己的云计算技术。今日头条还在国外很大布局，还有众多的海外服务器。要做到这样技术对接只有阿里云、AWS或者自主研发云技术能够解决。

这个问题我大概回答一下，由于我不太清楚字节跳动真正的网络是如何组网的，所以我只能告诉你大概的原理。参考其他大型互联网企业的组网，应该解决的方案是类似的

抖音并不是全国所有刷视频用户都在同一个地方的数据中心接入我们看视频的流量，如果是这样的话，那么这个数据数据中心所需的带宽就是过于巨大。一般来说，抖音在全国各地会建设几个比较大的数据中心，我们刷视频的请求是就近接入的。

比如张三在北京，那么他接入抖音APP，上传和浏览视频，就是在北京数据中心完成；李四在上海，那么他的上传视频和浏览视频就是在上海的数据中心完成。如果所有用户都接入同一个地方数据中心，毫无疑问对于这个数据中心的负载太大，这是不可能的。

各个数据中心的视频数据，通过专有的高速互联网络进行同步。也就是你上传的视频虽然是上传到上海的数据中心，北京的用户依然可以看到，就是可能要晚一点刷才看到。抖音需要把你在上海上传的视频数据通过高速网络传递到北京后，北京的用户才能看到。

一个数据中心包括多个运营商的出口，一般是会和三大运营商网络在本地对接，同时会和一些中小型运营商对接，例如广电。和运营商网络对接的目的为了接入运营商的用户，这也就意味着你是北京移动用户，那么刷出来抖音的视频将会从北京移动的网络接入抖音

如果发现某个区域的数据中心业务负载太重怎么办？例如湖南春节大量用户返乡，导致位于武汉的数据中心突然接入不了这么多湖南的用户了，这个时候抖音内部就会调整用户的接入路径，把一部分本来接到武汉的抖音用户接入到北京去（因为春节北京的人少了很多）

所以，这就是互联网公司网络的基本架构。全国存在多个数据中心，不同地方的用户刷视频其实是接入不同的数据中心，每个数据中心都会和三大运营商网络对接。

这种分布式的网络保证了抖音的业务不会都积压在一个数据中心，由全国各地抖音数据中心和运营商互联的带宽来保证用户刷视频可以正常浏览

那么位于不同位置的抖音的数据中心和三大运营商的互联带宽多大？只能讲肯定是T级别的，1T等于1000G，现在大型互联网公司和运营商对接的带宽普遍是1T、2T起步了，而且一般如果发展互联带宽负载超过了30%到50%，就需要扩容

很多人提到了CDN，CDN不能从根本上解决这个带宽问题，CDN只能从运营商网络路由层面上解决一定的拥塞问题。不论是腾讯、百度还是抖音、YY，解决游戏、视频大带宽的问题都是从数据中心网络基础架构解决，都是采用类似的技术，也就是DCN和DCI相关的技术

不在抖音，纯粹猜测，仅供参考

一 分布式服务器群

二 负载均衡等技术

三 CDN来做内容分发

四 算法推荐,使得带宽最大程度利用

总结来说，抖音，头条抗高并发，高流量的能力，确实让人佩服！

回答完毕谢谢！！

-------------------------------------------------------------------------

本人专注数据采集，数据处理，数据治理，后端服务，希望多多交流！！

这不难，用户发布视频后，视频立刻会被分发到省市区的节点服务器，即所谓的cdn，它有一套完整的内容刷新机制，

用户获取视频，都是从自己的节点获取，全国只要放1万个节点，就能满足大家不停的刷。

做这玩意的厂家很多。用cdn当关键词能搜出一堆，我就不做广告了。

回答大部分都提到了服务器集群，CDN等技术，这方面肯定是硬性要求，基本都是视频行业的标配了，抖音肯定也不例外。

但是我想大家忽略了一个问题，好好思考一下，刷抖音和你看视频有什么不同。看视频更多的是用户主动搜索，点击观看，而抖音就不一样了，全是算法推荐，提前给你准备好了，你自己是无法决定你的下一个视频是什么的。

因此，算法的不同意味着今日头条可以实时优化带宽，使得带宽最大程度利用，也可以对数据进行整理，可以优化的空间很大。

相比之下，应该是比传统视频行业要省些带宽的吧。

G口宽带，出口流量1G宽带，也就是我们说的千兆宽带。然后用云部署+均衡负载对全国进行部署，自动为用户选择距离最近的服务器，同时服务器分为数据库服务器、用户服务器、存储服务器等等。一般来说，阿里云会比较可靠，腾讯云那是竞争对手家里。

从技术的角度来看，这中间其实是有一个海量数据处理的技术问题，笔者在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。所以小编就简单给大家说一下，有不正之处欢迎大家留言指正！

使用海量数据处理技术的原因有以下几个方面：

一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。

二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。

三、要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

海量数据处理概述

所谓海量数据处理，就是数据量太大，无法在较短时间内迅速解决，无法一次性装入内存。本文在前人的基础上总结一下解决此类问题的办法。那么有什么解决办法呢? 时间复杂度方面，我们可以采用巧妙的算法搭配合适的数据结构，如Bloom filter/Hash/bit-map/堆/数据库或倒排索引/trie树。空间复杂度方面，分而治之/hash映射。

海量数据处理的基本方法总结起来分为以下几种：

1. 分而治之/hash映射 + hash统计 + 堆/快速/归并排序；
2. 双层桶划分；
3. Bloom filter/Bitmap；
4. Trie树/数据库/倒排索引；
5. 外排序；
6. 分布式处理之Hadoop/Mapreduce。

前提基础知识：

1 byte= 8 bit。

int整形一般为4

ytes 共32位bit。

2^32=4G。

1G=2^30=10.7亿。

1 分而治之+hash映射+快速/归并/堆排序

问题1

给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？

分析：50亿*64=320G大小空间。 算法思想1：hash 分解+ 分而治之 + 归并

1. 遍历文件a，对每个url根据某种hash规则求取hash(url)/1024，然后根据所取得的值将url分别存储到1024个小文件（a0~a1023）中。这样每个小文件的大约为300M。如果hash结果很集中使得某个文件ai过大，可以在对ai进行二级hash(ai0~ai1024)。
2. 这样url就被hash到1024个不同级别的目录中。然后可以分别比较文件，a0VSb0……a1023VSb1023。求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_map中。然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_map中，如果是，那么就是共同的url，存到文件里面就可以了。
3. 把1024个级别目录下相同的url合并起来。

问题2

有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。 解决思想1：hash分解+ 分而治之 +归并

1. 顺序读取10个文件a0~a9，按照hash(query)%10的结果将query写入到另外10个文件（记为 b0~b9）中。这样新生成的文件每个的大小大约也1G（假设hash函数是随机的）。
2. 找一台内存2G左右的机器，依次对用hash_map(query, query_count)来统计每个query出现的次数。利用快速/堆/归并排序按照出现次数进行排序。将排序好的query和对应的query_cout输出到文件中。这样得到了10个排好序的文件c0~c9。
   
3. 对这10个文件c0~c9进行归并排序（内排序与外排序相结合）。每次取c0~c9文件的m个数据放到内存中，进行10m个数据的归并，即使把归并好的数据存到d结果文件中。如果ci对应的m个数据全归并完了，再从ci余下的数据中取m个数据重新加载到内存中。直到所有ci文件的所有数据全部归并完成。 解决思想2： Trie树 如果query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。在这种假设前提下，我们就可以采用trie树/hash_map等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。

问题3：

有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。 类似问题：怎么在海量数据中找出重复次数最多的一个？

解决思想： hash分解+ 分而治之+归并

1. 顺序读文件中，对于每个词x，按照hash(x)/(1024*4)存到4096个小文件中。这样每个文件大概是250k左右。如果其中的有的文件超过了1M大小，还可以按照hash继续往下分，直到分解得到的小文件的大小都不超过1M。
2. 对每个小文件，统计每个文件中出现的词以及相应的频率（可以采用trie树/hash_map等），并取出出现频率最大的100个词（可以用含100个结点的最小堆），并把100词及相应的频率存入文件。这样又得到了4096个文件。
3. 下一步就是把这4096个文件进行归并的过程了。（类似与归并排序）

问题4

海量日志数据，提取出某日访问百度次数最多的那个IP 解决思想： hash分解+ 分而治之 + 归并

1. 把这一天访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有2^32个IP。同样可以采用hash映射的方法，比如模1024，把整个大文件映射为1024个小文件。
2. 再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。
3. 然后再在这1024组最大的IP中，找出那个频率最大的IP，即为所求。
4. 
   

问题5

海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。

解决思想： 分而治之 + 归并。 注意TOP10是取最大值或最小值。如果取频率TOP10，就应该先hash分解。

1. 在每台电脑上求出TOP10，采用包含10个元素的堆完成（TOP10小，用最大堆，TOP10大，用最小堆）。比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的元素就是TOP10大。
2. 求出每台电脑上的TOP10后，然后把这100台电脑上的TOP10组合起来，共1000个数据，再利用上面类似的方法求出TOP10就可以了。

问题6

在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。

解决思路1 ： hash 分解+ 分而治之 + 归并 2.5亿个int数据hash到1024个小文件中a0~a1023，如果某个小文件大小还大于内存，进行多级hash。每个小文件读进内存，找出只出现一次的数据，输出到b0~b1023。最后数据合并即可。

解决思路2 ： 2-Bitmap 如果内存够1GB的话，采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32*2bit=1GB内存。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是01的整数输出即可。 注意，如果是找出重复的数据，可以用1-bitmap。第一次bit位由0变1，第二次查询到相应bit位为1说明是重复数据，输出即可。

问题7

一共有N个机器，每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数中的中数？

解决思想1 ： hash分解 + 排序

1. 按照升序顺序把这些数字，hash划分为N个范围段。假设数据范围是2^32 的unsigned int 类型。理论上第一台机器应该存的范围为0~(2^32)/N，第i台机器存的范围是(2^32)*(i-1)/N~(2^32)*i/N。hash过程可以扫描每个机器上的N个数，把属于第一个区段的数放到第一个机器上，属于第二个区段的数放到第二个机器上，…，属于第N个区段的数放到第N个机器上。注意这个过程每个机器上存储的数应该是O(N)的。
2. 然后我们依次统计每个机器上数的个数，一次累加，直到找到第k个机器，在该机器上累加的数大于或等于（N^2）/2，而在第k-1个机器上的累加数小于（N^2）/2，并把这个数记为x。那么我们要找的中位数在第k个机器中，排在第（N^2）/2-x位。然后我们对第k个机器的数排序，并找出第（N^2）/2-x个数，即为所求的中位数的复杂度是O（N^2）的。

解决思想2： 分而治之 + 归并 先对每台机器上的数进行排序。排好序后，我们采用归并排序的思想，将这N个机器上的数归并起来得到最终的排序。找到第（N^2）/2个便是所求。复杂度是O（N^2 * lgN^2）的。

2 Trie树+红黑树+hash_map

这里Trie树木、红黑树或者hash_map可以认为是第一部分中分而治之算法的具体实现方法之一。

问题1

上千万或上亿数据（有重复），统计其中出现次数最多的钱N个数据。

解决思路： 红黑树 + 堆排序

1. 如果是上千万或上亿的int数据，现在的机器4G内存可以能存下。所以考虑采用hash_map/搜索二叉树/红黑树等来进行统计重复次数。
2. 然后取出前N个出现次数最多的数据，可以用包含N个元素的最小堆找出频率最大的N个数据。

问题2

1000万字符串，其中有些是重复的，需要把重复的全部去掉，保留没有重复的字符串。请怎么设计和实现？

解决思路：trie树。 这题用trie树比较合适，hash_map也应该能行。

问题3

一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，请给出思想，给出时间复杂度分析。

解决思路： trie树 + 堆排序 这题是考虑时间效率。 1. 用trie树统计每个词出现的次数，时间复杂度是O(n*len)（len表示单词的平准长度）。 2. 然后找出出现最频繁的前10个词，可以用堆来实现，前面的题中已经讲到了，时间复杂度是O(n*lg10)。 总的时间复杂度，是O(n*le)与O(n*lg10)中较大的哪一个。

问题4

搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录，这些查询串的重复读比较高，虽然总数是1千万，但是如果去除重复和，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就越热门。请你统计最热门的10个查询串，要求使用的内存不能超过1G。

解决思想 ： trie树 + 堆排序 采用trie树，关键字域存该查询串出现的次数，没有出现为0。最后用10个元素的最小推来对出现频率进行排序。

3 BitMap或者Bloom Filter

3.1 BitMap

BitMap说白了很easy，就是通过bit位为1或0来标识某个状态存不存在。可进行数据的快速查找，判重，删除，一般来说适合的处理数据范围小于8*2^32。否则内存超过4G，内存资源消耗有点多。

问题1

已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。

解决思路： bitmap 8位最多99 999 999，需要100M个bit位，不到12M的内存空间。我们把0-99 999 999的每个数字映射到一个Bit位上，所以只需要99M个Bit==12MBytes，这样，就用了小小的12M左右的内存表示了所有的8位数的电话

问题2

2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

解决思路：2bit map 或者两个bitmap。 将bit-map扩展一下，用2bit表示一个数即可，00表示未出现，01表示出现一次，10表示出现2次及以上，11可以暂时不用。 在遍历这些数的时候，如果对应位置的值是00，则将其置为01；如果是01，将其置为10；如果是10，则保持不变。需要内存大小是2^32/8*2=1G内存。 或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map，都是一样的道理。

那么处理海量数据有哪些经验和技巧呢，我把我所知道的罗列一下，以供大家参考：

一、选用优秀的数据库工具 现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，像好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。

二、编写优良的程序代码 处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。

三、对海量数据进行分区操作 对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。

四、建立广泛的索引 对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。

五、建立缓存机制当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。

六、加大虚拟内存 如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P4 2.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为 4096*6 + 1024 = 25600 M，解决了数据处理中的内存不足问题。

七、分批处理海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。

八、使用临时表和中间表数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。

九、优化查询SQL语句 在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。

十、使用文本格式进行处理对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择，是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。

十一、 定制强大的清洗规则和出错处理机制海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。

十二、 建立视图或者物化视图视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。

十三、 避免使用32位机子（极端情况） 目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。

十四、考虑操作系统问题 海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。

十五、使用数据仓库和多维数据库存储 数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。

十六、使用采样数据，进行数据挖掘 基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户可以接受。

还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。

海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。

写在最后,欢迎大家关注我们的头条号(搜课)一个可以免费学技术的地方!

搜课 ~ 搜罗天下好课!

头条抖音包括我们用的大部分app都需要用CDN来做内容分发，抖音这个量有十几个T

抖音不过因CDN的面世受益，加了一些算法优化、抖音主要都是上行固定的视频数据，每个区域节点都缓存了大量视频数据，真正最牛的是腾讯，微信， 他们后台数据的处理能力才是真的牛，视频处理，实时消息处理，金融数据处理都是极致的。你可能还对微信的功能不太满足，微信的真正实力就是因为他的后台数据处理好，经验丰富、其它新生公司还是望尘莫及！

最新数据显示，抖音在的日均视频播放量超过10亿次，日均活跃用户数超过1.5亿，月度活跃用户数超过5亿。

视频上传需要存储，并进行合规性检查；视频播放需要编解码，这需要消耗大量的计算资源；用户体验需要恰当的推荐系统与CDN……等等，这些都对抖音背后的IT系统带来了前所未有的挑战。

这也使得其原有的数据中心租赁模式彻底不可行，必须自建数据中心，且速度要快。字节跳动在怀来拥有了第一个属于自己的数据中心，一系列新技术的采用让这个数据中心拥有多项头衔：国内首个大规模分布式全预制、国内首个大平层预制框架结构、国内首个整体电源模块预制、国内首个间接蒸发自然冷却模块、国内首个计算模块一体化预制。

字节跳动首个已经交付使用的数据中心坐落在怀来官厅湖新媒体产业园。怀来是新能源输出大县，70%以上的电能都是水力发电、风能发电和太阳能发电产生的清洁能源，但这之中有50%的清洁能源无法上网，低廉的电价对于数据中心这种耗电大户而言，具有莫大的吸引力。

而且，怀来年均气温只有6.5度，空气质量也好，利用新风散热有助于降低数据中心的PUE值，有效降低数据中心的运营成本。高效应用自然冷却技术，也是官厅湖新媒体产业基地的一大特点，也是首个规模使用间接新风制冷技术的数据中心产业基地。

字节跳动采用了一系列新锐技术，如大规模分布式全预制、整体电源模块预制、间接蒸发自然冷却模块、计算模块一体化预制等等技术。

字节跳动数据中心采用大量预制和模块化产品，体现了数据中心高度模块化的未来发展趋势。钢平台底座、变压器、配电柜、UPS设备均采用在原厂设计、安装和调试在20天内分批交付，二次系统连接、监控系统集成和电源模块测试可以在7天内完成，由40尺集装箱整体运输到现场，施工现场只需连接电缆，拼装调试即可交付使用，这个过程需要十天左右。这一系列的细节时间控制，让字节跳动数据中心刷新了国内数据中心建设交付的最短时间记录。

数据驱动基础设施创新

大多数人对“今日头条”的印象似乎都是一家泛媒体平台，但字节跳动则认为自己是一家AI（即人工智能）公司，因为不管是今日头条也好，抖音也好，字节跳动很少自己生产内容，而是鼓励用户进行创作，并把用户创作的内容推荐给最适宜的用户群体。

所以字节跳动最核心的系统实际包括头条推荐系统与广告系统、评论系统，以及内容合规性审核系统，这背后实际上就是AI技术在不同领域或场景的应用。

比如在在推荐系统里面最核心的就是内容推荐算法。用AI去做推荐，是字节跳动重要战略，目前也是应用最广的技术，不管是今日头条还是抖音等产品，AI都在里面发挥着重要作用。使用AI进行推荐，需要大量的数据进行训练才能达到更好的效果，据介绍，仅今日头条一款产品30天的训练模型，其数据量就会超过4PB，而正常训练一个完整的模型则需要至少一年的数据量。而在视频的合规性审核方面，字节跳动不但使用计算机视觉技术对视频图像进行分析，同时利用语音识别技术对音频进行合规性分析。而这些技术的大规模应用会对系统的基础设施带来极大的挑战，比如计算能力、网络带宽以及存储性能等等。

随着字节跳动数据中心规模的扩大，服务器数量的高速增长，为了最大化资源利用率，字节跳动与Intel公司成立了创新实验室，全部采用Intel最新的可扩展处理器平台，并根据不同应用场景对软件堆栈进行深层次优化。据介绍，成果非常显著，能够实现大约30%的能力提升，更好的资源利用率意味着更好的购置成本和运营成本节省。

并且，不管是推荐系统，还是审核系统，其每天都会处理海量的数据，这对底层存储系统的性能有着苛刻的需求，SSD已经成为字节跳动的必然选择。但并不是说使用SSD就能直接解决问题，尤其NVMe SSD使用，通常会给计算、网络系统带来直接的压力，将原本存储的性能瓶颈转移到计算或者网络。

为了提升整体系统的综合性能表现，还需要站在更高层次对各个子系统进行系统性优化，比如在与Intel的合作中，双方共同针对人工智能、Cascade Lake，最新64层Nand存储技术，高速网络的产品以及FPGA在不同系统中应用进行了探索，并与DPDK、SPDK、BigData以及OS kernel等软件层的优化相结合，取得了极大的进展，获得了极为显著的成功。

字节跳动所取得的辉煌成绩不仅意味着中国互联网市场的巨大潜力，同时也意味着中国数据中心技术的飞速发展正逐步接近国际领先水平。