Facebook的俄勒冈机房

作者: 阮一峰

日期: 2011年4月18日

腾讯课堂 NEXT 学院

两周前,Facebook宣布了一个Open Compute项目,彻底公开机房和服务器设计。

这件事的背景是,Facebook最近在俄勒冈州的普林维尔(Prineville),建成了一个世界上最先进的节能机房,号称能效提高38%,建造成本降低24%。

根据Facebook公布的资料,以及Robert Scoble的参观记,这个机房有很多有意思的地方。

1.

机房坐落在一片荒原上,距离普林维尔市区大概半个小时车程。这里气候干燥,气温适中(夏季最高温度40度),有利于节能。

2.

机房外部有很多小型的太阳能电板,主要用来为一些附属建筑供电。

3.

整个机房规模很大,长度大概相当于三个沃尔玛超市。

4.

机房的全景。

5.

机房的正门。

6.

进门后,有一些当地的历史介绍。

7.

接待室。

8.

墙上的液晶显示屏,实时显示各部分的温度和湿度。

9.

机房的节能设计,主要体现在三个方面:不使用空调(自然风冷却),简化的供电设计,低耗电的服务器设计。

10.

上图是机房空气循环系统的设计示意图。从图中可见,外部空气进入机房,一共要经过三道冷却步骤。

11.

第一道步骤,是大量铜管组成的热交换器,使得空气热量尽快散发。

12.

走近一点看铜管。

13.

第二道步骤,是使用风扇墙为空气降温。

14.

风扇墙的侧面照。

15.

除了大型风扇,还装有许多小型风扇。

16.

小型风扇的细部。

17.

第三道步骤是喷雾,喷出细小的水珠为空气降温。

18.

走近看喷雾墙。

19.

喷嘴的特写。

20.

完成这三道步骤之后,热空气就变成了冷空气,可以输入机房降温了。整个机房大厅,分为左右两半。

21.

服务器柜都装上了蓝色Led灯。

22.

服务器柜之间的走道。

23.

服务器柜中间的那个蓝色柜子,是48V的不间断电源UPS。

24.

每个柜子放30台服务器,每三个柜子为一组,即每组90台服务器。

25.

服务器机箱是Facebook自行设计的,比普通机箱大,不含螺丝和尖角,很容易更换里面的元件。

26.

使用两种主板,一种是两颗AMD Opteron 6100 CPU,外加24根内存插槽。

27.

另一种是两颗Intel Xeon 5500(或5600)CPU,外加18根内存插槽。除了必需的元件以外,主板的其他部分都做到最简,减少成本和能耗。

28.

机箱电源是一个450W的交直流转换器,输出12.5V的直流电。

29.

机房的工作间。

30.

另一间工作间。

31.

杂物间。

32.

机房大厅外的走廊。

33.

吃饭的地方。

34.

供员工放松的电子游戏间。

(完)

留言(49条)

每次阮哥的图片总是那么详细。哪里弄的呀。55

感觉有点监狱的味道。。。原来运行一个超大型的网站需要这么多服务器呀!!!

看上去很不错,不过基于排风的方案会不会有很多灰尘,不知道喷水的部分是不是也有防尘这个目的

开眼界了。

确实不错!机房真整洁。

我突然想:把机房建在江河湖泊里会不会更节能 有谁已经尝试过了吗

我们的信息就在那里么

黑客帝国啊

好整洁 很有规划

真气派

很喜欢游戏间

很符合国外机房的建设方式.

GOOGLE的信息中心一般都是依水而建,便于降温

经过这三部降温后,能耗恐怕比空调低不了多少了吧

其实没啥难做的。宣传罢了。以前google在吹嘘,现在论到facebook了,曾经的大哥yahoo倒是没吹过。其他几大网站呢?想想,有谁?mcrosoft?不够格。

当地的夏季平均气温和最高气温是多少?

风扇好容易沾灰尘呀 多了咋清理呢?

由open看出到的是facebook对自己技术的自信。

的确, 怎么解决灰尘的问题? 像普通的台式机机用两年灰尘都足以遮挡显卡和cpu散热片空隙了, 这种开放环境吹风的不是更容易出现这样的问题吗?

11的图右侧似乎是过滤网

喷雾之后,空气中湿度很大,在给机房送风之前用什么工艺去除掉呢?

不知道和google的比谁更先进?

这么多设备不断工作才成就了这个机房 会不会比直接空调制冷更耗能?

因为也是正在建机房,虽然够不上三个沃尔玛,也顶的上一个了。

原来这个facebook的机房都只是用两种主机,而且是自定义的,当然可以做成这样的。

如果要求其随便什么主机都能放进去,看他能做成怎么样?

不过的确是希望服务器都用48v直流供电,可以在ups方面节约很多投资,从节能减排和长远投资方面看,48v直流系统必定比380/220v交流系统要好得多。

只能在照片里怀念蓝的这么纯净的天空了

机房跟《异次元骇客》里的一样~

貌似顺序弄错了,第一道工序是外面的冷空气和部分的机房排除的热空气混合,喷雾冷却是第二道工序,然后才经过风扇墙。
使用水冷的数据中心也是有的,

@DZ, 不去湿,主板和CPU测试过了,可以在60%的湿度环境下正常工作;

@makefool@163.com, 48V是UPS的电源,实际接的应该是440V的交流电直接到机箱的变压器。

请问这个从哪儿来的啊? 我对他们怎么做到将这么多服务器集群化管理更有兴趣,不知道是否有这方面的内容? 3q~

24.应该是两个机柜加一个UPS柜,所以每组60台服务器。

大气!
自信!

这机房真不错,去了几个电信机房,都没见几个这么漂亮的

马克·扎克伯格的步步成长让人敬佩啊 本人对互联网络也蛮感兴趣

没想到要用这么多服务器呀!

这些机房散热应该大部分靠蒸发冷却,这种技术要求当地湿度要低,估计这也是建在沙漠的原因,就是不知道这水的问题怎么解决。
一般的空调制冷压缩机能耗占大头,这些风扇什么的耗电跟压缩机比起来只算零头了。

引用横箫斜吹雨的发言:

风扇好容易沾灰尘呀 多了咋清理呢?

水墙不能搞定灰尘吗?

好羡慕人家的工作环境 真想去fb工作

引用wzz的发言:

我突然想:把机房建在江河湖泊里会不会更节能 有谁已经尝试过了吗

福岛核电站啊,日本已经尝试过了。

弄错了吧,
第一道程序是喷雾冷却啊。
看图就知道了。
怎么可能是第三道。。。
那样水分太多,对机房影响不好吧

我想知道 那个水分过多会不会 加快服务器的老化;哦

就是说这么多服务器只有100个人一班来维护?因为餐厅只有36个座位

中国近百年不会出现如此高效的机房!

规模比它大的不少,但是其电能的利用率简直不堪!

中国的绝大多数机房都是:在绝对封闭的空间用空调降低温度。我曾经遇到过一个案子:空调失效服务器宕机,管理员去查看时,就被机房内的热浪把门冲开,把人打翻到地上,挫伤不是最严重的,而是一度烧伤。当然服务器的损失更大!!


我现在认为什么标准、什么规范在中国都是扯淡!好的机房就是:在保证防尘的情况下,让机房温度与室外温度能保持一致就是好机房!!!

我国正处于发展阶段,对于数据中心机房的功耗定义暂停留在以高效为主,尽量实现节能减排。所以虽然中国国力、人力资源虽都较强,但仍没有类似于此类机房的实际案例。毕竟国人做机房的短期计划仍是以高功效为主的。
中国不是不能实现此类机房,而客观条件是不具备建设此类机房的前决条件,如资金、广众的接受能力等。
所以说,中国不是不能做,是目前阶段不具备实际条件而已。

从示意图看,也不知道是不是官方给的示意图 ,用google 翻译了下上面的英文注解, 和本文介绍的冷却顺序不一样 ,很奇怪

有点心动。
想把我们单位的机房也改改……这需要调查……

我一直在想,这么多机器,现在计算机发展速度又这么快,更新换代起来得有多少浪费啊!

引用wzz的发言:

我突然想:把机房建在江河湖泊里会不会更节能 有谁已经尝试过了吗

有啊,Google有海上数据中心,可以去查查

引用wzz的发言:

我突然想:把机房建在江河湖泊里会不会更节能 有谁已经尝试过了吗

建在河里空气湿度很大的,不怕零件损坏么,还要浪费更多资源来控制适度....

感觉很爽啊!

不知道百度的机房长什么样子

很简单的东西 做大了就给人感觉不同了
但是还是要说说作者的 物理差 空气处理的顺序都错了

外来空气 过栅栏 过水墙 过风扇墙 进机房 从房子上面出去

后来的读者也基本没发现作者的错误 呵呵~~
铜管的作用说明有很强的不和谐感,肯定有问题,不是那么个意思。

我要发表看法

«-必填

«-必填,不公开

«-我信任你,不会填写广告链接