运营
首页  >  运营

ODCC天蝎整机柜服务器项目经理肖德芳解读天蝎2.5技术规格

2015-11-06  来源:中国信息产业网  作者:

CNII网讯 11月5日,2015开放数据中心峰会在北京国家会议中心举行。本届峰会由开放数据中心委员会(ODCC)主办,阿里巴巴、百度、腾讯、中国电信、中国移动、中国信息通信研究院、英特尔等单位承办,是国内在数据中心领域的一大行业盛会。会议由上午的主论坛和下午的五个分论坛构成,分论坛的主题分别为天蝎整机柜、新型服务器、模块数据中心、数据中心网络、行业数据中心技术发展与运维。ODCC天蝎整机柜服务器项目经理、阿里巴巴高级专家肖德芳出席会议并发表题为“解读天蝎2.5技术规格”的演讲以下是演讲内容实录。

ODCC天蝎整机柜服务器项目经理、阿里巴巴高级专家肖德芳

肖德芳:各位朋友,各位嘉宾,大家下午好。我是来自于阿里巴巴的肖德芳,上午应该说大家听到了很多分享,前面很多专家介绍了很多干货,接下来对我们天蝎2.5做一个讲解。

现在应该说这个时代对我们很好,有很多新的东西。我们现在讲到云计算、大数据,像这些都是很早提出的概念,现在才是真正的风风火火的时代,正好被我们赶紧上面。像新兴的O2O或者人工智能,这些新的领域或者是新的东西的发生,对我们互联网或者IT的基础设施都有一些不一样的要求。像大数据,现在云计算已经上升到很高的高度,李克强总理提到,大数据是生产力,高度一下拔高了挺多。我们老板在阿里巴巴这边提出一个做数据技术的DT时代,我们传统说的IT信息技术给我们带来很大的变化,现在进入DT时代,又会给我们带来什么东西,其实我们已经感受到互联网技术、大数据技术已经在方方面面真真正正的改变了我们的生活。作为底层一些基础设施,是不是还是跟原来的一样呢,是不是我们有什么变化。我们现在,我们回想业界一个同行,我们知道谷歌,尽管他公开的信息比较少,他一直把他的数据中心、基础设施当做他的核心竞争力,公开的信息比较少。我们也知道他应该在2005年或者2004年那个时候,他们就已经在比较大量的使用整机柜的服务器。像Facebook他还在2011年推出整机柜服务器。像亚马逊或者微软,虽然说没有很多公开的信息,但是知道他们对基础设施或者服务器都在做一些自己的改变。以前我们说IT时代,提供很多通用的解决方案,我们现在说通用服务器,因为要照顾考虑到各方面的需求,很多的时间功能或者设计,考虑得非常周全,可能有些地方我们用户买了设备以后实际上是用不着的,可能只用到某一部分的功能。现在很多变化,我们自己会不会有改变,因为从我们实际的一些直接的需求出发。我记得以前我们在谈服务器,大概五年前或者十年前,我们能买个服务器,几百台上千台就是很大的规模了,现在基本上像BAT这样的公司,一年一次招标可能都是数万台甚至数十万台的规模,量一下非常大。如果我们买了很多用不着的功能,对我们来说是很大的浪费。同时我们现在说节能减排,就是能耗,数据中心的服务器是能耗大户,我大概估算了一下,假设10万台服务器,按照传统的,一般说一台服务器300w,一天可能就是100多万度电。我们对成本也是非常关注,希望还是能做点事情做点改变。我们的服务器是定制服务器,我们把天蝎引入四年多,当时也是谈定制,定制意味着什么,就是个性化不能规模化,就会带来一些问题,可能我们生态链或者部件不是通用的。现在我们做的事情,是能去营造一个新的生态,很多伙伴能够加入进来,把我们定制的需求做成一个标准化,这种定制到标准的过程。

总结一下,我们在现在这个格局下,对这些基础设施的要求,我们希望能够是低的成本去实现,能够非常简单,同时要可靠。在这些要素下,我们要性能不打折扣、稳定不打折扣,这个前提下做事情,能带来一些好处。有这样一些背景或者行业的情况,我们有机会来做这么一个东西。2011年的11月份,我们BAT几家,应该说BAT从2010年开始就在研究或者说在探索主机柜的服务器。当时碰到很多问题,很多周折,但有幸我们BAT几家公司能够凑在一起,在英特尔的支持下一拍即合,联合起来搞这么一个天蝎整机柜服务器。当中有很多坎坷,现在看来,有的很成功,经历很多,不能说很成功,只能说现在已经有了一个起步,我们从试点开始真正有一个规模在应用。我们当时有一个规划,从天蝎1.0、2.0、3.0,我们一开始就做了很多讨论,一个路线图的过程。我们基于一些考虑,发布1.0,严格来讲,我们还不能称之为一个标准,考虑先把这个东西做出来,先有个架构,这个东西大致是这么回事,大家做出来像个样,实际上那个时候我们很多合作伙伴,因为确实是个新生的东西,有的伙伴很积极,有的伙伴有些自己的思考,可能会再观望一下。我们那时候的考虑也不是很全,所以那时候做出来的东西还是形式,实际上还是各式各样,基本上一家一个样。这个时候的生态,我个人觉得谈不上什么生态。那时候当然是先做一个试点,我们自己先用起来,让大家能感受到整机柜服务器这么个东西确实是能实实在在用的,能验证我们原来预期的好处可以达到。1.0在实施部署的时候我们已经在规划,时间周期很短,当时有很多供应商给我们抱怨,说你们刚刚搞了1.0,马上搞2.0。2.0开始我们会做一些更详细的东西,那个时候我们可以勉勉强强算一个技术规范了,我们对整机柜这几大模块和各模块的接口,一些接口连接等等做了一些定义。严格上讲,我们慢慢实现机柜和服务器节点能够真正解耦,不要耦合那么紧,一个机柜跟服务器搞成那么紧密,这种很紧密的方式在我们实际应用当中是碰到一些问题的。当时叫2.0,后面我们演进,我们称2.X,包括待会讲的2.5,是一脉相承的,不会有大的变化。今年开始正式提出3.0,大家看了也会觉得很惊讶,告诉大家我们是规划,这个看得比较远一点,我们的3.0估计会在2017年才会有产品出来。现在我们做很多调研或者很多测试,有一个脉络告诉大家,这个是在不断演进的,我们会一直走下去。

简单讲一下整机柜服务器架构,传统服务器看到刀片等服务其,对一些整个应该说机构散热,这些东西可能关心的人不是那么多。但是我们在这里,基于这些基础上,在这些方面去做了一些改变,把传统的比如整个机构做变化,把散热、供电抽出来,不是一台服务器为单位,是以一个机柜为单位。整机柜服务器,一共由六大模块组成,一个是我们机架,每个模块我们可能都有非常专业的合作伙伴来为我们提供一些产品化或者设计。这六大模块,相对是解耦的,通过一些我们定义的标准规范能够耦合起来。一个是机构,另外一个是供电,还有散热,网络,服务器的节点,第六个模块是整个机柜的管理模块,相当于是整个服务器以前的Rack机架就是一个铁盒子,我们现在相当于把这个铁盒子赋予了智能。中间这个图,后面还有一张图讲到里面的通信枢纽,在机柜里面还有一个背板,我们称为RBP,是我们通信的枢纽,会把我们的大脑,我们的散热、供电还有我们真正的服务器单节点能够去通信能够管理起来的。这个是我们的管理架构,这是RMC,我们通过背板会连接服务器,比如每个托盘还有一个小背板,可能现在大家看到我们的产品一个U里面可能有一台服务器的,有两台服务器,但是我们设计的时候,当时考虑的时候已经考虑到支持了,三台服务器,在这个基础上还可以扩展。散热也是通过这个来管理。我们对供电,供电我们原来是整个PSU,今天在2.5里面我们会重点加入BBU,后面会技术化一点,讲一下各代演变主要的特征。1.0,那个时候基本上前面讲的六大模块的思路,先做起来,基本上是复用很多现有标准的技术,那个时候我们是求快,尽快把这个产品落地,我们定1.0是架构,先定形态,实际使用当中再去优化,搞清楚,2.0当中再去做变化。详细的标准的东西,机柜规格,还有高度,1U的高度,加了2mm,配合整个系统。这是2.0的这些特征。在2.5,是在2.0基础上的加强,我们今天有三方面的改进,一个是BBU系统、BBS系统,另外还有一点,我们说节点混插,节点框架解耦,不同厂商的节点与Rack混插交换工作。我们对管理的一些连接,除了前面的物理连接之外和功能,我们对电气端对端的要求,通信协议,以及我们对RMC、BMC的通信命令都做了详细的定义,这样做出来的东西可能可以通用。决策成员单位自己先去设计一套类似于参考设计的方案出来,供合作伙伴真正在研发时参考,这样更具有落地的操作性。管理上面的IPMI,我们现在在2.5可以全面兼容CLI,可管理RMC、RBP、PSU、FAN等。

天蝎3.0,一个是内部的资源池化,在服务器里面,我们分阶段,比如内存、计算、存储,资源池化,机柜之间会有高速互联,另外和数据中心层面可能会做一些向外的融合,比如是不是微模块,做一些更多的融合。电池在2.5现在就开始已经在做。这是几个技术规范的文档,在我们网站上可以很快去下载。天蝎2.5的亮点,机柜级电池UPS,上午有个嘉宾讲到,好像是施耐德,他说的很直接,可能会没饭吃,可能他们也要做一些改变。

现在说节能或者耗电,我们可以看一下这三个路径,现在的方式,传统双数的UPS,当中有很多能量的损耗,传统的方式我们的效率大概有76%,但我们现在做一些改变,现在有一些通过高压直流或者一路市电直供,对电源的效应做一个提升。我们现在2.5当中,我们是直接把这些东西省掉了,把UPS也省掉了把高压直流也省掉了,我们这边是放在机柜里面去。我们只要通过一道转化,可以把电源的使用效率提升到近似。这是列举了一下传统UPS和BBS的差异。在BBS的设计上是模块化的,有一个东西坏掉的话还可以进行在线的维护更换。这张图简单说明了一下我们整机柜服务器整个供电的架构,两路供电,也可以考虑单路供电的,我们看到整个机架的PSU模块。可靠性非常高,坏掉一两个基本上没事。在2.5的架构当中加了一个电池后备系统,BBS直接放在Busbar上面,实现机柜级不间断供电。这是我们现在做的,有几个特征,为了跟原有结构兼容,我们把我们现在BBS框的结构设计跟原来的结构设计相兼容,现在考虑是跟原来服务器的空间是可以共享的空间,现在把BBS大概做成两个U或者一个U,那就占用一台服务器的空间或者两台服务器的空间就可以了。如果我们要采用扩展的话,还可以在BBS模块之间,可以通过串联的方式进行扩展。

我们目前考虑是两种支持的方式,这是我们实现的机理,一个是AC掉电了,我们有硬件的掉电信号直接输入到BBS,BBS大概在10毫秒的级别能够接管过来。另外一个模式,我们会监测Busbar的电压情况。

这个是几个指标,有一个重要的特征,我们现在采用BBS系统以后,IDC的测试可以变得更简单。在这个文档当中也会有更详细的内容。

后面有几张图片,这些是我们使用的机房的照片。我的分享就到这里,谢谢大家。

关键词:开放数据中心