第三百零三章 云计算竞争
“去IOE”这个说法,
是在王坚博士加盟百度研究院、原“大中台”事业群改组为易趣云。
隋波提出了公司系统平台的“自主研发”道路和“云计算”战略之后。
在去年初的长城会议上,正式确定的。
星河系旗下的电商、搜索、社交业务,都是平台级的应用。
随着业务发展,
无论是海量暴增的数据,还是大规模高并发的互联网行为、对计算能力的巨大需求……
现有的传统服务器架构和集中式Oracle数据库架构,已经越来越不适应业务扩展的需要。
不仅成本高,维护费用高。
甚至可能会导致,系统被主机和硬件厂商所“绑架”,不得不持续增加投入成本。
而随着星河系的盘子越来越大。
所需要付出的升级硬件和维护的代价,也会越来越惊人……
在这两年易趣618大促、淘宝双11促销活动,电商业务量暴增;百度全球化扩张步伐导致的数据存储和检索量激增;易迅在社交和游戏业务上的快速增长等情况下……
“去IOE”,就更加变得势在必行了!
所谓“去IOE”。
其核心是低成本、线性可控、去中心化(分布式):
“PCSever替代IBM小型机;MySQL+自研数据库替代Oracle;去EMC,用中低端存储”。
简单来说,
传统的IOE代表的是集中式架构,而“去IOE”,就是推动分布式架构代替集中式架构。
其实质,与“云计算”战略是紧密相连的。
在今天的合伙人会议上,
王坚博士第一次向所有合伙人,详细阐述了目前“去IOE”和云计算的进度。
“像我们星河集团这样大规模的互联网应用,采用开源、开放的系统架构,这其实并不是什么新的发明。
国外的Google、亚马逊这些公司,都是采用的类似系统架构。
只不过,它们几乎一开始就没有采用IT商业公司的架构,所以他们不用“去IOE”。
而我们在前期,由于没有足够的技术实力来开发自有系统。
为了系统的稳定性和高性能的运算存储,采用了高端的IT商业公司架构。
现在基于集团业务发展的需要,同时也积聚了一定的技术实力。
是时机可以开展自主研发了。”
王坚显得颇有感触:
“当然,在这个过程中,困难是非常大的……
多亏了波总、庞总的支持,和所有团队的认同和协作。
如果没有技术、产品和业务等各团队的相互协同,这是一件不可能的事!”
根据他的介绍,去IOE的困难,主要是技术层面的……
比如,“去I”,技术架构是关键:
小型机作为IT系统的主要计算设备承载了大部分的业务,但从扩展性、性价比、核心能力掌控等角度而言,不适宜集团目前业务发展。
而X86单个CPU处理能力一直在提升,应用了分布架构和云计算技术,可以用一个数据中心去替代某一台大机。
不过,应用采用分布式架构,提升处理能力,必须对应用代码进行改造。
所以,应用层可以直接替换成廉价的X86服务器,难点在涉及到部分代码重构;
数据层(易趣)也可以采用X86服务器或者是数据库云平台,分析型业务(百度)则主要迁移到大数据平台。
“去E”的主要难点,仅限于技术架构,对应用基本无影响。
但同时,“去E”也需要在存储性能、可靠性和容灾方面考虑对策。
实际上,“去I”和“去E”,在技术上难度和复杂程度都不算太大……
“去IOE”真正的难点和重点,
是“去O”!
因为数据库非常难被替换。
它处在整个产品或者产业链最底层的位置,替换风险很大,但收益相比起来却小得多。
这也是为什么像IBM、微软这样的后来者,也无法取代Oracle。
而对于星河集团而言,“去O”的主要难点在于:
传统关系数据库都是通过外部硬件来保证可用性,在用便宜的PC机替换高端服务器之后,硬件更容易出故障了,如何保证数据库高可用?
高可用和数据一致性如何同时保证?
分布式系统怎么同时实现CAP的要求?(CAP指:一致性(Consistency,C)、可用性(Availability,A)、分区容错性(PartitionTolerance,P))
几十年来,这么多做数据库的厂商,国内国外基本没有人成功过……
而且从公司的业务发展的角度,也不可能等你几年把数据库做出来,再去发展业务。
更可行的做法,是先基于开源做出一些东西,让业务先往前走。
所以,目前王坚为首的技术团队,采用的是数据切分(sharding)的策略。
将部分海量数据应用,先从集中式Oracle切换到分布式MySQL集群,从纵向扩展到水平扩展,解决了数据库扩展性的问题。
同时,目前百度研究院正在研发自有的分布式关系数据库——OceanBase。
这里不得不提到一个人,阳振坤博士。
这也是一位“超级大牛”:
84级帝大数学系,硕士师从本系的张恭庆院士,后又转向计算机领域,博士师从计算机系的王选院士。
大学只用了3年,硕士1年多,24岁成为王选院士博士……
95年其所在团队研究成果获国家科技进步一等奖(排名第四),1997年,32岁被破格晋升为教授、99年成为帝大首批“长江学者奖励计划”特聘教授。
他是跟随王坚博士,从微软亚洲研究院“跳槽”,来到百度研究院的十几名科学家之一。
目前担任百度研究院系统数据库项目组组长、高级技术专家(P9)。
阳振坤博士一直都是研究分布式技术和分布式系统的。
他十分看好云计算系统的发展机会,在加入百度研究院后,就主动请缨,开始担纲支持分布式关系数据库OceanBase的研发。
而王坚对于他的研发项目,也非常支持。
认为OceanBase数据库,将会是未来星河云计算战略中,最重要的一环!
隋波听到这里,也不禁有些庆幸。
正是他提前请来了王坚博士,并且全力支持“云计算”战略。
才能有这么多前世的技术大牛,汇集到星河旗下,并且能够提前发挥出巨大的作用……
最后,王坚博士也向大家汇报了目前集团“去IOE”计划的工作进度:
易趣商品库已在去年6月,完成去“I”,计划于今年年中,完成去“OE”;
百度搜索数据库,将在今年3月完成去“I”,10月完成去“OE”;
易迅社交及游戏数据库,将于今年年10月,一次性完成“去IOE”;
目前集团数据量最大的易趣交易库、现金流结算系统;易付宝交易系统和账户系统,则预计要到明年底,才能完成去“IOE”。
之所以各公司的进度不同,主要也是因为不同业务对系统的需求不同。
比如,
易迅是即时通讯和社交、游戏业务,注重实时和可靠的在线服务。
服务要“永不中断”,对系统的要求是健壮、容灾、负载能力强;
百度是搜索业务,注重分布式计算能力。
对系统的要求上,不论是扒取海量内容还是响应并发请求都需要高效迅速;
而易趣是电商业务,最重视的是并发事务的处理,对事务状态的控制、交易安全的控制……
尽管平台系统复杂,技术开发难度大。
但王坚博士依然称:
“预计到2008年,集团所有业务,都将完成去IOE!”
隋波第一个用力的鼓起掌来!
他心中兴奋莫名。
虽然“去IOE”,只是星河集团自研系统,迈出的第一步。
但这一步,却是最关键的!
因为它实现了星河系在技术领域,“自主”的开始。
从此之后,
星河系就可以脱离IBM、Oracle等国外硬件巨头的“控制”,拥有更多的话语权……
而且,“去IOE”还是云计算战略,实现的前提和基础。
“去IOE“的本质是分布化,让随处可以买到的CommodityPC架构成为可能,这就是使云计算能够落地的首要条件。
超大规模的数据中心建设、高速互联网络、计算资源虚拟化(Hypervisor)和软件定义网络(SDN)技术的发展和成熟,是构成云计算发展的技术条件。
现在已经是2006年了。
就在今年3月,亚马逊AWS将会发布S3存储服务、SQS消息队列及EC2虚拟机服务。
这将是现代云计算时代开启的标志!
在前世,亚马逊在云计算的先发优势,是其成为未来的全球云计算服务市场第一的关键。
阿里前世要到09年才成立阿里云……,起步晚了很多。
而从全球市场来看,
2008年也是真正的云计算元年。
2008年,Google推出GAE(GoogleAppEngine)云服务;
2009年,微软推出Azure云服务;
随后,IBM、VMWare、AT&T等巨头都陆续入局,推出了各自的云服务。
如果星河集团能够在08年,就完全实现“去IOE”。
也就是说,
到那时,星河也可以推出自己的云服务了!
虽然早期的云服务,由于技术和网络的原因,还不太稳定,产品服务还比较单薄。
但是这个时候,大家都差不多。
可以先推出免费服务,然后不断的进行技术积累和改进。
等到云计算进入爆发期和大发展的阶段……
以星河系庞大的业务生态,数据中心的分布规模。
能够一较高下的,估计也就是亚马逊和微软两家了!
这可是一个千亿美元的巨大市场啊……
而且,在巨头之间的竞争中,
云服务还有一个非常重要的战略作用:
巩固生态和高建护城河!
对于巨头而言,云服务是巩固生态、连接合作伙伴的重要利器。
因为对于企业客户而言,一旦使用了某家的企业服务,就意味着将企业重要的运营数据放在该平台上,因此很可能会与这家公司深度绑定在一起。
换言之,
巨头们可以能够通过服务自己生态体系中的上下游企业,巩固自己的原有业务和生态帝国。
此外,云计算的价值,还远远不止在商业层面。
未来,当人口红利期结束,消费互联网进入到瓶颈时……
TOB端业务,就是所有巨头竞争的主要领域。
而B端的产业互联网,核心就是云服务!
政府采购、智慧城市、物联网……
到那时,巨头们将会转型“新基建”。
5G网络、工业互联网、物联网等网络基础、人工智能等运算基础,都将成为必要而普遍的新型基础设施。
而云计算和云服务将是其中重要的基础服务之一。
可以说,这将是星河系未来二十年,能够始终屹立于巨头行列的真正根基所在啊!
隋波这时看着王坚和庞勇这两个“云计算”战略的负责人,
感觉就像看两个金娃娃。
………………
请记住本书首发域名:。笔趣阁手机版更新最快网址:
请收藏本站:https://www.dd19.cc。顶点小说手机版:https://m.dd19.cc
是在王坚博士加盟百度研究院、原“大中台”事业群改组为易趣云。
隋波提出了公司系统平台的“自主研发”道路和“云计算”战略之后。
在去年初的长城会议上,正式确定的。
星河系旗下的电商、搜索、社交业务,都是平台级的应用。
随着业务发展,
无论是海量暴增的数据,还是大规模高并发的互联网行为、对计算能力的巨大需求……
现有的传统服务器架构和集中式Oracle数据库架构,已经越来越不适应业务扩展的需要。
不仅成本高,维护费用高。
甚至可能会导致,系统被主机和硬件厂商所“绑架”,不得不持续增加投入成本。
而随着星河系的盘子越来越大。
所需要付出的升级硬件和维护的代价,也会越来越惊人……
在这两年易趣618大促、淘宝双11促销活动,电商业务量暴增;百度全球化扩张步伐导致的数据存储和检索量激增;易迅在社交和游戏业务上的快速增长等情况下……
“去IOE”,就更加变得势在必行了!
所谓“去IOE”。
其核心是低成本、线性可控、去中心化(分布式):
“PCSever替代IBM小型机;MySQL+自研数据库替代Oracle;去EMC,用中低端存储”。
简单来说,
传统的IOE代表的是集中式架构,而“去IOE”,就是推动分布式架构代替集中式架构。
其实质,与“云计算”战略是紧密相连的。
在今天的合伙人会议上,
王坚博士第一次向所有合伙人,详细阐述了目前“去IOE”和云计算的进度。
“像我们星河集团这样大规模的互联网应用,采用开源、开放的系统架构,这其实并不是什么新的发明。
国外的Google、亚马逊这些公司,都是采用的类似系统架构。
只不过,它们几乎一开始就没有采用IT商业公司的架构,所以他们不用“去IOE”。
而我们在前期,由于没有足够的技术实力来开发自有系统。
为了系统的稳定性和高性能的运算存储,采用了高端的IT商业公司架构。
现在基于集团业务发展的需要,同时也积聚了一定的技术实力。
是时机可以开展自主研发了。”
王坚显得颇有感触:
“当然,在这个过程中,困难是非常大的……
多亏了波总、庞总的支持,和所有团队的认同和协作。
如果没有技术、产品和业务等各团队的相互协同,这是一件不可能的事!”
根据他的介绍,去IOE的困难,主要是技术层面的……
比如,“去I”,技术架构是关键:
小型机作为IT系统的主要计算设备承载了大部分的业务,但从扩展性、性价比、核心能力掌控等角度而言,不适宜集团目前业务发展。
而X86单个CPU处理能力一直在提升,应用了分布架构和云计算技术,可以用一个数据中心去替代某一台大机。
不过,应用采用分布式架构,提升处理能力,必须对应用代码进行改造。
所以,应用层可以直接替换成廉价的X86服务器,难点在涉及到部分代码重构;
数据层(易趣)也可以采用X86服务器或者是数据库云平台,分析型业务(百度)则主要迁移到大数据平台。
“去E”的主要难点,仅限于技术架构,对应用基本无影响。
但同时,“去E”也需要在存储性能、可靠性和容灾方面考虑对策。
实际上,“去I”和“去E”,在技术上难度和复杂程度都不算太大……
“去IOE”真正的难点和重点,
是“去O”!
因为数据库非常难被替换。
它处在整个产品或者产业链最底层的位置,替换风险很大,但收益相比起来却小得多。
这也是为什么像IBM、微软这样的后来者,也无法取代Oracle。
而对于星河集团而言,“去O”的主要难点在于:
传统关系数据库都是通过外部硬件来保证可用性,在用便宜的PC机替换高端服务器之后,硬件更容易出故障了,如何保证数据库高可用?
高可用和数据一致性如何同时保证?
分布式系统怎么同时实现CAP的要求?(CAP指:一致性(Consistency,C)、可用性(Availability,A)、分区容错性(PartitionTolerance,P))
几十年来,这么多做数据库的厂商,国内国外基本没有人成功过……
而且从公司的业务发展的角度,也不可能等你几年把数据库做出来,再去发展业务。
更可行的做法,是先基于开源做出一些东西,让业务先往前走。
所以,目前王坚为首的技术团队,采用的是数据切分(sharding)的策略。
将部分海量数据应用,先从集中式Oracle切换到分布式MySQL集群,从纵向扩展到水平扩展,解决了数据库扩展性的问题。
同时,目前百度研究院正在研发自有的分布式关系数据库——OceanBase。
这里不得不提到一个人,阳振坤博士。
这也是一位“超级大牛”:
84级帝大数学系,硕士师从本系的张恭庆院士,后又转向计算机领域,博士师从计算机系的王选院士。
大学只用了3年,硕士1年多,24岁成为王选院士博士……
95年其所在团队研究成果获国家科技进步一等奖(排名第四),1997年,32岁被破格晋升为教授、99年成为帝大首批“长江学者奖励计划”特聘教授。
他是跟随王坚博士,从微软亚洲研究院“跳槽”,来到百度研究院的十几名科学家之一。
目前担任百度研究院系统数据库项目组组长、高级技术专家(P9)。
阳振坤博士一直都是研究分布式技术和分布式系统的。
他十分看好云计算系统的发展机会,在加入百度研究院后,就主动请缨,开始担纲支持分布式关系数据库OceanBase的研发。
而王坚对于他的研发项目,也非常支持。
认为OceanBase数据库,将会是未来星河云计算战略中,最重要的一环!
隋波听到这里,也不禁有些庆幸。
正是他提前请来了王坚博士,并且全力支持“云计算”战略。
才能有这么多前世的技术大牛,汇集到星河旗下,并且能够提前发挥出巨大的作用……
最后,王坚博士也向大家汇报了目前集团“去IOE”计划的工作进度:
易趣商品库已在去年6月,完成去“I”,计划于今年年中,完成去“OE”;
百度搜索数据库,将在今年3月完成去“I”,10月完成去“OE”;
易迅社交及游戏数据库,将于今年年10月,一次性完成“去IOE”;
目前集团数据量最大的易趣交易库、现金流结算系统;易付宝交易系统和账户系统,则预计要到明年底,才能完成去“IOE”。
之所以各公司的进度不同,主要也是因为不同业务对系统的需求不同。
比如,
易迅是即时通讯和社交、游戏业务,注重实时和可靠的在线服务。
服务要“永不中断”,对系统的要求是健壮、容灾、负载能力强;
百度是搜索业务,注重分布式计算能力。
对系统的要求上,不论是扒取海量内容还是响应并发请求都需要高效迅速;
而易趣是电商业务,最重视的是并发事务的处理,对事务状态的控制、交易安全的控制……
尽管平台系统复杂,技术开发难度大。
但王坚博士依然称:
“预计到2008年,集团所有业务,都将完成去IOE!”
隋波第一个用力的鼓起掌来!
他心中兴奋莫名。
虽然“去IOE”,只是星河集团自研系统,迈出的第一步。
但这一步,却是最关键的!
因为它实现了星河系在技术领域,“自主”的开始。
从此之后,
星河系就可以脱离IBM、Oracle等国外硬件巨头的“控制”,拥有更多的话语权……
而且,“去IOE”还是云计算战略,实现的前提和基础。
“去IOE“的本质是分布化,让随处可以买到的CommodityPC架构成为可能,这就是使云计算能够落地的首要条件。
超大规模的数据中心建设、高速互联网络、计算资源虚拟化(Hypervisor)和软件定义网络(SDN)技术的发展和成熟,是构成云计算发展的技术条件。
现在已经是2006年了。
就在今年3月,亚马逊AWS将会发布S3存储服务、SQS消息队列及EC2虚拟机服务。
这将是现代云计算时代开启的标志!
在前世,亚马逊在云计算的先发优势,是其成为未来的全球云计算服务市场第一的关键。
阿里前世要到09年才成立阿里云……,起步晚了很多。
而从全球市场来看,
2008年也是真正的云计算元年。
2008年,Google推出GAE(GoogleAppEngine)云服务;
2009年,微软推出Azure云服务;
随后,IBM、VMWare、AT&T等巨头都陆续入局,推出了各自的云服务。
如果星河集团能够在08年,就完全实现“去IOE”。
也就是说,
到那时,星河也可以推出自己的云服务了!
虽然早期的云服务,由于技术和网络的原因,还不太稳定,产品服务还比较单薄。
但是这个时候,大家都差不多。
可以先推出免费服务,然后不断的进行技术积累和改进。
等到云计算进入爆发期和大发展的阶段……
以星河系庞大的业务生态,数据中心的分布规模。
能够一较高下的,估计也就是亚马逊和微软两家了!
这可是一个千亿美元的巨大市场啊……
而且,在巨头之间的竞争中,
云服务还有一个非常重要的战略作用:
巩固生态和高建护城河!
对于巨头而言,云服务是巩固生态、连接合作伙伴的重要利器。
因为对于企业客户而言,一旦使用了某家的企业服务,就意味着将企业重要的运营数据放在该平台上,因此很可能会与这家公司深度绑定在一起。
换言之,
巨头们可以能够通过服务自己生态体系中的上下游企业,巩固自己的原有业务和生态帝国。
此外,云计算的价值,还远远不止在商业层面。
未来,当人口红利期结束,消费互联网进入到瓶颈时……
TOB端业务,就是所有巨头竞争的主要领域。
而B端的产业互联网,核心就是云服务!
政府采购、智慧城市、物联网……
到那时,巨头们将会转型“新基建”。
5G网络、工业互联网、物联网等网络基础、人工智能等运算基础,都将成为必要而普遍的新型基础设施。
而云计算和云服务将是其中重要的基础服务之一。
可以说,这将是星河系未来二十年,能够始终屹立于巨头行列的真正根基所在啊!
隋波这时看着王坚和庞勇这两个“云计算”战略的负责人,
感觉就像看两个金娃娃。
………………
请记住本书首发域名:。笔趣阁手机版更新最快网址:
请收藏本站:https://www.dd19.cc。顶点小说手机版:https://m.dd19.cc