在继续 Map-Reduce 课程之前, 我们先补充一下行业知识.

超级计算机与云计算之争

先看看什么是超级计算机.

百度百科显示:
超级计算机指能够执行一般个人电脑无法处理的大资料量与高速运算的电脑, 其基本组成组件与个人电脑的概念无太大差异, 但规格与性能则强大许多, 是一种超大型电子计算机. 超级计算机是计算机中功能最强、运算速度最快、存储容量最大的一类计算机, 多用于国家高科技领域和尖端技术研究, 是一个国家科研实力的体现, 它对国家安全, 经济和社会发展具有举足轻重的意义. 是国家科技发展水平和综合国力的重要标志.

在没有云计算之前, 超级计算机代表着一个国家的科研实力, 围绕超算出现了跑分竞赛, 核心指标是计算效率, 即每秒的浮点运算次数.
中国超级计算机在 2009 年开始在国际上崭露头角, 天河 1 号、天河 1 号 A 相继稳定世界 TOP 500 榜, 天河 2 号已连续三次夺得超级计算机 TOP 500 竞赛冠军, 并且在下一次竞赛中依然稳操胜券.
在现在的超级计算机排行榜中, 天河 2 号计算速度为 33.86 千万亿次/秒, 第二名是位于美国能源部 (DOE) 橡树岭国家实验室中的 Titan, 17.59千万亿次/秒, 与天河 2 号差距甚大, 百度 7 千万亿次/秒的超级计算机面世, 在这个榜单中只能屈居第六.

云计算出现之后, 超级计算机的不少计算场景都被前者所瓜分.
超级计算机单机运算能力非常惊人;
而云计算方案则是基于多台计算机, 以 Hadoop 为代表的集群计算系统进行并行计算, Hadoop 负责计算任务分发调度归总.
两个方案中真正负责计算的都是处理器, 一般是 CPU (百度已开始尝试 GPU).
超级计算机将多个处理单元集中在一起减少任务剑通信延迟, 云计算要跨越不同计算机, 乃至跨越不同机房进行协同计算, 存在任务间通信延迟.

超级计算机适合计算密集型场景, 比如武器研发、飞行模拟、气候模拟、生育模拟和基因测序;
而以 Hadoop 为代表的分布式集群则更适合 IO 密集型; 不过从阿里云与华大基因、气象局合作可以看出, 就算是计算密集型领域, 云计算依然有用武之地.

超级计算机如果能够完成云计算的任务自然不应该被替换, 可惜它有着几个显著的曲线: 成本和能耗.
天河二号总造价成本便高达 18 亿元人民币, 在满载情况下, 天河二号每天耗费是 40 万人民币, 考虑到超级计算机通常负载率不会超过 60%, 通常耗费还相应降低.
如果再加上软件研发和升级、硬件维护和折旧、研发团队人力成本这些, 年运转成本将十分可观.
因此, 往往只有政府支持的实验室才肯投入超级计算机研究, 实际上 TOP 10 超级计算机几乎都来自政府或高校背景实验室, 只有少数是 IBM 这样的企业参与.

云计算? 云服务?

这个问题的答案, 只要你想找, 你能找出 100 种…所以这里仅谈谈我的理解吧.

个人认为, 云计算并不是单独指某样新产品, 也不是什么新技术, 而是从现有的成熟技术上催生出来的一种新的技术架构, 主要包含了分布式存储、并行计算、虚拟化、自动化部署等; 它的优点是可以对外表现非常优秀的并行计算性能、规模伸缩性和健壮性.

hadoop 在云计算中提供两种能力:

• 分布式文件系统提供巨大的存储能力
• Map-Reduce 提供快速的并行计算能力 (简单计算)

而云服务是指以云计算技术架构为支撑演化出来的服务体系, 通过集中拥有的方式, 使用户能得到本身无法得到或者需要高成本才能得到的服务, 降低拥有成本是云服务的核心价值之一.

云服务的层次:

• IaaS: Infrastructure-as-a-Service（基础设施即服务）
• PaaS: Platform-as-a-Service（平台即服务）
• SaaS: Software-as-a-Service（软件即服务）

2016 年好像又出来了种 CaaS: Container-as-a-Service (容器即服务), 暂时了解不深, 以后再说.

云服务的形态:

• 私有云
• 公有云
• 混合云

但是在国内, 云计算和云服务似乎被认为是同一种东西, 至少在目前看来是这样.