云计算与开源 刘黎明 世纪互联 - Presentation Transcript
- 云计算与开源 2010-3 世纪互联 刘黎明
- 内 容
- 云计算定义
- 云计算市场
- IaaS技术体系
- IaaS开源
- Cloudex 介绍
- 推荐资料
- 定义云计算
-
- 通过互联网提供自助式服务
- 快 速获得服务
- 按需扩展和使用
- 按使用量付费
- 云计算关键特征:
-
- 为什么说云计算是一 场变革 从云计算对信息行业的影响,从以下几个方面看,已经可以称为一场变革: 从影响的领域看,云计算已经从最开始的 IT 基础设施领域扩展到硬件和设备制造、软件开发平台、软件部署、软件销售、 IT 服务,几乎涵盖所有的 IT 硬件、软件、服务领域,甚至已经扩展到非 IT 领域,比如一些创意、人工智能仓库等。 从专业化角度讲,云计算体现了专业的服务由专业的组织和人员提供更为高效的原理。这一点有些人进行放大,认为世界最后只剩下几朵云,这是有些极端的看法。 从规模化角度讲,云计算体现了规模化采购减低采购成本,规模化运营降低人力成本,规模化服务提高峰值复用水平。可以用电网和单个电厂的对比来看这个问题。 从服务模式角度讲,云计算体现了用户自助式服务和服务商的自动化服务的趋势。传统那个的连看一样商品都要柜台服务员参与的供销社模式与后来的超市模式,与 云计算的产生有共同之处。 从精细化、标准化程度讲,云计算体现了对服务的精细测量和计费的趋势。云计算服务都能从相当小的粒度上做到按需使用、按使用量付费。
- 云 计算变革的推动因素 主要推动因素包括:
- 虚拟化技术的快速发展
- CPU 等硬件的快速发展
- 宽带 网络的快速发展
- 企业对 IT 基础设施的需求快速增长
- 互联网行业对 IT 基础设施的需求变化迅速
- 市 场对云计算商业模式逐渐认可
- 少数云计算先行者已经获得一定成功
- 经济危机迫使用户降低总体拥有成本和减少一次性投 入
- 云计算市场划分
-
- IaaS技术体系
-
- 虚拟化
- 软 件虚拟化
- 硬件辅助虚拟化
- 操作系统级虚拟化
- 虚拟化管理
- 分布式 文件系统
- 普通分布式文件系统
- 容错分布式文件系统
- 并行分布式文件系统
- 并 行容错分布式文件系统
- 点对点文件系统
- 虚拟化
-
- 浏览器异步交互技术 (AJAX)
- 浏览器异步交互技术 (AJAX) 介绍
- XML
- Javascript 框架
- CSS
- HTML5
- SVG 与 Canvas
- 网络服务
- 网络服务概述
- SOAP
- REST
- IaaS API 设计
- 安 全与身份验证
- 加解密
- 密钥分发与身份验证
- 数据安全
- 浏览器异步交互技术 (AJAX)
-
- IaaS 开源
- 开源服务器虚拟化
- 开源虚拟化管理系统
- 公有云私有云互操作性平台
- 开 源虚拟化工具
- 存储系统
- 开源 PaaS 平台
- 开源基础设施监控项目
- 其他 开源项目
-
-
- 开源服务器虚拟化 -xen
-
-
-
- 开 源服务器虚拟化 -kvm
-
-
-
- 开源虚拟化管理系统
-
-
- Convirt
- Ovirt
- Virt-manager
- Xen Cloud Platform
- Eucalyptus
- ganeti
- Nimbus
- Deltacloud
- Enomolism
- OpenNebula
-
-
- Convirt 虚拟化管理系统,具有开源版本和企业版本。 采用基于模板的部署、集中监控、配置管理、自动化能力、灵活的计费策略。 目前支持的 Hypervizor 包括 KVM 、 Xen 。 其开源版本提供基本的框架和功能。 其开源版本具有如下特征: 拥有可视化 web 界面; 被管理物理机上不需部署代理程序; 基于模板的部署; 实时性能监控; 可浏览历史信息; 被管理物理机维护模式; 调整正在运行的虚拟机资源; 拖拽式迁移操作; 智能虚拟机资源匹配; 数据中心级的存储和网络视图。 其商业版本则具备更多功能: 虚拟机与物理机的容错; 备份和恢复; Vlan ; 更细致的访问控制; 提醒和通知;
- Convirt
- Virt-manager Virt-manager 是 Redhat 发布的虚拟化管理的可视化桌面软件,可以管理多台机器。支持虚拟机创建、性能监测等功能。 Virt-manager 原本是用来管理本地虚拟化的工具,后来发展到可以管理远程服务器的虚拟化。 该项目还包括了虚拟机安装、虚拟机复制、虚拟机镜像、虚拟机 Viewer 几个工具。 该项目对单机的虚拟化管理功能相对较为成熟,但对数据中心级的管理控制基本没有。
-
-
-
- Xen Cloud Platform
-
- 基于 Xen 3.4.1
- 基于 Linux 2.6.27 Kernel
- windows PV 驱动
- 虚拟机管理
- 资源池化
-
-
-
-
- Eucalyptus
-
-
-
-
-
- Enomaly
-
-
-
-
- 公有云私有云互操作性平台 Deltacloud
-
-
-
-
- 公 有云私有云互操作性平台 Nimbus
-
-
-
-
-
- 公 有云私有云互操作性平台 OpenNebula
-
-
-
-
- 开 源虚拟化工具 - Libvirt
-
- Libvirt
-
-
- 开 源虚拟化工具 - virt-v2v Libguestfs
-
-
- Virt-v2v
-
-
-
- Libguestfs
-
-
-
-
- 开 源集群文件系统
-
-
- Gluster
- Lustre
- HDFS
- Sector
-
-
-
- kosmos(cloudstore)
-
-
-
-
- 开 源 PaaS 平台 -Appscale
-
-
-
- Appscale
-
-
-
- Appscale
-
-
-
- 开 源基础设施监控项目
-
-
- zabbix
- Nagios
- opennms
- Cacti
- collectd
- GroundWork
- Hyperic
- Zenoss
- Pancho
-
-
-
-
- 开 源数据库项目 -CouchDB
-
-
-
- 开源数据库项目 - MongoDB
-
-
-
- 开 源数据库项目 - Cassandra
- 分布式
- 基于 column 的结构化
- 高 伸展性
- 模 式灵活 :使用 Cassandra ,像文档存储,你不必提前解决记录中的字段。你可以在系统运行时随意的添加或移除字段。这是一个惊人的效率提升,特别是在大型部 署上。
- 真 正的可扩展性 : Cassandra 是纯粹意义上的水平扩展。为给集群添加更多容量,可以指向另一台电脑。你不必重启任何进程,改变应用查询,或手动迁移任何数据。
- 多 数据中心识别 :你可以调整你的节点布局来避免某一个数据中心起火,一个备用的数据中心将至少有每条记录的完全复制。
-
- 开 源系统管理工具 - Cfengine cfengine 是一个功能强大的自动化系统管理工具 . 引用其官网的说法 "cfengine 是一种 UNIX 管理工具,其目的是使简单的管理的任务自动化,使困难的任务变得较容易。它的目标是使系统从任何状态收敛到一种理想状态。依照它的作者 Mark Burgess 所说, cfengine 总是使您的系统更接近于您所定义的配置;它决不会使系统变得更糟。 cfengine 大概的功能有: · 检查和配置网络接口 · 编辑系统和用户的文本文件 · 维护符号链接 · 检查和设置文件的权限 · 删除垃圾文件 · 检查重要文件和文件系统的存在 · 控制用户脚本和 shell 命令的执行 · 基于类的判定结构 · 进程管理
- 开源虚拟化 管理系统比较 2008-7 分值 Enomalism Convirt Ovirt Virt-manager 安装启动过程 10 6.0 8.8 7.5 7.5 基本功能 20 6.2 11.8 11.2 12.4 网络功能 10 1.7 0 1.5 6.2 存储管理功能 10 7.0 2.6 2.6 4.2 高级功能:迁移、快照、备份 10 1.2 1.0 0.5 0 监控和统计功能对比 10 2.5 2.9 2.8 3.5 用户和客户管理功能对比 10 1.5 0 1.2 0 软件架构对比 10 6.0 6.5 4.7 4.5 软件质量对比 10 3.0 7.0 5.0 8.0 总计 100 35.1 39.6 37 46.3
- CloudEx 云平台架构 物理层 普通的物理服务器、存储、带宽、机柜、 IP 地址、交换机等 资产管理层 资产管理、 IDC 节点建设 服务管理层 服务开通系统、服务保障系统、运维管理 云计算基础设施服务门户 客户管理 渠道 / 合作伙伴管理 计费系统 销售 / 订单管理 计费数据计量和采集 计费管理 业务流程分析与集成 第三方应用 CRM 系统 服务交付 客户服务系统 产品管理 分布式资源管理层 IaaS API 物理层 普通的物理服务器、存储、带宽、机柜、 IP 地址、交换机等 虚拟化及管理层 Xen, CloudEx VI, CloudEx FS 等 计费数据处理 结算 收费 催缴 续费 服务支持 物理和虚拟资源池管理 系统监控 和故障报警平台 安全防护 系统
- CloudEx – 跨区域的数据中心资源管理 统一管理跨区域数据中心 CloudEx 可以让管理者仅通过一个管理平台便可管理、监控所有区域 内 的数据中心资源,统一控制与运营 北京机房 亦庄机房 太原机房 济南机房 广州机房 上海机房 成都机房 西安机房 网络状况 资源监控 系统故障 网络安全 故障的处理 应用的监控 系统的升级 监控的问题 增加新节点 备份与迁移
- 基础模块 优化的 Xen 虚拟化引擎及 OS 内核 集群虚拟化管理系统 BOSS 系统 客户自服务系统 备案系统 增强模块 数据容灾和快速恢复系统 快速部署系统 云存储系统 外围支撑模块 NOC 系统 流程管理系统 Xmonitor 用户体验监控系统 CloudEx 解决方案组成部分
- 虚拟化管理平台
- 虚拟机创建与管理
- 虚拟机监控和报警
- 计算虚拟化模块设计与实现
- 接口设计与 实现
- 快照策略和实现
- 备份策略和实现
- agent 设计与实现
- 软件打包与 升级
- 网络启动( PXE )与远程安装
- 计算资源快速伸缩
- 计算资源和映像文件的动态扩展
- 单个服务器管理模块
- 单个集群管理模块
- CloudEx 解决方案软件基础模块 - ① 优化的虚拟化引擎 Xen
- 优化的高安全的 Xen Hypervisor 为虚拟机提供了几近原生的性能
- 透过 API 提供对操作系统、节点机和应用一键快速部署的支持
- 优化裁剪的内存操 作系统内核
- CloudEx 解决方案软件基础模块 - ② CloudEx 集群虚拟化管理系统
- 通过 Portal 集中管理部署在不同地区数据中心的所有物理和虚拟资源
- 透过 API 实现操作系统、应用的一键快速部署
- 透过 API 支持面向应用的产品和服务整合
- CloudEx 解决方案软件基础模块 - ③CloudEx 云 BOSS 资产管理系统 服务运行维护管理系统 CloudEx Iaas BOSS Portal 计费营帐管理系统 客户服务系统 IaaS API Vianet Cloud Platform 业务管理系统 ( 含直销、渠道 ) 知识管理系统 服务监控系统 虚拟化管理系统 数据采集处理系统 Open Cloud Inter face 互联网站备案管理系统
- CloudEx 解决方案软件基础模块 - ③CloudEx 云 BOSS 各子系统示意图
- CloudEx 解决方案软件基础模块 - ③CloudEx 云 BOSS Portal 云计算管理 Portal 主界面 – 一站式管理
- 跨数据中心虚拟服务器管 理
- 虚拟服务器配置变更管理
- 虚拟服务器远程控制
- CloudEx 解决方案软件基础模块 - ④CloudEx 客户自服务系统 自服务系统
- 即 时的网络节点选择
- 即时的虚拟服务器配置选择
- 即时的服务器“上架”与“调试”
- 灵活拥有服务器 数量与配置的伸缩性
- 备份与快速部署功能
- CloudEx 解决方案软件基础模块 - ⑤ ICP 和网站备案系统
- 云计算标准
- CSA (云计算安全联盟)的目标是为云计算的安全保证提供实践指南,同时提供如何安全地利用云计算方面的指导。
- DMTF (分布式管理工作组)通过开放云计算标准孵化器致力于互操作和安全机制方面的标准化。
- ETSI (欧洲电信标准协会)致力于信息技术和电信融合的问题。
- NIST (国家标准核技术研究院)致力于云计算概念的定义。
- OGF (开放网格计算论坛)通过 OCCI (开放云计算接口)工作组提出 IaaS 的接口标准。
- OMG (对象管理工作组)致力于云上的应用和服务的建模和部署。
- SNIA (存储网络行业协会)通过云存储技术工作组开发了一个云存储系统实现的体系结构,并希望能主导制定一系列云存储相关的标准。
- OCC (开放云计算联盟)主要是支持不同云之间交互的云计算标准的制定,以及制定一个云计算测试基准,支持开源云计算实现。
- CCIF (云计算互操作性论坛)则提出了一个通用云计算接口以屏蔽不同的基础设施服务接口。
- IaaS相关标准
- 关 于 IaaS 方面的标准会集中于如下方面:虚拟机镜像分发,虚拟机部署和控制,云内部虚拟机之间的交流,持久存储,虚拟机服务水平标准,安全的虚拟机配置等。但是目前 关于 IaaS 的标准还较少讨论到基础设施除了虚拟机和持久存储之外的一些问题,比如虚拟路由器和交换机,虚拟防火墙,虚拟负载均衡器,虚拟设施和物理设施的配合等。 在 iaaS 领域目前比较成熟的可能成为通用标准的是 DMTF 的 OVF , OGF 的 OCCI , SNIA 的 CDMI 。 CSA 的安全云计算指南也有一定参考意义。 DMTF 也试图将 CIM 和 WBEM 纳入云计算标准中。 OVF 正如其名字所示,是一个开放虚拟化格式,描述了一个用来封装和分发运行在虚拟机上的软件的安全的、开放的、可移植的、有效的、可扩展的格式。主要特点如 下:易于分发;简单、自动的用户体验;支持单虚拟机和多虚拟机部署;可移植的虚拟机封装;独立于供应商和平台;可扩展;易于本地化。一个 OVF 包含如下内容:一个 OVF 描述符文件,以 ovf 为后缀; 0 或 1 个 OVF 清单文件,以 mf 为后缀; 0 或 1 个 OVF 证书文件,以 cert 为后缀; 0 或多个磁盘镜像文件; 0 或多个资源文件,比如 iso 镜像。下图是 OVF 的使用示意图。
- OCCI 提供一个一扩展的 Restful 的 API 。每个资源用同一资源标识符标识。资源通过一组操作(建立、获取、更新、删除)来控制,建立操作用 POST 请求,获取操作用 Get 请求,更新或建立用 Put 请求,删除操作用 Delete 请求。此外,如下 HTTP 请求也被用到: COPY 、 HEAD 、 MOVE 、 OPTIONS 。目前可管理三种资源:存储、网络、计算。将这些资源组合在一起,加上必要的属性,就形成一个虚拟机。下图是 OCCI 的概要图。云计算标准,为时尚早还是呼之欲
- CDMI 即云数据管理接口,提供了一个在云存储环境中具有互操作性的传输和管理数据的规范。参与制定该规范的企业包括: Bycast , Cisco , Ologic , Qlogic , SUN , XyRatex 。当然, SNIA 的董事会单位不止这些企业。
- 托 管 主机租用 云主机 时间 数周至数月 数天至数周 几分钟 扩展性 缓慢、无法保护投资 缓慢、无法保护投资 即时供应、按需扩展 成本 一次性支付 CapEx 高、 Opex 高 季付年付成本高、 Opex 较高 低成本:月付无押金、按需使用、基本零维护 安全可靠性 取决于投入 普通服务器故障率高 基本无 ARP 和 DDOS 防范能力 内置 ARP 防范,规模化提升 DDOS 防攻击能力,分享品牌企业级服务器的性能和可靠性,可内置 HA 托管 vs. 主机租用 vs. 云主机 “ 云快线”基础产品 – 云主机
- Cloudex – 世纪互联云计算平台
- Cloudex – 世纪互联云计算平台
- 推荐文章
- 云计算之变革已经开始【软件世界】 -- 主要从云计算概念、定义和产业变革解读探讨云计算;云计算之起源探析 — 主要从云计算概念的发展历史做一些探讨;
- 云计算之炒作面面观 — 主要从一个新 IT 名词的炒作周期和生命周期来讨论;
- 云 计算产业链初成中国落后两年 — 主要从云计算产业链构成和发展状况来探讨;
- 云计算标准,为时尚早还是呼之欲出 – 主要在云计算标准的发展进程和主要标准方面做一些介绍。
- 推荐链接
- http://www.chinacloud.org
- http://blog.sina.com.cn/liuliming
- http://labs.chinamobile.com/community/my_blog/74856
- http://blog.csdn.net/liuliming3000
- http://www.slideshare.net/liuliming 演讲稿分享
- http://www.myplick.com/user/luliming 演讲稿分享
- http://www.opencloudcomputing.blogspot.com/
- http://twitter.com/liuliming
- http://www.linkedin.com/in/liuliming