AWS与CSDN联合推出的人工智能主题学习月。以下为学习笔记。
弹性架构
Elastic Compute Cloud
实例存储:
Elastic Block Store
不同类型
加密
快照
预置容量
独立于EC2实例的生命周期
将多个卷进行条带化处理,以创建大容量卷
Elastic File System
AWS文件存储
共享存储
PB级文件系统
弹性容量
支持NFS v4.0和4.1协议
兼容AMI
一致性模型
存储类和持久性,
加密,支持静态数据和动态数据,SSE-S3,SSE-KMS,SSE-C.
提供版本控制能力,提供访问控制能力,支持分段上传。
数据备份和存储归档,文件库和档案,提供检索能力(加速,标准,批量),提供加密,
可集成SAML 2.0用于单点登录,可在Amazon Identity and Access Management,即IAM中管理用户。
Simple Queue Service
消息队列,应用解耦,负载均衡器也可以用于解耦
支持组件堆栈,用于部署AWS资源的声明式编程语言,使用模版和堆栈预配置资源,以一个单元(堆栈)的粒度来创建,更新和删除一组资源。
资源预置自动化,
堆栈Stack,是模版文件生成的资源,支持yml或json格式,参数模版中的变量,可用于不同的环境,如开发,生产,
如果对yml文件或JSON文件格式不熟悉,可以使用CloudFormation Designer,
大规模构建无服务器容器,
platform as service
Elastic Container Service,弹性容器服务。
一种基于云的业务分析服务,可轻松构建可视化内容、执行临时分析并从数据中迅速获取业务见解。简单来说,是一款商业智能,即BI工具。
SPICE,Super-fast, Parallel, In-memory Calculation Engine,超快速并行内存计算引擎。
可以与X-Ray集成使用。
与QuickSight集成时,可从更宏观的角度,查看数据中的模式或异常,如Top数据,distinct数据。
与CodeStar集成时,可以帮助您分析和调试分布式生产应用程序,如,使用微服务架构构建的应用程序。
日志记录服务,
高可用:系统可以正常运行,但是可能在降级状态下运行
容错:用户不会受到故障带来的任何影响
Amazon Machine Image,一种使用亚马逊云计算服务时创建的机器镜像,机器镜像中包括操作系统、应用程序和配置设置。
由 AWS 提供的支持和维护映像,后者提供启动实例所需的信息。在启动实例时,您必须指定 (AMI)。在需要具有相同配置的多个实例时,您可以从单个 AMI 启动多个实例。在需要不同的配置的实例时,您可以使用其他 AMI 启动实例。
AMI 包括以下内容:
缓存功能,支持Memcached及Redis
https://docs.aws.amazon.com/zh_cn/config/latest/developerguide/config-concepts.html
跟踪EBS和EC2实例
https://docs.aws.amazon.com/zh_cn/awssupport/latest/user/trusted-advisor.html
检查账户在安全性、可靠性、性能、成本和服务限制等方面是否符合最佳实践。
AWS云中的空闲计算容量,有低价折扣。
运行无状态代码来响应事件,或基于某个时间间隔运行无状态代码的完全托管的计算服务,不需要管理基础设施。
如:Lambda、S3、DynamoDB、API Gateway
监控组件,监控CPU,网络,队列大小,以日志形式记录。
提供CDN功能,边缘站点,会在靠近用户的节点(站点)缓存静态数据,提供超过80个边缘站点和十多个区域边缘缓存的全球网络,并且在增加中。
集中式备份服务。备份功能包括:
快照、增量备份、时间点还原、自动每日备份、按需备份、与其他账户共享、跨区域备份、标记备份。
步骤:
创建用户、组、角色、策略,通过定义权限来控制用户可以访问的AWS资源。
使用SAML联合身份,与Microsoft Active Directory和AWS Directory Service集成。
角色是临时凭证,角色可以附加到EC2实例上。
Virtual Private Cloud,网络隔离:互联网网关,虚拟私有网关,NAT网关。
子网:
公有子网:要支持进站,出站访问公共互联网,需要将互联网网关添加到路由表条目
私有子网:
启动配置:指定EC2实例大小,和AMI名称
Auto Scaling组
Auto Scaling策略
Amazon Relational Database Service,RDS可以在不同的可用区中创建多个数据库实例,实现故障自动转移功能,支持Amazon Aurora,PostgreSQL,MySQL,MariaDB,Oracle,SQL Server六种数据库类型。
随用随付,计费包括三个部分:
提供如下至少5种类型的使用场景的RDS实例:
托管服务,与 MySQL 和 PostgreSQL 兼容的关系数据库服务,可以与Amazon Database Migration Service和Schema Conversion Tool等功能集成。
高可用性:可跨三个可用区存储六个数据副本,可持续备份到S3,提供多达15个只读副本。
弹性设计:即时崩溃恢复,不需要重放最后一个数据库检查点的redo log,最快可将数据库崩溃后的重启时间缩短至60s内。Aurora已将缓冲区缓存从数据库进程中移出,从而可以使它在重启时立即可用,可以防止在缓存重新填充之前,受到访问限制。
兼具文档存储和键值对存储两种类型的NoSQL功能,同时支持关系型数据库的ACID功能,静态加密和时间点恢复,可以自动纵向扩展和缩容。
计费:数据库读取写入、数据存储、及启用的可选功能。预置模式和按需模式付费形式。
分区键:使用分区键来查找数据库中的每个记录,数据分布在物理存储节点上,使用分区键来确定记录所在的节点。
排序键:可选,允许将多个字段作为一个集合进行查询,
主键:分区键和排序键(可选)的组合。
二级索引:本地二级索引和全局二级索引,本地二级索引:具有唯一排序键的表分区键,创建表时需要指定本地二级索引。全局二级索引:每个表最多可以使用20个全局二级索引。
建表语句:
aws dynamodb create-table \
--table-name world_facts \
--attribute-definitions \
AttributeName=country_code,AttributeType=S \
AttributeName=country_name,AttributeType=S \
--key-schema \
AttributeName=country_code,KeyType=HASH \
AttributeName=country_name,KeyType=RANGE \
--billing-mode=PAY_PER_REQUEST \
--region=us-east-2 \
HASH表示唯一键,RANGE表示排序键。
billing-mode表示计费模式。
insert一条记录语句:
aws dynamodb put-item \
--table-name world_facts \
--item '{
"country_code": {"S": "US"},
"country_code": {"S": "Japan"}
}' \
--region=us-east-2 \
--return-sonsumed-capacity TOTAL
update一条记录语句:
aws dynamodb update-item \
--table-name world_facts \
--key '{
"country_code": {"S": "US"},
"country_code": {"S": "Japan"}
}' \
--update-expression "SET primary_language = :newval" \
--expression-attribute-values '{":newval": {"S": "english"}}' \
--region=us-east-2 \
--return-values ALL_NEW
查询语句:
aws dynamodb query \
--table-name world_facts \
--key-condition-expression "country_code = :code" \
--update-expression "SET primary_language = :newval" \
--expression-attribute-values '{":code": {"S": "US"}}' \
--region=us-east-2 \
--return-values ALL_NEW \
--output=text
output: text,table,json
RCU,read content unit
WCU,write content unit
提供:
数据仓库,提供SQL接口,
Central Project Dashboard
Project Templates
Team Access Management
Hosted Git Repository
Continuous Delivery Toolchain
可以与CodeCommit、CodeBuild、CodeDeploy和CodeWatch等集成,包括Owner,contributor,viewer等角色
CD,持续交付
Git托管服务
完全托管的构建服务,可编译源代码、运行测试,以及生成可供部署的软件包。
可集成GitHub,Atlassian Bitbucket,
RTO:Recovery Time Objective,恢复时间目标,指在故障或灾难发生之后,一台电脑、系统、网络或应用停止工作的最高可承受时间。
RPO:Recovery Point Objective,恢复点目标,指一个过去的时间点,当灾难或紧急事件发生时,数据可以恢复到的时间点,是业务系统所能容忍的数据丢失量。
RPO和PTO是衡量灾备方案的两个重要指标,RPO-恢复点目标,决定丢失多少数据,RTO-恢复时间目标,决定业务中断多长时间。两者的值要充分考虑到备份数据的。重要程度和业务中断时间的允许范围。比如,为了实现RPO=0,RTO接近于0,即保证数据0丢失,业务停顿时间最短可缩短至60秒内。除了RPO和RTO外,还能保证恢复数据的完整性和可用性,从某种程度而言,数据的可用性是底线,甚至优于完整性。
S3在哪些方面与块存储或文件存储不同?
错误的是,S3不会跨区域复制对象,它是区域内的对象存储服务。
Auto Scaling,Elastic Load Balancer和CloudWatch