阿里云大数据架构专业术语

 

来自大神：http://pengoneeast.blog.163.com/blog/static/55045403201526111648857/

 

 

 

负载均衡（Server Load Balancer，简称SLB）是对多台云服务器进行流量分发的负载均衡服务。SLB能够经过流量分发扩展应用系统对外的服务能力，经过消除单点故障提高应用系统的可用性。

SLB基本概念

• SLB服务主要由3个基本概念组成。
  1. LoadBalancer表明一个SLB实例
  2. Listener表明用户定制的负载均衡策略和转发规则
  3. BackendServer是后端的一组ECS。
  4. 来自外部的访问请求，经过SLB实例并根据相关的策略和转发规则分发到后端ECS进行处理。

slb核心概念如图示

SLB术语表

术语	全称	中文	说明
SLB	Server Load Balancer	负载均衡服务，简称SLB服务。	阿里云计算提供的一种网络负载均衡服务，能够结合阿里云提供的ECS服务为用户提供基于ECS实例的TCP与HTTP负载均衡服务。
LoadBalancer	Load Balancer	负载均衡服务实例，简称SLB实例。	SLB实例能够理解为SLB服务的一个运行实例，用户要使用SLB服务，就必须先建立一个SLB实例，LoadBalancerId是识别用户SLB实例的惟一标识。
Listener	Listener	负载均衡服务监听。	负载均衡服务监听，包括监听端口、负载均衡策略和健康检查配置等，每一个监听对应后端的一个应用服务，一个SLB实例最多支持10个监听配置。
BackendServer	Backend Server	后端服务器。	接受SLB分发请求的一组ECS，SLB服务将外部的访问请求按照用户设定的规则转发到这一组后端ECS上进行处理。
Address	Address	服务地址	系统分配的服务地址，当前为IP地址。用户能够选择该服务地址是否对外公开，来分别建立公网和私网类型的SLB服务。

 

 

云服务器是什么

云服务器实例（简称ECS实例）是一个虚拟的计算环境，包含CPU、内存等最基础的计算组件，是云服务器呈献给每一个用户的实际操做实体。

ECS实例是云服务器最为核心的概念，下面描述的磁盘、IP等只有与ECS实例结合后才有使用意义的。

在使用云服务器时，您会接触到一些名词，有的您已经很熟悉了，有的相对来讲会少见一些。这些名词所表明的产品概念组合起来，构成完整的云服务器产品。下面是这些名词及其表明的含义：

• 地域（Region）指的是ECS实例所在的物理位置。您能够根据您的客户群体分布的不一样选择不一样地域的云服务器服务。针对中国境内，目前可供选择的地域有杭州、青岛、北京、深圳；针对海外，目前可供选择的地域有香港。地域内的ECS实例内网是能够互通的，不一样地域之间的ECS实例内网不互通。

• 可用区（Zone）是指在同一地域内，电力和网络互相独立的物理区域。同一可用区内的ECS实例网络延时更小。在同一地域内可用区与可用区之间内网互通，可用区之间能作到故障隔离。若是您的应用须要较高的容灾能力，建议您将ECS实例部署在同一地域的不一样可用区内；若是您的应用在实例之间须要较低的网络时延，则建议您将ECS实例建立在相同的可用区内。

• ECS实例的规格定义了实例的CPU、内存的配置。

• 镜像（Image）是ECS实例运行环境的模板，通常包括操做系统和预装的软件。您能够选择阿里云官方提供的镜像（支持Linux和Windows的多个发行版本），也能够根据拥有的ECS实例建立本身的自定义镜像，或者去镜像市场选择第三方服务商提供的镜像。

• 磁盘（Disk）有云磁盘、独立云磁盘、本地磁盘、本地SSD盘等类型。存储在云磁盘上的数据安全性更高，独立云磁盘除了具备云磁盘的优势外，还能够在同一可用区内的ECS实例间自由挂载和卸载；相对云磁盘，本地磁盘则吞吐性能更好；本地SSD盘基于SSD存储，相比现有的云磁盘和本地磁盘有10倍~20倍的IO性能提高，可以知足IO密集型应用的高性能存储需求。本地磁盘和本地SSD盘的数据安全性比云磁盘低。

• 快照（Snapshot）是磁盘上的数据在某一个时间点的拷贝，存储在开放存储服务（OSS）上。快照采用增量备份机制，只有磁盘上发生变化的数据块才会被拷贝到快照中。

• IP：包含内网IP地址和公网IP地址。每一个ECS实例默认包含一个内网IP地址，公网IP地址只有在购买了公网带宽以后才会分配。

• 安全组（SecurityGroup）指定了一个或多个防火墙规则，规则包含允许访问的网络协议、端口、源IP等。防火墙规则对加入安全组的全部ECS实例生效，但加入同一个安全组的ECS实例相互之间的访问是不受规则限制的。

• VPC

• EIP, Private IP

 

云数据库RDS

云数据库（Relational Database Service，即关系型数据库服务，简称RDS）是阿里云提供的一种稳定可靠、可弹性伸缩的在线数据库服务。RDS采用即开即用方式，兼容MySQL、SQL Server两种关系型数据库，并提供数据库在线扩容、备份回滚、性能监控及分析等功能。

简要介绍

• RDS的目标是将耗时费力的数据库管理任务承担下来，使用户可以专心于应用开发和业务发展。用户可根据业务需求对RDS进行弹性伸缩，RDS承诺99.95%的服务可用性和99.9999%的数据可靠性。
• RDS目前提供MySQL和SQL Server两种关系型数据库，访问协议彻底兼容。用户现有的数据库代码、应用等可直接应用在RDS上，减少从新开发成本。

基础架构

• RDS采用主从备份架构，拥有3份以上数据存储，具有高可用性和数据可靠性。
• RDS架构图

功能特色

• 防DDoS攻击：当RDS为公网访问时，阿里云安全体系会自动判断RDS是否正在遭受DDoS攻击，并启动流量清洗的功能，若攻击达到黑洞阈值或清洗失效，将会进行黑洞处理。
• SQL注入告警：RDS会经过解析SQL语句，判断是否遭受SQL注入攻击，并提示修改应用程序。
• IP访问白名单：白名单可使RDS实例获得最高级的访问安全保护；建议设置访问源IP地址或者IP段，最多设置100个。
• 将数据迁移至RDS：RDS for MySQL提供在线迁移数据的方式，能够不中止原有数据库运行的状况下完成数据迁移操做；RDS for SQL Server提供上传备份文件迁移至RDS的迁移方式，可便捷的完成数据的导入操做。
• 实例在线升级：RDS提供的在线升级服务，包括实例配置的升级和数据库版本的升级，升级过程无需用户介入。
• 系统性能监控：RDS提供近20个系统性能的监控视图，如磁盘容量、IOPS、链接数、CPU利用率、网络流量等，用户能够轻松查看实例的负载。
• 优化建议：RDS提供多种优化建议，如存储引擎检查、主键检查、大表检查、索引偏多、缺失索引等，用户能够根据优化建议并结合自身的应用来对数据库进行优化。
• 备份管理：RDS自动提供多重备份，同时RDS支持用户经过RDS管理控制台或OPEN API灵活变动备份的时间。 数据回溯：RDS经过备份和日志，用户能够选择7天内的任意时间点建立一个临时实例，临时实例生成后验证数据无误，便可将数据迁移到RDS实例，从而完成数据回溯操做。

 

开放缓存服务（OCS，Open Cache Service）

开放缓存服务( Open Cache Service，简称OCS）是基于内存的缓存服务，支持海量小数据的高速访问。OCS能够极大缓解对后端存储的压力，提升网站或应用的响应速度。OCS支持Key-Value的数据结构，兼容Memcached协议的客户端均可与OCS通讯。

OCS 支持即开即用的方式快速部署；对于动态Web、APP应用，可经过缓存服务减轻对数据库的压力，从而提升网站总体的响应速度。

与本地MemCache相同之处在于OCS兼容Memcached协议，与用户环境兼容，可直接用于OCS服务 不一样之处在于硬件和数据部署在云端，有完善的基础设施、网络安全保障、系统维护服务。全部的这些服务，都不须要投资，只需根据使用量进行付费便可。

产品特色

OCS服务有以下特色：

• 性能优越。缓存数据存储在内存中，数据访问迅速返回。
• 服务可靠。当某台服务器宕机时，集群将迅速恢复服务，用户当前的客户端自动重连后便可恢复服务。
• 安全保障。OCS仅支持ECS访问，并能够限制源服务器的IP地址，避免外部攻击。
• 弹性伸缩。当业务规模发生变化时，用户可随时根据须要修改OCS实例的配置，而且在配置变动过程当中，OCS实例不会中止服务，您的客户端程序也没必要修改。
• 管理透明。OCS是一个开箱即用的服务，阿云的OCS团队负责OCS产品的管理，包括平常维护、软硬件故障处理、补丁更新等工做，让您专一于保障服务的健康有效。
• 兼容性。兼容memcache binary protocol，符合该协议的客户端(binary SASL)均可使用OCS。

 

DRDS产品概要

单机数据库可以方便的知足用户对于关系查询类的需求，是目前业务应用中最常使用的软件。然而，对于不少应用而言，单机数据库最终都会碰到单机性能上的天花板，在TPS/QPS/内存容量/磁盘容量等等一系列系统资源上会碰到各种限制。

DRDS的主要目标，就是帮您解决这方面的各种问题，他主要提供了两个功能：读写分离和数据库切分。

读写分离，可以容许您实现一台机器写入，多台机器读取，这对于读多写少的应用，可以以极低的成本解决系统的瓶颈

数据库切分是一个解决系统存储瓶颈的最终极解决方案，数据库切分的核心思想其实很简单，就是分而治之。将数据分散到多台机器，并保证请求可以平均的分发到这些机器上，就能够以极低的成原本解决业务的各种性能瓶颈。

固然，切分也是有代价的，最明显的代价就是，分布式数据库会对一些原有单机数据库的场景进行限制，由于这些操做，在分布式环境下的延迟或效率很是低效，就算是可以实现出来，也会由于性能问题而没法使用。

针对这类问题，阿里的中间件团队曾经成功的协助过近300个业务应用系统实现了数据库的切分，所以，咱们在这个领域内积累了大量的实战经验和成熟的产品，但愿这类产品也可以为您提供相同的服务，让您的数据库不再必担忧性能问题。

 

阿里云键值存储（Aliyun KVStore，Key-Value Store）

阿里云键值存储（Aliyun Key-Value Store，简称KVStore）是兼容开源Redis协议的Key-Value类型在线存储服务。KVStore支持字符串(String)、链表(List)、集合(Set)、有序集合(SortedSet)、哈希表(Hash)等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等高级功能。经过内存+硬盘的存储方式，KVStore在提供高速数据读写能力的同时知足数据持久化需求。

除此以外，KVStore做为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统维护服务。全部这些都无需用户考虑，确保用户专心致力于自身业务创新。

产品特色

• 简单易用
  • 服务开箱即用：支持即开即用的方式,购买以后即刻可用，方便业务快速部署
  • 兼容开源Redis：兼容Redis命令，任何Redis客户端均可以轻松与KVStore创建链接进行数据操做。
  • 可视化的管理监控面板：控制台提供多项监控统计信息，并能够进行管理操做。
• 弹性扩容
  • 存储容量一键扩容：用户可根据业务需求经过控制台对实例存储容量进行调整（公测期间需申请开通）
  • 在线扩容不中断服务：调整实例存储容量可在线进行，无需中止服务，不影响用户自身业务
• 高可用
  • 每一个实例均有主从双节点：避免单点故障引发的服务中断
  • 硬件故障自动检测与恢复：自动侦测硬件故障并在数秒内切换，恢复服务
• 高可靠
  • 数据持久化存储：内存+硬盘的存储方式，在提供高速数据读写能力的同时知足数据持久化需求。
  • 数据主从双备份：全部数据在主从节点上进行双备份。

产品功能

• 支持丰富的数据类型 兼容开源Redis协议中定义的全部数据类型，如String，Hash，List，Set，SortedSet等，支持多种数据操做，充分知足业务需求

• 持久化存储 内存+硬盘的存储方式，数据存储到物理磁盘，知足用户数据持久化需求

• 支持消息通知机制 基于事件通知机制解耦消息发布者和消息订阅者之间的耦合，实现消息发布及订阅（PUB/SUB）功能，知足多个客户端使用者之间的互联互通。(参见示例)

• 支持事务操做 支持Redis协议中定义的事务（Transaction）处理，实现单个客户端发送的多个命令组成的原子性操做。

 

简单日志服务（Simple Log Service，简称SLS）是针对日志收集、存储、查询平台化服务。服务提供各类类型日志的实时收集，平台化存储，海量日志实时查询，并能够将日志归档至ODPS，以利用ODPS作大数据分析。具体来讲，SLS提供以下功能：

1. 多种方式（API、SDK及Logtail接入服务）的日志写入途径
2. 经过Logtail能够自由定义多种日志格式的收集以及解析方式
3. 能够定义机器组管理数以千计机器上的日志收集
4. 强大的日志实时收集以及快速处理能力:GB/秒级别;从日志收集到可查询的延时基本在1分钟内
5. 针对海量日志的集中存储，且存储期限可按需配置
6. 提供实时、灵活(支持查询语法）的日志查询能力
7. 简单易用的控制台配置方式,全部操做均可以在Web端完成
8. 后台与ODPS无缝衔接，提供将日志归档到用户ODPS表的功能

SLS与阿里云其余产品关系以下：

• ECS：用户能够安装Logtail（SLS Agent）收集用户云主机上的各类日志数据。
• 云盾：用户云主机上如已安装云盾，能够在SLS 控制台上直接点击经过云盾安装Logtail。
• ODPS：SLS中收集的日志，能够自动归档到用户的ODPS表中，知足在线查询与离线分析的双重需求。