（个评）Big Data - 云中数据湖组件 OSS(对象存储服务)与 AWS S3(Amazon Simple Storage Service)

浅浅的花香味﹌ 2023-02-23 08:28 15阅读 0赞

> ### 云中数据湖组件 （） ###

1、AWS S3对象存储

2、Azure Bold块存储 (ADLS的一个功能)

3、Ali 云 OSS（对象存储服务）

对于应用者来说，类似的东西，只是不同的云平台，不同的组件

个人评测 ： Azure的ADLS更方便易懂一些，毕竟是后出来的云，肯定是比先出现的云有改进，

建议AWS S3 也稍微改进一些，提出一种专门做数据湖的场景应用，哈哈

一下内容转载： [https://blog.csdn.net/makenothing/article/details/102846210][https_blog.csdn.net_makenothing_article_details_102846210]

> ### 1. AWS S3对象存储 ###

Amazon Simple Storage Service (Amazon S3) 是一种面向 Internet 的存储服务。您可以通过 Amazon S3 随时在 Web 上的任何位置存储和检索的任意大小的数据。

Amazon S3将数据作为对象存储在存储区中。一个对象由一个文件和可选的描述该文件的任何元数据组成。在S3里面实质上是没有目录和文件夹的概念，即目录概念实质只是对象的前缀，并不存在实体。

1.1 存储桶(bucket)  
我们的数据都是存储在AWS 的存储桶中，我们可以把桶理解为磁盘分区，不过它是由一个桶名（字符串）唯一标识，即你不能创建别人已经创建过的桶。

1.2 对象  
(1)对象键 (或键名称) 在存储桶中唯一地标识对象。(Key)  
(2)对象元数据是一组名称值对。您可以在上传对象元数据时对其进行设置。上传对象后，您将无法修改对象元数据。修改对象元数据的唯一方式是创建对象的副本并设置元数据。对象元数据又分为系统元数据和用户自定义元数据。  
(3) 数据

1.3 S3存储类型  
类型    可用性    其他  
STANDRARD：    99.99%    最常用的数据类型  
STANDRARD\_IA    99.9%    检索收费，不适用于经常访问的数据  
ONEZONE\_IA    99.5%    无法灵活的应对可用去丢失的情况  
GLACIER    99.99%    不用于实时访问，必须先还原对象，然后再访问  
RRS    99.99%    无  
1.4 S3的使用  
使用SDK的访问服务  
1.5 桶的操作  
创建桶（每个用户最多可以创建100个）  
生命周期的管理

> ### 2 阿里云对象存储服务（Object Storage Service，简称 OSS） ###

是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。

OSS 具有与平台无关的 RESTful API 接口，您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

您可以使用阿里云提供的 API、SDK 接口或者 OSS 迁移工具轻松地将海量数据移入或移出阿里云 OSS。数据存储到阿里云 OSS 以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）和归档存储（Archive）作为不经常访问数据的存储方式。

2.1 存储类型（Storage Class）  
OSS 提供标准、低频访问、归档三种存储类型，全面覆盖从热到冷的各种数据存储场景。其中标准存储类型提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问；低频访问存储类型适合长期保存不经常访问的数据（平均每月访问频率 1 到 2 次），存储单价低于标准类型；归档存储类型适合需要长期保存（建议半年以上）的归档数据，在三种存储类型中单价最低。

2.2 存储空间（Bucket）  
存储空间是您用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。

2.3 对象/文件（Object）  
对象是 OSS 存储数据的基本单元，也被称为 OSS 的文件。对象由元信息（Object Meta）、用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的 Key 来标识。对象元信息是一组键值对，表示了对象的一些属性，比如最后修改时间、大小等信息，同时您也可以在元信息中存储一些自定义的信息。

2.4 地域（Region）  
地域表示 OSS 的数据中心所在物理位置。您可以根据费用、请求来源等选择合适的地域创建 Bucket。

2.5 访问域名（Endpoint）  
Endpoint 表示 OSS 对外服务的访问域名。OSS 以 HTTP RESTful API 的形式对外提供服务，当访问不同地域的时候，需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的。

2.6 访问密钥（AccessKey）  
AccessKey（简称 AK）指的是访问身份验证中用到的 AccessKeyId 和 AccessKeySecret。OSS 通过使用 AccessKeyId 和 AccessKeySecret 对称加密的方法来验证某个请求的发送者身份。AccessKeyId 用于标识用户；AccessKeySecret 是用户用于加密签名字符串和 OSS 用来验证签名字符串的密钥，必须保密。  
————————————————  
版权声明：本文为CSDN博主「yy-captain」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/makenothing/article/details/102846210

[https_blog.csdn.net_makenothing_article_details_102846210]: https://blog.csdn.net/makenothing/article/details/102846210