UCloud云存储技术方案

UCloud

云存储技术方案

1

< /p>

随着无人驾驶、机器人送餐等人工智能（

AI

）应用逐渐进入大众生活，再加上资本热潮的助推，

AI

的 发展

备受瞩目。然而，要真正实现

AI

从概念到落地，还必须具备足够的数据、足够的计算能力和足够的行业

应用三个条件，而 云计算恰好能满足这些要求。

当下，

AI

正与云计算进行深度融合，未来会变得更加智能，

但在智能 化的背后是对海量数据存储的刚性需

求。据不完全统计，单是一辆无人驾驶汽车每秒产生 的数据容量就在

1G

左右，相当于每秒发送

20

万封

纯文本电子邮件或上传

1 00

张高清数码照片。

因此，

没有大容 量和超稳定的存储系统，

这一切都将无从谈

起。无存储，不智能 。为了更加清晰的了解云存储技术的实现过程，

UCloud

存 储研发部将对云存储——

对象存储（

UFile

）技术进行深度解析。

对象存储

UFile

概念

对象存储（

UFile

）是为互联网应用提供非结构化文件 存储的服务；相对于传统硬盘存储，

UFile

具有存储

无上限、支持高并发访问、成本更低等优势；解决业务架构的文件存储问题，有效降低海量文件 的存储成

本，支持热点数据的高并发访问，提升终端用户访问体验。

单地域

UFile

存储架构六大 集群

2

1

）

ULB(UCloud Load Balancer)

实现外网的对接及接入层的负载均衡与容灾处理，

该模块通过定期向接

入层模块端口发送心跳以检测接入层模块的可用性，发现异 常模块及时进行剔除；

2

）接入层提 供文件访问服务，该模块为无状态设计，因此可以平行扩容及缩容；

< br>3

）索引层保存文件对象的元数据信息，包括对象名称、对象大小、创建时间、存 储位置等；

4

）存储层是实际存储文 件数据的模块集群，主要实现文件数据的多份分布及高可靠存储；

5

）数据处理层主要实现

UFile

图片及数据处理，包括图片的实时裁剪、缩放、旋转、水印、格式转换、

信息获取等操 作，客户还可以使用自己的通用计算镜像对数据进行处理；

6

）名字服务主要实现索引层及数据处理层模块的容灾剔除，以上

3

个集群的模块会定期在名字服务注册

自身服务，当其中有部分 模块因机器异常或者网络中断导致无法提供服务时，名字服务会将该机器从名字

中剔除， 并且通知接入层，从而实现后台模块的容灾剔除。

重点设计解 析

UFile

索引层设计

3

< /p>

UFile

索引层为一套分布式

KV

存储系统，

其主要目标是保证

UFile< /p>

对象元数据的高性能、

高可靠、

高可用< /p>

及可扩展的存储，其主要分成两层架构：

1

）索引接入集群解决索引存储集群的管理及元数据的分布，这一层模块为无状态设计 ，通过名字服务实

现异常状态的容灾剔除；

< br>2

）索引存储集群实现对象元数据的分布式存储，每个对象元数据将存储