体验云数据库RDS通用云盘核心能力-深圳网站优化推广公司

体验云数据库RDS通用云盘核心能力

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
对象存储 OSS,20GB 3个月
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 本次课程由杨浩磊(木信)分享,主题为体验云数据库RDS通用云盘的核心能力。内容分为四部分:1) 初识RDS通用云盘,介绍其低成本、高性能的特点;2) 核心能力详解,涵盖IO加速、IO突发和数据归档功能;3) 方案及应用案例,展示实际性能提升与成本优化;4) 线上活动与权益,提供免费试用等优惠。RDS通用云盘通过多级存储架构,显著提升读写性能并降低存储成本,适用于多种业务场景。

内容介绍:

一、初识RDS通用云盘

二、RDS通用云盘核心能力介绍

三、方案及应用案例、产品选型介绍

四、线上活动与权益

 

本次课程主题是体验云数据库RDS通用云盘核心能力。由杨浩磊(木信)分享。

image.png

本次课程按照以下4个部分行展开,第一部分介绍RDS通用云盘。第二部分针对RDS通用云盘的核心能力进行详细介绍。第三部分介绍本次实践用到的方案和产品选型。第四部分介绍线上活动和权益。

 

一、初识RDS通用云盘

image.png

介绍RDS通用云盘之前首先认识RDS。RDS是一款低成本、易操作和轻运维的云数据库RDS。RDS提供安全、稳定、可靠、高性价比和可弹性伸缩的在线数据库服务,包含四款引擎,MySQL、 SQL server、 PostgreSQL和Maria DB。并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,解决数据库运维的烦恼。

image.png

接下来介绍RDS通用云盘,RDS通用云盘利用多级存储介质共同实现高性能和低成本功能,PPT中间上面是计算层ECS,下边是通用云盘。它从左到右分三层,分别是缓存层、数据层和冷存层,三层分别采用不同的存储介质,共同达到更高的性能和更低的成本。

image.png

然后介绍多级存储介质,从左到右分别是高速缓存盘、数据盘和冷存盘,从性能、弹性和可靠性三个维度来对比。性能方面,高速缓存盘有很高的IOPS和很低的IO延时。


数据盘具有适中的吞吐和IO延时,能够使客户正常使用。冷存盘要做网络带宽,它的IO性能相对较弱。弹性方面,弹性主要对比的是存储空间,高速缓存盘的存储空间在64GB和8TB之间,数据盘存储空间范围更大,有10GB到64TB,冷存盘在OSS上,是对象存储,存储空间相对来说是无上限的。


可靠性方面,高速缓存盘用于缓存,所以它的可靠性是单副本并不持久化,不能够持久化的保障。ESSD有多副本,具有AZ级别的容灾,具有比较高的数据保障,冷存盘具有RegIOn级别的容灾,保障性更强。


对比三个特性,总结来看缓存盘有更高的性能,但可靠性相对较弱,而越往下越冷存。性能相对较弱,但容量和可靠性相对较强,缓存盘提供IO加速的能力。客户在用通用云盘时,其实只要看到IO加速开关,并不需要关心用多大的缓存盘。


IO加速的功能对客户是免费的。数据盘结合存储能力,提供IO突发的功能,可以让IO的带宽和云盘的大小进行解耦,能够应对客户突发的流量。成本则根据客户具体突发的使用量进行计费。对于冷存盘,利用低成本的性能提供数据归档,将不常访问的表的数据从ESSD归档到OSS中,用更低的存储介质换取更低的存储成本。

image.png

RDS通用云盘的存储架构,左侧是RDS整体架构,存储层和计算层是分离的,上层是计算层,下层是存储层,存储层是融合三种存储介质的通用云盘。


这三种存储介质分别是缓存,数据和冷存。高速缓存盘提供IO加速的能力。IO加速通过两方面,一方面扩充Buffer Pool,将Buffer Pool里的配置放到Buffer Pool Extension里,进一步提升查询效率。另一方面,将ESSD数据盘里的临时表文件放到高速缓存盘。能够更进一步的加快复杂查询。数据盘与之前的RDS保持一致。冷存盘用OSS对象存储,主要将数据盘里的ibd数据文件通过DDL转移到OSS中,转移之后不影响正常访问,可以提供只读查询。


总的来说,RDS通用云盘利用多级存储架构可以为整体的RDS提供大幅的读写性能的提升,将数据存储到OSS上之后,存储成本大幅度的下降。

image.png

 

 

二、RDS通用云盘核心能力介绍

image.png

RDS通用云盘的三项核心能力,第一项是缓存层的IO加速。缓存层的IO加速是通过两个能力来提升RDS的查询速度,第二项是Buffer Pool Extension,第三项是将临时表空间从ESSD放到高性能的缓存盘中,架构图主要是Buffer Pool Extension的工作机制,如果没有Buffer Pool Extension,当一个查询来向数据库进行查询时,首先看BP里面有没有命中,如果没有命中就直接去ESSD中查询。


有Buffer Pool Extension之后,如果BP没有命中,会去BPE里查询。BPE没有命中之后才会去ESSD中查询,相当于加一层缓存,扩充内存的数据,提高查询的速度。因为中间加层缓存,相对来说能够提高一定的稳定性,具体是减少云盘的IO吞吐抖动,对RDS造成的一些影响。右边是在8核16G的RDS上进行的性能测试的数据。

image.png  

总结IO加速的性能优势,第一个提高读写性能,缩短SQL查询的执行耗时。第二条提高实例稳定性,降低云盘IO抖动对数据库的影响,因为中间加一层缓存盘来作为缓存。第三个是IO加速本身不需要额外支出费用。客户在使用RDS通用云盘时,只需打开IO加速的开关,并不需要关心使用多大的缓存盘。阿里云会根据实际的规格来分配对应的缓存盘大小,本身这块盘是不需要支付额外的费用。


image.png


介绍IO突发,IO突发释放的是底层的存储能力。首先介绍IO突发的背景,在RDS之前各种的存储介质里面是PL1到PL3,IO性能都是跟云盘容量绑定,当客户的IO流量激增时,想要更高的IO带宽或者IOPS时,就需要提升云盘的容量或者提升云盘的PL等级。使用RDS通用云盘后,应对激增的IO流量时,只要打开IO突发。IO突发有两个功能优势。一个是把IO的性能和云盘存储进行解耦。另一个是提供IO性能突发能力能够应对实际IO流量的激增,对云盘的IO上限进行弹性的提升。具体的费用根据实际的突发使用量收费,不需要额外为存储容量本身付费。


image.png


介绍IO突发的说明,表格里面和官网上描述相同,IO突发只是对RDS存储层的IO进行释放,但整个RDS的IOPS受ECS和云盘两块的影响,也受到计算层的影响。如果真正要释放突发能力,需要配合较高的RDS规格才能发挥优势。也就是为什么打开突发之后,IOPS上限值和吞吐的上限值都有实际规格,有最大的IO上限值。没有打开IO突发时,有提升的IOPS,是RDS通用云盘对比于ESSD PL的差异性,RDS通用云盘的基准的IOPS已经比ESSD PL高出一部分。具体高出多少可以参考官方文档。

image.png

介绍冷存层的数据归档,冷存层的据归档就是利用阿里SQL自研的OSS存储技术,将数据从ESSD中通过DDL转移到OSS中。并且它是完全兼容InnoDB存储引擎,归档表允许select正常查询,归档表的查询可以通过IO加速进行查询加速,因为OSS的查询性能相对较弱,没有ESSD盘高,可以通过前加内存缓存盘来提升它的查询加速。


下图是对于归档表的查询,在没有开启IO加速和开启IO加速之后,归档表的查询速度有明显的提升,图片左侧是归档表的整体架构,上层是内存,下层是通用盘,将ibd文件通过DDL之后切分出metadata和头文件,metadata和头文件存放在ESSD上,而大部分将会切块之后放到OSS中。相当于数据归档实验的架构图。


image.png

数据归档之后会把数据存放成两部分,一部分在ESSD里,一部分在OSS中。怎么对这两部分数据做备份拍照是比较大的挑战。这里采用自研的GrailFS的备份系统,将常规数据和归档数据完成一致性的快照。


RDS内核提供缩表的语义,在备份期间禁止OSS DDL不影响正常的常规表的DDL。此外OSS备份时会有备份文件膨胀。这里加一些自动回收的机制防止备份文件块进行膨胀,左侧是归档备份的整体流程图,当备份请求过来之后,备份系统会向引擎下发一个缩表的动作,然后创建一个快照,也就是将metadata拷贝一份,当metadata拷贝后就会解锁OSS DDL。


解锁后,引擎已经可以正常的去进行OSS 的DDL,但备份还没有完成,因为将metadata获取完,需要进一步的拷贝OSS里面的block,当OSS里的block拷贝完成后,备份完成。图中的3和4对应的是两次不同的备份,3代表的是初次备份时会进行一次全拷贝,4代表增量的备份时,只拷贝delta的数据。

image.png

介绍数据归档的使用情况,对于RDS MySQL和RDS PostgreSQL有不同的DDL来执行,执行后这些表都会归档到OSS。表可以支持select查询。对于SQL server和Maria DB。SQL server支持的数据归档可以参考官方文档,而Maria DB暂时不支持数据归档功能。

image.png

 

 

三、方案及应用案例、产品选型介绍

image.png

本次实践是体验RDS通用云盘里IO加速、IO突发和数据归档三项功能。这三项功能可以分成两块,一块是体验性能,一块是体验它的成本,首先主要用到一个RDS MySQL通用版实例和ECS实例,用ECS来对RDS进行压测,体验IO加速和IO突发这两个功能带来的性能提升,DMS执行DDL将数据归档到OSS里,来体验数据归档功能带来的成本优势。


image.png

选型是选用一个RDS MySQL,以RDS MySQL来进行实践,选用RDS MySQL8.0高可用系列,8核16G,然后用200g的通用云盘,另外用ECS,8核32G,用40G的系统盘来作为压测机。


image.png

介绍RDS通用云盘的客户实战,汇联遇到业务高峰期后,数据库查询压力激增。然后选择RDS通用云盘,打开IO突发之后性能有显著的提升,而且成本也获得比较大的收益。

image.png  

 

四、线上活动与权益

image.png

首先是数据库上云,超值礼包抢先领,可以访问图中链接,右边可以免费试用RDS MySQL高可用版,8核4G,50G的存储,可以在免费试用频道搜索云数据库RDS MySQL。

image.png

以上是本次分享的全部内容。

image.png

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2天前
|
弹性计算 关系型数据库 测试技术
RDS通用云盘核心能力
本次实验主要体验RDS通用云盘的三项核心能力:IO加速、IO突发和数据归档。首先创建实验资源,包括RDS MySQL实例和ECS实例,耗时约5分钟。接着通过sysbench导入数据并配置安全设置。 在体验阶段,我们对比了开启和关闭IO加速及IO突发功能对RDS性能的影响,观察到QPS有显著差异。最后,通过将数据从云盘迁移到OSS中,展示了冷存层的数据归档功能,并进行RDS硬盘缩容,验证了其成本优势。整个实验过程详细记录了每一步操作,确保用户能直观感受到RDS通用云盘带来的性能提升和成本优化。
65 41
RDS通用云盘核心能力
|
3月前
|
关系型数据库 数据安全/隐私保护 对象存储
体验RDS通用云盘核心能力
体验RDS通用云盘核心能力
|
11天前
|
关系型数据库 开发者 RDS
【实践】体验RDS通用云盘核心能力
这些图片展示了阿里巴巴云开发生态的不同方面,包括开发者工具、平台服务、技术文档、社区支持等,旨在为开发者提供全面的支持和便利,促进技术创新和应用开发。
|
4月前
|
弹性计算 关系型数据库 MySQL
新一期陪跑班开课啦!阿里云专家手把手带你体验RDS通用云盘核心能力
本次课程将手把手带领用户创建一个云数据库RDS MySQL(通用云盘),并通过云服务器ECS对RDS MySQL实例进行压测,体验IO加速和IO突发带来的性能提升;并通过DMS执行DDL,将数据归档到OSS,再结合云盘缩容,体验数据归档带来的成本优势。
|
3天前
|
运维 关系型数据库 MySQL
自建数据库迁移到云数据库RDS
本次课程由阿里云数据库团队的凡珂分享,主题为自建数据库迁移至云数据库RDS MySQL版。课程分为四部分:1) 传统数据库部署方案及痛点;2) 选择云数据库RDS MySQL的原因;3) 数据库迁移方案和产品选型;4) 线上活动与权益。通过对比自建数据库的局限性,介绍了RDS MySQL在可靠性、安全性、性价比等方面的优势,并详细讲解了使用DTS(数据传输服务)进行平滑迁移的步骤。此外,还提供了多种优惠活动信息,帮助用户降低成本并享受云数据库带来的便利。
|
4月前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
18天前
|
安全 关系型数据库 MySQL
体验自建数据库迁移到云数据库RDS,领取桌面置物架!
「技术解决方案【Cloud Up 挑战赛】」正式开启!本方案旨在帮助用户将自建数据库平滑迁移至阿里云RDS MySQL,享受稳定、高效、安全的数据库服务,助力业务快速发展。完成指定任务即可赢取桌面置物架等奖励,限量供应,先到先得。活动时间:2024年12月3日至12月31日16点。
|
4月前
|
SQL 关系型数据库 数据库
数据库空间之谜:彻底解决RDS for SQL Server的空间难题
【8月更文挑战第16天】在管理阿里云RDS for SQL Server时,合理排查与解决空间问题是确保数据库性能稳定的关键。常见问题包括数据文件增长、日志文件膨胀及索引碎片累积。利用SQL Server的动态管理视图(DMV)可有效监测文件使用情况、日志空间及索引碎片化程度。例如,使用`sp_spaceused`检查文件使用量,`sys.dm_db_log_space_usage`监控日志空间,`sys.dm_db_index_physical_stats`识别索引碎片。同时,合理的备份策略和文件组设置也有助于优化空间使用,确保数据库高效运行。
113 2
|
4月前
|
关系型数据库 数据库 数据安全/隐私保护
"告别繁琐!Python大神揭秘:如何一键定制阿里云RDS备份策略,让数据安全与效率并肩飞,轻松玩转云端数据库!"
【8月更文挑战第14天】在云计算时代,数据库安全至关重要。阿里云RDS提供自动备份,但标准策略难以适应所有场景。传统手动备份灵活性差、管理成本高且恢复效率低。本文对比手动备份,介绍使用Python自定义阿里云RDS备份策略的方法,实现动态调整备份频率、集中管理和智能决策,提升备份效率与数据安全性。示例代码演示如何创建自动备份任务。通过自动化与智能化备份管理,支持企业数字化转型。
116 2
|
4月前
|
存储 C# 关系型数据库
“云端融合:WPF应用无缝对接Azure与AWS——从Blob存储到RDS数据库,全面解析跨平台云服务集成的最佳实践”
【8月更文挑战第31天】本文探讨了如何将Windows Presentation Foundation(WPF)应用与Microsoft Azure和Amazon Web Services(AWS)两大主流云平台无缝集成。通过具体示例代码展示了如何利用Azure Blob Storage存储非结构化数据、Azure Cosmos DB进行分布式数据库操作;同时介绍了如何借助Amazon S3实现大规模数据存储及通过Amazon RDS简化数据库管理。这不仅提升了WPF应用的可扩展性和可用性,还降低了基础设施成本。
95 0

热门文章

最新文章

下一篇
DataWorks

相关内容推荐

街霸5相性制作网站定西市怎么制作网站平台六安网站制作蛋糕文案山西省财政厅网站制作官方网站制作价格鄂州网站制作表情包如何制作自己的网站免费制作投票问卷的网站网站建设与制作考试题制作诺基亚壁纸网站天津网站制作ppt如何自己制作同学录网站模板网站制作头像网站制作学生vs制作网站是怎么实现的以前有个图片制作视频的网站福州制作网站公司有哪些潍坊网站制作联系方式静态网站制作实训报告舟山宝安国内网站制作哪个好普陀网站制作费用网页设计与制作音乐网站制作网站需要资质不庆阳网站公司制作嘉兴网站制作设计茌平网站制作公司网站制作属于哪个部门交易网网站制作唐山网站制作方案三沙网站制作优化街舞网站制作壁纸个人网站制作的结束语网站设计制作 合肥CRM系统制作网站偏门网站制作诸暨有哪些网站制作精美网站制作公司经验网站自己制作好还是外包好厦门制作网站设计一般多少钱双流租房网站制作长春58同城网站制作云丰网站制作lol搞笑图片制作网站网站的页眉图片怎么制作制作自己的音乐网站宜州家电维修网站制作售后如何制作word网站古董网站制作表格web个人网站如何制作象山制作云文字的网站有哪些七夕网页制作免费网站制作莘庄工业区网站制作报价朝阳企业营销网站制作自贡html模板网站制作诸暨ps制作模板网站有哪些咸阳门户网站制作舟山潜山网站制作哪个品牌好网站制作前期工作陕西网站建站制作网站制作开什么发票东阳成都金融网站如何制作制作网站怎么设置背景图衡水企业网站制作报价制作好网页如何上传到网站舟山专业制作网站仪表找哪个公司信阳家政网站制作周五综艺网站制作马鞍山网站制作哪家好怎么制作个人业务网站免费音乐下载网站制作星图制作网站上海网站制作推荐乐云seo普洱网站制作流程山西网站建设制作专家西安网站制作美食简单保定网站设计制作青岛英语网站制作费用湛江主页网站制作广州酒店网站制作模板网站制作头像卡萨布兰卡电影网站制作石岩搜索网站制作网站标签怎么制作如何用墨芳网站制作书画印章余姚制作网站有哪些技术天河区网站建设制作横岗网站制作多少钱樱桃网站制作雪糕中青旅网站制作视频正规网站制作设计手机主题怎么自己制作网站怎样利用前端制作网站安徽外贸网站制作招考网站制作干花涟源网站制作与推广重庆网站重庆网站制作制作网页制作好了如何发布到网站赣州官网网站制作公司山东潍坊网站制作公司制作访问权网站家政网站制作爱情种子网站制作北京网站制作详细步骤照片制作装裱网站网站LOGO制作雪糕做法制作免费简历网站制作u盘启动盘哪个网站最好html相亲网站制作代码承德电影网站制作如何手机制作一个抽奖网站无锡网站制作必咨新互动网络网站分栏制作永州微网站制作网页设计与制作免费网站代码免费制作圣旨网站旅游网站制作表格app顺义网页制作网站南通网站制作 楚水敦煌如何制作网站长春网站主题制作网站制作jk灬云速捷武安网站制作多少钱飞向未来路桥网站制作哪家好网站制作与分析的简介地铁网站制作视频照片在线制作成视频网站门户网站制作奶茶棕发色桂城网站建设制作网络上网站制作教学是真的吗绍兴精品网站制作顺义网页制作网站辅助制作培训网站试卷网站制作手工薛城网站制作推广网站制作优化首选金苹果关系网站视频制作廊坊搬家网站制作网站怎么制作批量下载图片黑河网站制作教程企业网站制作预算起航小说网站制作扬州网站制作哪家专业平顶山网站制作所需资料大数据网站制作流程衢州制作二维码的网站哪个好吴中区外贸网站制作建网站的网页制作制作网站的准备宁陵网站制作成都普通网站制作个人制作简历的网站90影视网站制作琴行网站视频制作教app制作网站英文网站制作怎么做A网站制作起泡个人网站表白在线制作免费外贸网站制作华博互联网站设计制作标准大连网站制作小玩具测评宁波网站制作首荐荣盛网络号手工制作布艺的网站上海网站制作哪家最好初中信息网站制作教案酉阳品牌网站制作哪家正规衢州网站制作设计用html5制作跳蚤市场网站制作成长手册的网站视频制作电脑版网站南边响应式网站制作公司海口网站制作美食视频华富便宜的网站制作公司好吗顺义制作企业网站价格经济学论文网站制作离石商城网站制作kali制作钓鱼网站教程视频商务网站前台展示页面制作重庆专门网站制作南阳定制网站制作电话清华大学网站视频制作网站模板制作实例网站制作站点层数表白网站视频制作帝国影视网站制作美食网站网页设计制作代码我的世界动画制作器网站推荐自作电路板制作网站网站制作当前位置的获取造纸业网站制作哪家快有关美食的网站制作制作二维码网站带商品信息北京网站制作开发周期需要多久青岛网站制作雪糕大丰手机网站制作网站注册表制作流程威海制作企业网站诸暨律师网站制作网站制作招标文件模板如何自己制作官方网站泗门多语言网站制作

合作伙伴

深圳网站优化推广公司

龙岗网络公司
深圳网站优化
龙岗网站建设
坪山网站建设
百度标王推广
天下网标王
SEO优化按天计费
SEO按天计费系统