张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

SDS抗造的常见方法介绍

2018-12-02 11:09 次阅读
1 软件定义“抗造” 我们知道软件定义存储SDS有很多优势,比如: 软硬件分离,无硬件厂商定。 高扩展性,在线按需扩容,无需中断业务。 标准控制API接口,秒级操作,无缝对接其他系统。 标准数据访问接口,支持块、文件、对象存储等。 性能和容量可配置,满足当前和未来场景的需求。 除此之外,SDS还可以灵活定义可靠性、可用性,因此SDS特别抗造。 我们先了解可靠性和可用性的含义,再对故障进行分类,最后对比各种抗造技术,方便大家在做SDS选型和架构设计时进行“软件定义”。 2可靠性与可用性 可靠性(durability):表示数据是否丢失。比如硬盘发生介质故障,导致硬盘里面的数据丢失。 SDS抗造的常见方法介绍 可用性(availability):表示数据是否可以访问。比如因为服务器掉电原因,导致暂时不能访问服务器硬盘中的数据。 SDS抗造的常见方法介绍 3故障分类 总体分类为:硬件、软件、天灾、人祸。具体分类如下表所示。 SDS抗造的常见方法介绍 其中硬盘发生故障非常频繁,下面云备份服务商blackblaze的硬盘年平均故障率统计,一共统计了82516块硬盘在2013年~2017年间的故障率。 在实际经验中,我们也会经常碰到服务器、机柜、交换机、站点的故障。那么多故障,我们需要不同的技术来应对,下面我们来看不同技术的优缺点。 4抗造技术 4.1 单机RAID 一般服务器上都会自带RAID卡,支持RAID1、10、5、6等。RAID技术通过数据冗余保证在1~N块硬盘故障时,数据不丢失,并且同时可以访问到数据。 比如RAID5支持同时坏1块硬盘,RAID6支持同时坏2块硬盘。 SDS抗造的常见方法介绍 但是RAID的缺点是: ●仅支持单机。假如服务器宕机,RAID技术也无力回天。 ●数据恢复速度慢,受限于单个硬盘的写速度,导致RAID组要恢复健康状态需要10个小时以上,特别在越来越大的硬盘容量的情况下。在数据恢复过程中,容易发生二次故障,导致数据丢失。 ● RAID组所包含的硬盘数量太少,不能并行发挥所有硬盘的性能。 ●需要单独的Spare热备盘,平时会造成资源浪费。 4.2 多机网络多副本 因为单机RAID的缺点,随着万兆以太网的普及,多机网络多副本技术随之产生,广泛被各种分布式存储软件使用。 SDS抗造的常见方法介绍 多机网络多副本的优点是恢复速度快,并行发挥所有硬盘的性能,另外当单台服务器宕机了,不影响数据的可用性和可靠性,其他服务器继续提供服务。缺点是存储容量利用率低,可用容量和裸容量比例是1:3。 4.3 多机网络EC纠删码 为了解决多副本的存储容量利用率低的问题,大家开发了网络EC纠删码,也被广泛应用在分布式存储上,比如HDFS的EC纠删码。 SDS抗造的常见方法介绍 它优点是可用容量和裸容量比例是1:1.3~1.5,大文件写吞吐量高,缺点是写操作延迟高。 4.4 机架柜列故障域隔离 SDS还可以定义数据分布策略,这样可以防止机架柜列掉电造成的影响。 SDS抗造的常见方法介绍 假如多副本分布在不同的机架上,则任一机架掉电,不影响数据可靠性和可用性。 假如多副本分布在不同的柜列上,则任一柜列掉电,不影响数据可靠性和可用性。 4.5 网络冗余 SDS通过网口链路聚合和交换机堆叠技术,提供网络冗余度,避免单个网口和交换机的故障造成数据不可访问的影响,提高数据可用性。 SDS抗造的常见方法介绍 4.6 多站点多副本 为了满足存储系统两地三中心、多站点多活的需求,目前部分SDS产品的对象存储服务支持多站点多副本技术,数据三个副本同时存储在三个站点上,可以多站点同时访问,支持多活技术。当任意一个站点发生故障时,不影响其他站点的数据访问和写入。 SDS抗造的常见方法介绍 4.7 多站点EC纠删码 多站点EC纠删码技术可以提高存储容量利用率,支持在1个站点故障的情况下,数据能够正常访问和读写,适用于冷数据和归档场景。 SDS抗造的常见方法介绍 4.8 Cloud Sync(云备份) 不是所有场景都有条件建设多站点,因此SDS的Cloud Sync(云备份)功能应运而生,可以把数据异步复制到公有云和异地私有云上,避免额外建设,降低成本。当本地存储集群发生故障时,数据可以快速恢复和访问。 SDS抗造的常见方法介绍 具体应用场景如下所示: SDS抗造的常见方法介绍 4.9 智能故障自愈 SDS可以采用先进的数据分布算法,在出现硬盘故障和服务器故障时可以进行数据迁移和重平衡,故障硬盘会被踢出存储集群,不再工作。数据迁移完成后,SDS存储集群恢复正常,无须人工干预。因当出现硬盘故障时,可以不用处理,后期再批量更换硬盘,减少运维成本。 4.10 对象存储超时删除 对于特定场景,数据保存一定周期之后需要删除,以便释放空间,SDS的对象存储服务具有超时删除功能。下图是10天后删除数据的设置。 SDS抗造的常见方法介绍 4.11 监控告警平台 通过监控告警平台,可以把不同级别的告警信息通过邮件和短信发送给管理员,让管理员快速知晓存储集群的健康状态,并采取适当的行动。 SDS抗造的常见方法介绍 5 技术对比 下表对比了不同技术的抗造指标,我们要根据实际场景进行选择和组合,权衡数据可靠性和成本。 SDS抗造的常见方法介绍
收藏 人收藏
分享:

评论

相关推荐

GPRS模块+服务器监控5W台设备服务器会不会塞死?

   大家好,我有个项目要做到服务器监听5万台GPRS模块,通过WEB发布给用户. 监控的模块太多,GPRS要保证不掉...
发表于 03-18 04:25 20次 阅读
GPRS模块+服务器监控5W台设备服务器会不会塞死?

边缘计算技术如何实现万物互联,推动产业发展

现阶段的物联网商业体系处于正在发展阶段,物联网基础设施架构还不完善,在这方面想要超过当前的IT数据中....
发表于 03-17 09:20 148次 阅读
边缘计算技术如何实现万物互联,推动产业发展

如何搭建家用媒体服务器

树莓派给了我们这帮DIY的Geeker们一个可以使劲折腾的平台,拿到以后搞了一些东西。本来是准备先搞....
的头像 发烧友学院 发表于 03-15 14:28 152次 阅读
如何搭建家用媒体服务器

网络的安全三步曲防火墙+双网+闸的详细资料说明

网络的攻击主要来源于两方面:黑客的攻击,我们每天都会面临很多的DOS,DDOS攻击。另一方面,因为蠕....
发表于 03-15 08:00 38次 阅读
网络的安全三步曲防火墙+双网+闸的详细资料说明

2018年全球X86服务器市场强劲复苏

Gartner公司公布了2018年第四季度以及2018年度全球X86服务器市场调查报告。报告显示,销....
的头像 墨记 发表于 03-15 08:00 1416次 阅读
2018年全球X86服务器市场强劲复苏

PHP配置注释和程序教程

本文档的主要内容详细介绍的是Discuz!-X--config-global PHP配置注释和程序教....
发表于 03-14 17:17 14次 阅读
PHP配置注释和程序教程

FL2440 Linux实验指导手册的详细资料说明

本文档的主要内容详细介绍的是FL2440 Linux实验指导手册的详细资料说明内容包括了:一 嵌入式....
发表于 03-13 15:55 18次 阅读
FL2440 Linux实验指导手册的详细资料说明

如何设计一个Ph值集中监测系统的资料说明

在自来水厂、污水处理厂、造纸厂及水质监测、水文监测、环境保护等行业,需要对水质的一些参数进行监测,最....
发表于 03-12 17:05 25次 阅读
如何设计一个Ph值集中监测系统的资料说明

IDC:本季度全球X86服务器出货296.5万台,销售额达211.0亿美元

日前,IDC公司公布了2018年第四季度以及2018年度全球服务器市场调查报告。
的头像 浪潮存储 发表于 03-12 16:10 374次 阅读
IDC:本季度全球X86服务器出货296.5万台,销售额达211.0亿美元

大彩物联型串口屏与云端和手机APP通讯教程免费下载

广州大彩物联型串口屏引入了物联网的概念,通过屏上 WIFI 模组可以快速实现串口屏与云端服务器进行数....
发表于 03-12 08:00 56次 阅读
大彩物联型串口屏与云端和手机APP通讯教程免费下载

数据库MySQL的用户笔记详细资料说明

我们的电脑多了一个功能,就是服务器,我们在自己的电脑上安装集成环境,这个时候我们的电脑就已经具备了接....
发表于 03-12 08:00 30次 阅读
数据库MySQL的用户笔记详细资料说明

诺基亚的一些新机曝光又出现在了富士康FIH的服务器上

值得注意的是另外两款手机。诺基亚“Taishan”以前称为“Taisun”或TAS,是一款新的诺基亚....
发表于 03-11 09:37 113次 阅读
诺基亚的一些新机曝光又出现在了富士康FIH的服务器上

华为在深圳总部发表重要声明称:决定正式起诉美国

实际上,此消息早先,已有《纽约时报》等多家国际媒体报道,华为将在本周起诉美国当局。《纽约时报》认为,....
的头像 电子发烧友网工程师 发表于 03-10 10:15 931次 阅读
华为在深圳总部发表重要声明称:决定正式起诉美国

杰和2U四路关键业务服务器,计算能力和能效比强大

业内,提及关键业务服务器,必然有一个词与之紧密相关,即RAS特性:可靠性(Reliability)、....
发表于 03-09 09:44 151次 阅读
杰和2U四路关键业务服务器,计算能力和能效比强大

全志R16软硬件全套设计资料合集免费下载

全志R16软硬件全套设计资料和固件,环境搭建及IC等资料合集免费下载。包括了:AX223数据表,Ph....
发表于 03-08 08:00 33次 阅读
全志R16软硬件全套设计资料合集免费下载

Apache Shiro框架的详细资料说明

自 2015 年 9 月 10 日以来,KyCore 项目中的用户机制已被完整地替换为了以 Apac....
发表于 03-08 08:00 23次 阅读
Apache Shiro框架的详细资料说明

中兴通讯正式发布了ES600S MEC服务器

随着物联网和人工智能的发展,数据量呈现指数级增长,越来越多的数据需要在网络边缘进行存储、分析和处理,....
发表于 03-07 08:59 149次 阅读
中兴通讯正式发布了ES600S MEC服务器

GPRS通信网络端口一直在改变

终端通过GPRS与服务器通信,目前在服务器上采用网络调试助手接收报文时发现,终端每次发送给服务器端口的数据,调试助手那边...
发表于 03-07 01:06 56次 阅读
GPRS通信网络端口一直在改变

PHP教程之PHP动态网页怎么转换成HTML

虽然动态网页相比于静态页面拥有许多优势,但它在搜索引擎的检索上却碰了个大钉子。无论任何一家网站,尤其....
发表于 03-06 11:41 42次 阅读
PHP教程之PHP动态网页怎么转换成HTML

基于微信公众平台开发的wifi设备如何将这个设备和wifi模块进行联系

我想用微信公众号来控制wifi设备,类似于智能插座那样的东西,在微信公众号中设定了一个产品id,由这个产生一个设备id和二维码然...
发表于 03-06 04:27 56次 阅读
基于微信公众平台开发的wifi设备如何将这个设备和wifi模块进行联系

请问ESP8266接收数据如何判断是不是指定的数据?

          我想请教一下ESP8266接收到的数据应该如何判断是不是指定的数据?我用的时原子的E...
发表于 03-06 03:10 39次 阅读
请问ESP8266接收数据如何判断是不是指定的数据?

请问如何传输数据到云服务器?

各位大佬好,我想把用单片机检测到的温湿度数据上传到云端存储,想问一下云服务器是什么?需要用到什么模块进行数据的上传? 我...
发表于 03-05 20:32 83次 阅读
请问如何传输数据到云服务器?

南亚科表示近期服务器用DRAM需求已经反弹 下半年仍有产业旺季效应可期

DRAM大厂南亚科总经理李培瑛表示,近期服务器用DRAM需求已经反弹,此举将帮助第二季DRAM市况优....
的头像 半导体动态 发表于 03-05 17:30 1887次 阅读
南亚科表示近期服务器用DRAM需求已经反弹 下半年仍有产业旺季效应可期

如何将自己的脚本代码放到服务器上运行

连接服务器可以在这个页面的右边的远程连接进行连接,这个第一次点进去会有个远程连接密码,需要记住,因为....
的头像 电子发烧友网工程师 发表于 03-05 09:41 510次 阅读
如何将自己的脚本代码放到服务器上运行

技术成为语音芯片研发的瓶颈 外企把中国当贼防

半导体是电子产品的基石,从掀盖手机到服务器,每一项产品都得用到半导体,现在中国已不甘屈就于组装厂,而....
的头像 电子发烧友网工程师 发表于 03-05 08:34 283次 阅读
技术成为语音芯片研发的瓶颈 外企把中国当贼防

如何使用eclipse和Wamp Server搭建PHP开发环境的详细资料说明

本文档的主要内容详细介绍的是如何使用eclipse和wampserver搭建php开发环境的详细资料....
发表于 03-04 18:01 37次 阅读
如何使用eclipse和Wamp Server搭建PHP开发环境的详细资料说明

基于crontab命令的Linux服务器定时任务执行步骤

Linux服务器定时任务
发表于 03-04 16:36 48次 阅读
基于crontab命令的Linux服务器定时任务执行步骤

一名19岁的白帽黑客在报告软件和在线服务漏洞中赚取了100多万美元

据外媒报道,一名19岁的少年在报告软件和在线服务漏洞中赚取了100多万美元。
的头像 E安全 发表于 03-04 10:43 942次 阅读
一名19岁的白帽黑客在报告软件和在线服务漏洞中赚取了100多万美元

PHPwind9.0论坛安装详细图解教程资料免费下载

第一步:在官方下载phpwind9.0源代码,然后把upload文件夹下的所有程序用FlashXP.....
发表于 03-01 16:52 37次 阅读
PHPwind9.0论坛安装详细图解教程资料免费下载

基于MicroBlaze软核处理器的嵌入式Web服务器设计详解

由于Internet技术的渗透,嵌入式系统正变得越来越智能化并具有越来越多的网络友好特性。Web技术....
发表于 03-01 15:18 120次 阅读
基于MicroBlaze软核处理器的嵌入式Web服务器设计详解

SIM900A GPRS发送数据出现ERROR

和服务器建立TCP连接后,第使用AT+CIPSEND命令发送第一次命令,命令成功发送,服务器返回了数据,但是接着再次使用A...
发表于 02-28 22:38 70次 阅读
SIM900A GPRS发送数据出现ERROR

PHP fsockopen函数被禁用的解决方法详细资料说明

为了服务器安全考虑很多主机商禁用了php的fsockopen函数,昨天进博客,使用cos-html-....
发表于 02-28 15:51 26次 阅读
PHP fsockopen函数被禁用的解决方法详细资料说明

labview在部署共享变量时可以找到服务器,只有一个system,找不到服务器中的共享变量,这是什么原因呢?

发表于 02-28 11:27 129次 阅读
labview在部署共享变量时可以找到服务器,只有一个system,找不到服务器中的共享变量,这是什么原因呢?

中兴通讯发布了ES600S MEC服务器具备很强的神经网络推理能力

随着物联网和人工智能的发展,数据量呈现指数级增长,越来越多的数据需要在网络边缘进行存储、分析和处理,....
发表于 02-28 10:52 325次 阅读
中兴通讯发布了ES600S MEC服务器具备很强的神经网络推理能力

回调函数的详细资料说明

异步事件的处理,首先将异步事件发生时需要执行的代码编写成一个函数,并将该函数注册成为回调函数,这样当....
发表于 02-28 08:00 38次 阅读
回调函数的详细资料说明

DRAM与NAND市场分析

从营收角度观察,厂商普遍难逃季衰退的命运。产业龙头三星在服务器内存出货大减的冲击下,第四季位元出货在....
的头像 电子发烧友网工程师 发表于 02-27 14:02 3948次 阅读
DRAM与NAND市场分析

如何使用ARM9设计微型网络计算机系统的资料说明

网络计算机(Ne咖rk Computer,NC)是一种基于网络计算环境的信息访问处理终端设备,是国家....
发表于 02-26 16:56 49次 阅读
如何使用ARM9设计微型网络计算机系统的资料说明

使用互连网进行远程冰箱监控方法和系统的资料说明

一种基于互连网的远程冰箱监控方法,由本地机将命令通过通讯信道发送给智能冰箱;智能冰箱据此改写运行参数....
发表于 02-25 08:00 39次 阅读
使用互连网进行远程冰箱监控方法和系统的资料说明

中国电信物联网开放平台NB-IoT模组对接指导书免费下载

在设备侧,智能设备采用了 NB-IOT 芯片,它和中国电信物联网开放平台之间通过 CoAP 协议通讯....
发表于 02-25 08:00 81次 阅读
中国电信物联网开放平台NB-IoT模组对接指导书免费下载

信骅科技首次参加MWC19世界移动通讯大会

信骅科技将于2月25日至28日参加西班牙巴塞罗那举办的MWC19世界行动通讯大会,并首次在欧洲亮相C....
的头像 人间烟火123 发表于 02-22 14:44 875次 阅读
信骅科技首次参加MWC19世界移动通讯大会

PHP的安全性详细资料说明

本文所讨论的安全性环境是在Linux+Apache+Mysql+PHP。超出此范围的安全性问题不在本....
发表于 02-22 14:25 43次 阅读
PHP的安全性详细资料说明

Java程序设计教程之Java WEB服务器端编程的详细资料说明

本文档详细介绍的是Java程序设计教程之Java WEB服务器端编程的详细资料说明主要内容包括了:1....
发表于 02-22 10:28 40次 阅读
Java程序设计教程之Java WEB服务器端编程的详细资料说明

JAVA教程之JSP基础语法的详细资料说明

本文档的详细介绍的是JAVA教程之JSP基础语法的详细资料说明主要内容包括了:、掌握JSP中注释语句....
发表于 02-22 10:27 44次 阅读
JAVA教程之JSP基础语法的详细资料说明

战舰版测试GPRS小板传数据出现丢失

战舰版和GPRS小板都是原子家的。服务器是自己建的,具有公网IP,也开了端口。总之服务器应该没问题。现在现场测试的过程如...
发表于 02-21 22:23 53次 阅读
战舰版测试GPRS小板传数据出现丢失

JavaWeb开发环境配置资料总结

本文档的详细介绍的是Java Web开发环境配置资料总结主要内容包括了:1.B/S结构,2.服务器安....
发表于 02-21 16:50 40次 阅读
JavaWeb开发环境配置资料总结

全球第一!曙光服务器刷新SPEC CPU四项世界纪录

曙光近期传捷报:I980-G30在SPEC CPU 2017基准测试中,创下Rates_FP、Rat....
的头像 人间烟火123 发表于 02-21 15:01 645次 阅读
全球第一!曙光服务器刷新SPEC CPU四项世界纪录

PHP提示Undefined index的解决方法资料说明

首先,这个不是错误,是warning。所以如果服务器不能改,每个变量使用前应当先定义。
发表于 02-21 11:34 36次 阅读
PHP提示Undefined index的解决方法资料说明

Java Web的开发前奏详细资料免费下载

本文档的详细介绍的是Java Web的开发前奏详细资料免费下载主要内容包括了:1、Java Web开....
发表于 02-21 10:37 68次 阅读
Java Web的开发前奏详细资料免费下载

STM32F407网络通信测试发出PING后出现错误

MCU是STM32F407,用的UCOSII + LWIP,使用官方contrib-1.4.1的PING例程测试,在发出PING后出现错误“A...
发表于 02-20 07:16 242次 阅读
STM32F407网络通信测试发出PING后出现错误

产业前途茫茫 DRAM出货量在旺季出现衰退的局面

虽然2018年整体DRAM产值达到了接近1000亿的规模,较2017年成长了39%,但第四季旺季却出....
的头像 CINNO 发表于 02-19 16:46 924次 阅读
产业前途茫茫 DRAM出货量在旺季出现衰退的局面

Java新IO的Web安全网关设计资料说明

在实践经验的基础上分析了Java NIO 的特性,采用事件驱动、非阻塞的IO 多路复用、多线程、安全....
发表于 02-19 16:19 36次 阅读
Java新IO的Web安全网关设计资料说明

PHP中REQUEST和POST及GET有什么区别

PHP中有$_REQUEST与$_POST、$_GET用于接受表单数据。 一、$_REQUEST与....
发表于 02-19 14:26 26次 阅读
PHP中REQUEST和POST及GET有什么区别

如何使用PHPStudy和APMServ快速搭建PHP

(PHPnow和phpstudy和AppServ和APMServ和wampserver五个软件都可搭....
发表于 02-19 14:26 28次 阅读
如何使用PHPStudy和APMServ快速搭建PHP

一文教你读懂芯片后端报告

动态功耗和电压强相关。公式里面本身就是2次方,然后频率变化也和电压相关,在跨电压的时候就是三次方的关....
的头像 电子发烧友网工程师 发表于 02-19 10:59 916次 阅读
一文教你读懂芯片后端报告

如果互联网突然断开,将会发生什么?

如果互联网突然消失了,没有Netflix ,没有YouTube,没有Facebook会怎么样呢?这对....
的头像 E安全 发表于 02-18 16:10 498次 阅读
如果互联网突然断开,将会发生什么?

一场国家级别的网络战争,降临在德国电信这样一家商业公司头顶

“路由器激战”的这三天时间里,双方打得昏天黑地,用户想正常上网简直就是痴人说梦。德国电信只得宣布,因....
的头像 电子发烧友网工程师 发表于 02-18 14:04 925次 阅读
一场国家级别的网络战争,降临在德国电信这样一家商业公司头顶

IP广播软件使用说明资料免费下载

IP广播系统又称数字音频系统是构建在当前流行的TCP/IP通讯网络基础上的,通过网络传输数字化音频流....
发表于 02-18 08:00 28次 阅读
IP广播软件使用说明资料免费下载

安防综合平台技术助力智慧城市建设

  在“智慧城市”的发展及需求下,单一整合的安防综合管理平台已经不能满足民众的需求,如何将更多的系统....
发表于 02-17 09:54 579次 阅读
安防综合平台技术助力智慧城市建设

韩国半导体制造商SK Hynix财报显示,该季度销售额为9.94万亿韩元

但是,有增长必然会有下滑,考虑到服务器和PC制造商——以及他们的最终客户——不得不付出更高价值,所以....
的头像 存储界 发表于 02-15 16:14 2485次 阅读
韩国半导体制造商SK Hynix财报显示,该季度销售额为9.94万亿韩元

一种新的Linux系统后门已经开始肆虐

Check Point 表示 SpeakUp 可以在六种不同的 Linux 发行版甚至 macOS ....
的头像 Linux爱好者 发表于 02-15 13:59 361次 阅读
一种新的Linux系统后门已经开始肆虐