发布于 2023-05-12
1,常见套路就是要么应用层自己做,就是Kafka的一主多从能力,要么容器平台体系支撑,就是靠容器平台自身的漂移能力解决可靠性和恢复能力。2,两种方案各有优劣,一主多从结合本地盘,就是当前的常规套路,但是有几个问题,服务器自身的可靠性,3年寿命的周期替换,数据迁移;RAID卡的抖动问题,本... (more)
企业NAS以实测情况看,全闪配置,大文件小IO读写至少可以达到FC SAN的80%+,也是几十万OPS@1ms的水平,对于Kafka没啥问题。。。可能要注意的就是如果热点数据不多,完全可以配置混合存储,30%的SSD占比,足以支撑热点数据的读写要求。... (more)
Kafka性能的主要指标是吞吐量(带宽)和时延。分布式存储是否满足需求,首先需要评估性能需求,根据Kafka消息的IO大小、存储的软硬件配置、批量参数、网络配置等综合评估可达到的吞吐量和时延情况。Kafka最核心的问题是数据访问的低时延,普通的分布式存储,由于三副本或者EC机制,需... (more)
在容器云环境下性能的影响因素有很多,例如虚机容器相对于裸金属容器就会带来额外的10%-15%的开销,因此从性能的角度,裸金属容器是更好的选择。回到存储,首先为了保证性能,无论是存算一体还是存算分离都建议使用SSD盘来保证性能。在成本方面,服务器本地盘看似便宜,但因为其相对低... (more)
数据可靠性是专业存储相对于本地盘的核心优势。专业存储在盘级、控制器级、系统级通过软件和硬件的设计和优化实现多层面做数据可靠性保证,其中就包括您提到的防数据丢失、容错等能力。但相对本地盘,由于IO路径变长,在时延上会略高于本地盘;因此需要通过TCP协议卸载、NVMe ov... (more)
首先,K8S对存储做了抽象,不关心集中式还是分布式,主要还是看性能、可靠性、扩展能力、功能等能否匹配业务要求。在这个前提下,本地盘虽然性能较好,但可靠性、扩展能力、跨节点共享能力等都问题突出,存算分离是更好的选择。扩容方面,无论是分布式存储、NAS存储(本文主要是指企业级... (more)
弹性是使用容器部署Kafka带来的一大优势。如果Broker处理能力不足,简单的修改Broker配置Yaml文件中的Broker数量就可以实现自动扩容,POD、PVC和PV都可以自动创建。扩容本身对业务无影响;扩容后如果要做数据在节点间的再均衡会触发Broker和 Partition的对应关系发生变化,导致... (more)
Kafka的存储需求,在功能面是存储的数据是消息流,数据量级非常大;数据CRUD操作足够简单,主要为并发非常高和百万级TPS的追加写、无需更改、能根据消费位移offset和时间戳timestamp查询消息、能定期删除过期的消息;在非功能性面是高性能要求、高可用的稳定性要求、高扩展性要求... (more)
Kafka性能和可靠性的调优涉及Broker、Producer、Topic等组件的多个参数,并且参数之间还存在关联关系。以Topic为例,每个Topic的分区(Partition)数、每个Partition的副本数等都会对性能产生明显的影响。而其中的副本数又是同时与可靠性和性能都相关的参数:例如如果为了保证可靠... (more)
发布于 2023-03-31
迁移 rsync 慢,一是可能因为源存储性能本身比较差,而是并发不够。 如果要提升性能,可以用华为的迁移服务工具 MD ,能够比较明显的提升 rsync 并发,但如果性能瓶颈在源存储本身或者中间网络带宽,换工具未必有很大帮助。... (more)
华为全面启动数据基础设施战略,围绕数据“采-存-算-管-用”全生命周期,将数据存储产品及解决方案落地生产交易、数据湖、边缘数存等核心业务场景,提供全闪存存储、海量存储、智能边缘存储及解决方案。华为数据存储解决方案中心为twt社区行业会员持续提供领先的存储产品技术服务与支持,帮助客户全面数字化转型。