发布于 2023-05-15
扩容后的数据均衡涉及到分区在Broker之间的重新分配,会导致业务短暂的不可用。根据我们的实际测试,从3个POD扩容到6个POD的情况下做再均衡,业务不可用时间约为40s。实际部署过程中,这个时间与您扩容的节点数和均衡的工作量有关,因此还是建议在非生产时间进行扩容。... (more)
基于实际测试,在保证端到端100ms时延左右的情况下,OceanStor Dorado NAS可以提供高达数百MB/s的吞吐量,远超大部分集群的需求。在大压力(如每秒百万个1K大小消息)压测的情况下,Broker的处理能力、网络等都可能成为性能瓶颈;此次的测试规模尚未达到NAS存储的性能瓶颈。... (more)
容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的副本数就可以轻松的实现扩容,POD、PVC、PV等都会自动创建。
本次测试中没有实测使用对象存储的性能。原理上看,Kafka产生的以海量小IO小文件为主,且要求高速读写,从workload诉求出发,不太适合对象存储场景。
容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的副本数就可以轻松的实现部署和扩容。针对计算或存储资源不充足的情况,可以通过评估每个POD需要的计算资源情况实现轻量化部署,例如提供4C16G或者4C8G资源就可以新增一个Broker,而且可以与... (more)
在硬件方面,企业级NAS存储和企业级SAN存储是同一套硬件架构,可以提供与FC SAN相同的硬件级可靠性;而HostPath是本地文件目录,其可靠性等同于服务器的可靠性。在软件方面,NFS协议本身也持续在做可靠性增强;在对接MySQL、Kafka等应用时,推荐使用NFS4.1协议,相对于NFS3.0可靠性更高... (more)
多租户分为K8S集群和存储层的多租户;下面主要谈一下存储的多租户。华为NAS存储支持多租户能力,不同租户之间数据面、网络面、管理面都是隔离的,可以根据需求对接不同的Kafka集群、Kafka集群和其他应用集群等,实现共享存储底座后的隔离能力,防止业务互相影响;不同租户还可以设置... (more)
应用的高可用分为本地高可用、同城高可用、异地高可用;对应到容器部署环境就是集群内高可用、同城跨集群高可用、异地高可用等方案。本地高可用上,NAS的多读多写能力可以支撑POD在集群内的快速漂移,一分钟以内恢复业务;华为企业级NAS存储支持集群内双活,即一个Kafka的Broker P... (more)
应用的高可用分为本地高可用、同城高可用、异地高可用;对应到容器部署环境就是集群内高可用、同城跨集群高可用、异地高可用等方案。本地高可用上,NAS的多读多写能力可以支撑POD在集群内的快速漂移,一分钟以内恢复业务;华为企业级NAS存储还支持集群内双活,即一个Kafka的Broker... (more)
在弹性扩缩容问题上,K8S支持通过修改Broker配置Yaml文件中的Broker数量就可以实现扩缩。扩容时POD、PVC和PV都会根据Yaml文件的配置自动创建,无需人工干预。缩容时由于涉及到持久化数据,需要考虑数据留存问题;如果数据需要继续保留,需要对相关分区进行迁移。... (more)
华为全面启动数据基础设施战略,围绕数据“采-存-算-管-用”全生命周期,将数据存储产品及解决方案落地生产交易、数据湖、边缘数存等核心业务场景,提供全闪存存储、海量存储、智能边缘存储及解决方案。华为数据存储解决方案中心为twt社区行业会员持续提供领先的存储产品技术服务与支持,帮助客户全面数字化转型。