基于K1 Power linux的Redis集群容器云平台测试报告
15页1、 基于K1 Power linux的Redis 集群容器云平台测试报告 1. 背景和需求近年来,我行互联网金融业务发展迅速,网上银行、手机银行业务量成倍增加,井喷式增长的客户在线访问量和大数据高并发的访问需求,给电子银行相关系统带来了很大的挑战。比如在互联网金融业务场景中,常见的营销模式:秒杀,经常会出现的问题包括:并发太高导致程序阻塞;库存无法有效控制,出现超卖的情况。我们采用异步、缓存这两种手段来解决系统压力问题。前者,例如说内存队列(例如说 JDK Queue 、 Disruptor 等)、分布式队列(例如说 RabbitMQ 、 RocketMQ 、 Kafka ),更多适合写操作。后者,例如说内存缓存(例如说 JDK Map 、 EhCache 等)、分布式缓存(例如说 Redis 、 Memcached 等),更适合读操作。本文重点谈论后者中的 Redis ,目前我行已经有很多系统采用了 Redis 集群作为数据缓存层和消息队列,采用三主三从 6 节点的架构。多个 Redis 集群的运维管理,主要有以下三个方面的问题:版本管理难: Redis 之前是直接部署在物理机上,各个
2、版本的 Redis 非常分散而且不容易维护。新集群部署慢:需要手动修改很多配置文件再逐个部署节点,初始化工作需要较长时间。资源隔离差:当前的 Redis 集群部署在物理机集群上,多业务线的 Redis 集群有混布的情况。由于没有做 CPU 的资源隔离,经常出现某 Redis 节点 CPU 使用率过高导致其他 Redis 集群的节点争抢不到 CPU 资源引起时延抖动。因为不同的集群混布,这类问题很难快速定位,影响运维效率。为了简化大规模 Redis 集群的运维管理工作,我行对新的技术手段展开调研。容器镜像天然支持标准化,与硬件无关,可以解决版本的问题, K8 通过 StatefulSet 部署 Redis 集群,使用 configmap 管理配置文件,新集群部署时间只需要几分钟,大大提高了运维效率。 Redis 容器化的好处非常多,但是结合到我行具体应用场景还有一些问题需要验证,我们希望在测试 Redis 数据库容器云应用(大数据平台领域)时了解以下方面:1 Redis 容器化以后与原来相比,性能读写,响应时间,网络流量有多大差距。2 访问 Redis 采用 ip 和端口,并且主从不能在
3、一台宿主机上,如何解决以上问题?3 Redis 的配置文件和数据持久化如何在容器环境中保存?4 主节点宕机时, Redis 会自动将从节点转换为主节点,此时若 k8s 将原来主节点拉起会导致数据冲突。2. 测试方案设计测试环境的设计,我们真实模拟生产环境,采用了典型的三主三从 6 节点的架构,用 6 台虚拟机,每台机器作为 OpenShift Container Platform ( OCP )集群的一个 worker 节点,每个 worker 只启动一个 pod 实例,最大利用主机资源,同时 Redis 集群的架构与生产环境完全一致。生产环境的 Redis 集群是在应用层面对集群的各个节点做负载均衡和路由,集群运维难度大、成本高,所以在测试环境设计上,我们做了优化,采用中间件 haproxy 自动负载均衡,这样 Redis 集群对于前端应用来说透明,维护会比较简单。容器云平台的选型,我行经过调研,最终决定选用浪潮 K1 Power 与红帽 OpenShift 推出的容器云平台联合解决方案,该方案面向企业级客户在容器平台部署方面的需求,是可伸缩的,简化的以及快速的一个部署环境,经过浪潮
4、和红帽严格的环境测试和官方认证,在使用这样一个软硬件环境的情况下,可以明显减少本次测试工作部署方面投入的时间和成本。3. 容器云集群架构OCP集群信息软件版本:集群说明:OCP 集群部署在 K1 Power Linux 服务器 FP5290G2 创建的虚机上。Redis 集群采用三主三从模式,六个 Redis 容器实例 pod 分别部署在 OCP 集群的六个 worker 节点上。Redis 作为有状态服务,通过 statefulset 统一部署集群 6 个 pod 。Redis 集群持久化采用 PVC 实现远程文件存储( nfs )到 Console 节点。基于 Redis cluster 集群内部数据请求重定向后会新建 tcp 连接,所有 pod 的 ip 外部需要访问到,这里实现 pod 的网络模式为 hostnetwork, 共用宿主机 worker 的网络接口和 ip 。集群前端搭建 haproxy 实现负载均衡。架构拓扑图如下:4. 高可用 Redis 集群部署1) ssh 登录 OCP 集群 console 节点。2) 创建 projectoc new-project R
《基于K1 Power linux的Redis集群容器云平台测试报告》由会员Baige****0346分享,可在线阅读,更多相关《基于K1 Power linux的Redis集群容器云平台测试报告》请在金锄头文库上搜索。
员工积极主动行为的组态效应:基于过程的视角
汪晖齐物平等与跨体系社会的天下想象
函数性质中的数学抽象在问题解决与设计中的应用
日本东京大学入学考试理科数学试题解析
二次电池研究进展
实践研究与论理逻辑
光学视觉传感器技术研究进展
龙泉青瓷的传承困境与发展
齐齐哈尔地区抗根肿病大白菜品种的抗性鉴定与评价
基于系统动力学模型的胶州湾海域承载力预测
基于弯液面电化学连接碳纤维实验初探
龟甲胶研究发展探析
鼻腔黏膜免疫佐剂鞭毛蛋白的研究进展
鼻内镜辅助上颌骨部分切除术治疗鼻腔鼻窦腺样囊性癌的临床分析
黑豆不同发芽期多酚、黄酮及抗氧化活性分析
齐鲁青未了:山东当代文学审美流变论
黄登水电站机电设备安装工程施工技术质量管理
黄河文化传承视角下音乐剧创作探究
黄亦琦从风论治咳嗽变异性哮喘经验※
鲸豚动物吸附式声学行为记录器综述
2023-06-30 18页
2022-09-02 5页
2023-04-29 6页
2023-06-22 6页
2023-09-24 25页
2022-08-21 8页
2023-02-01 4页
2022-08-31 7页
2022-09-15 7页
2022-09-17 20页