基于spark集群的券商个性化推荐系统架构设计最佳实践
24页1、 基于spark集群的券商个性化推荐系统架构设计最佳实践 一、券商实施个性化推荐项目的必要性1.1 个性化推荐技术发展背景目前,随着用户接收到的信息量爆炸般增长,传统的推荐以及服务方式的边际收益正在不断减少,用户个性化的需求变得越来越多。大数据实时个性化服务,主要基于大数据用户画像、产品画像建设成果,结合实时流计算框架,以客户需求为中心进行服务,做内容的主动创新和服务资源的精准配置,在恰当的时间将个性化的服务以合适的方式交付给需要的客户。目前涉猎到的应用包括实时热搜、市场热点、个性化资讯推荐和理财产品推荐,这部分的创新应用尝试主要基于人工智能算法实现。以个性化资讯推荐为例,主要利用在SPARK分布式集群上设计适合于证券金融资讯的协同过滤实时推荐算法,最终实现客户的个性化推荐。人工智能算法有效提升了用户体验和推荐内容的质量、精准度,可以为公司千万用户提供千人千面的全渠道优质服务。通过本行业推荐系统CTR(点击到达率)指标进行评估,个性化推荐可将券商互联网业务客户转化率提高三到五倍;可实现基于互联网的新增开户数、用户规模和用户活跃率的市场领先。二、证券行业个性化推荐系统方案设计2.1 设计
2、目标利用大数据技术的应用,整合公司内外用户服务相关系统和数据,通过基于用户画像的建模方法,运用机器学习和数据建模技术,为用户提供个性化、定制化的金融和资讯产品。具体表现为:渠道互联网化、产品互联网化、平台互联网化三大体系,建设统一大数据处理平台作为支撑平台,形成一套互联网与大数据综合理论。以技术创新带动业务创新,提升公司差异化竞争力。其中渠道互联网化是本质是将互联网作为金融服务与最终用户之间进行交易的渠道。这种渠道既包括宣传渠道,交易渠道,也包括集成渠道和监管渠道。产品互联网化与渠道最大的区别是企业在互联网,而不是内部交付产品。即企业将产品相关的金融额度、服务、内容全部放到互联网上,并通过互联网和其它服务商进行集成。最终用户在互联网上完成产品和服务选择以及支付。企业内部只保留必要的核心交易记录和结算记录。平台互联网化,或者说互联网平台进入金融领域,是目前互联网金融探讨最热烈的切入点。既有的金融企业,希望通过平台互联网化,直接加载互联网相关的用户群,扩大金融市场,缩减金融成本,再通过个性化推荐等有效触达手段提升用户活跃度。2.2 负载均衡设计Netty数据接口服务使用反向代理实现负载均衡
3、,进而达到高可用性。我们在不同服务器上布置了多个Netty数据接口服务,并使用F5制作了一个虚拟IP地址,作为Netty的反向代理地址,实现负载均衡。当某个Netty服务崩溃时,F5会自动屏蔽它的地址,不再将数据请求发送给它,保证数据接口的正常、稳定运行。2.3 系统架构设计2.3.1 系统整体架构:图片1.png系统的总体架构分为以下几个部分:1.接入层接入层基于数据抽取转换存放平台,主要实现功能如下:(1)抽取:将数据从数据库或者外部文件读取出来,包括关系型数据库、半结构化文件等。(2)清洗:将一些脏数据和不合规范的数据进行过滤转换使取符合规范。(3)转换:将数据进行数据类型改变,格式变换,数学计算,逻辑操作等。(4)过滤:按照特定的列的值进行提取数据。(5)关联:不同数据流按照特定的列进行合并成新的数据流。(6)去重:按照特定的列去掉重复数据。(7)排序:按照特定的列对数据流排序。(8)加载:把数据装入数据库或者文件中,以供后续使用。2.存储和与处理层存储和与处理层基于大数据处理和分析平台以及操作性存储和分析平台,其中大数据处理和分析平台主要实现功能如下:(1)原始数据存储:原始
4、数据存储指从外部数据源获取的结构化和非结构化数据(日志文件、运营数据、业务数据等)的原始备份。(2)外部数据共享:外部数据共享存储指其他外围系统产生的日志数据或相关重要业务运营数据的共享存储区。(3)低密度数据沉淀:低密度数据沉淀类似于数据仓库概念中的数据沉淀层,其数据来源是经过清洗转换后的源数据层,按不同分析角度进行关联、统计、轻度汇总等实现的数据沉淀。(4)高密度数据汇总:高密度数据汇总类似于数据仓库概念中的数据集市的概念,将低密度沉淀的数据按照不同维度属性进行高密度汇总,比如 按渠道属性、按地域属性、按用户属性等进行统计汇总。(5)指标分析:KPI指标指关键业绩指标,是分析关键指标或重要指标的方法之一,其特点是考核指标围绕关键成果领域进行选取,通过建立评价指标体系、设定评价指标标准、展现关键指标结果、审核关键指标等来实现KPI指标的考察与跟踪。3.模型和分析层模型和分析层基于模型平台,主要实现功能如下:(1)统计模型:根据选定的数据源,经过统计、归并等数学过程,提取出有用的新数据。(2)分类模型:选取与待分类对象相关的数据,并基于这些数据,对目标对象进行等级(或者类别)划分。(3
《基于spark集群的券商个性化推荐系统架构设计最佳实践》由会员Baige****0346分享,可在线阅读,更多相关《基于spark集群的券商个性化推荐系统架构设计最佳实践》请在金锄头文库上搜索。
员工积极主动行为的组态效应:基于过程的视角
汪晖齐物平等与跨体系社会的天下想象
函数性质中的数学抽象在问题解决与设计中的应用
日本东京大学入学考试理科数学试题解析
二次电池研究进展
实践研究与论理逻辑
光学视觉传感器技术研究进展
龙泉青瓷的传承困境与发展
齐齐哈尔地区抗根肿病大白菜品种的抗性鉴定与评价
基于系统动力学模型的胶州湾海域承载力预测
基于弯液面电化学连接碳纤维实验初探
龟甲胶研究发展探析
鼻腔黏膜免疫佐剂鞭毛蛋白的研究进展
鼻内镜辅助上颌骨部分切除术治疗鼻腔鼻窦腺样囊性癌的临床分析
黑豆不同发芽期多酚、黄酮及抗氧化活性分析
齐鲁青未了:山东当代文学审美流变论
黄登水电站机电设备安装工程施工技术质量管理
黄河文化传承视角下音乐剧创作探究
黄亦琦从风论治咳嗽变异性哮喘经验※
鲸豚动物吸附式声学行为记录器综述
2022-10-01 6页
2023-03-04 29页
2023-09-07 22页
2024-03-09 6页
2022-08-30 4页
2023-12-29 9页
2024-02-21 11页
2024-03-31 18页
2023-02-16 5页
2024-03-20 24页