电子文档交易市场
安卓APP | ios版本
电子文档交易市场
安卓APP | ios版本

阿里面试题亿级表合并引发的思考之 SQL Bloom Filter(一).docx

6页
  • 卖家[上传人]:A***
  • 文档编号:141583648
  • 上传时间:2020-08-10
  • 文档格式:DOCX
  • 文档大小:98.18KB
  • / 6 举报 版权申诉 马上下载
  • 文本预览
  • 下载提示
  • 常见问题
    • 1、阿里面试题亿级表合并引发的思考之 SQL Bloom Filter(一)很久之前,我写了一次亲身面试经历,在面试阿里的时候,有一题引起了我的思考,详情看这里:回忆当年阿里的一道 SQL 面试题,亿级表合并当时获得了很多读者朋友的反馈,大家兴趣盎然,回答都很详细,看得出来都很用心。包括知乎以及 CSDN 上的反应都很强烈。各自对数据库原理的理解不同,因此解法也都各异。有一位朋友的解法引起了我相当大的兴趣,且不说最终解法是否正确,单看他的思路就很奇特,我贴出来大家一起分析:这位朋友提到的 IBLT,是个比较新的数据结构,始创于2011年,主要应用场景来自于区块链共识算法。更深入的不在这里讨论,涉及区块链或者比特币的事情,暂时回避。有兴趣的朋友可以看下面的文章:https:/ reconciliation means finding the difference between two sets of data.Invertible Bloom Lookup Tables (IBLTs) are a new (described in 2011) data structure that ca

      2、n be used to solve the set reconciliation problem.https:/ 引出来一个基础概念,就是布隆过滤器(Bloom Filter),当然如果是科班的同学,对布隆肯定很熟悉。它的原理是这样的:首先,使用位数组,有向的记录每个元素的hash值位置:从左往右,以0-7记录每个比特(bit)的位置,每个比特位置可以存储0或者1,有1的地方代表了某个值可能出现,这个值究竟有多少个1组成,分布在哪些位置,都是由hash函数决定。第二要素,hash 函数比如我使用简单的取模函数,将每个字母的ASCII码值取模作为hash值,存到这位数组中,可以得到这样的结果:hash函数我们采用 T-SQL来写:CREATE FUNCTION dbo.fnHashByNine( Number Int ) RETURNS int AS BEGIN RETURN ( SELECT Number % 9 ) END GO取样字母的ASCII码HASH值求法: SELECT Name ,ASCII(Name) AS AsciiMark ,dbo.fnHashByNine(ASCII(Name) AS Remainder FROM ( SELECT DISTINCT LEFT(Name,1)AS Name FROM sys.objects ) RSL ORDER BY 2 ASC 最终排列到位数组,就成了刚才的那图:第三要素,匹配输入的字母:假设我们要判断 s(小写)是否在当前的集合中时, 首先求其 ASCII码,是 102, 取模后hash值为 7,此时 7 个位置,正好是空着,那意味着s不在此位数组中。众所周知,数据下标访问元素,时间复杂度为O(1),时间恒定。聪明如你肯定会想到,如果能将这种方法用在判断两个集合中数据重合的可能性,那速度将会超快。是的,真如你所愿,各种数据库都实现了这类算法。我们将一一将其拨开来讲,这是第一篇。猜你喜欢:本周阶段性的收获颇丰,我满意了本号精华合集

      《阿里面试题亿级表合并引发的思考之 SQL Bloom Filter(一).docx》由会员A***分享,可在线阅读,更多相关《阿里面试题亿级表合并引发的思考之 SQL Bloom Filter(一).docx》请在金锄头文库上搜索。

      点击阅读更多内容
    最新标签
    发车时刻表 长途客运 入党志愿书填写模板精品 庆祝建党101周年多体裁诗歌朗诵素材汇编10篇唯一微庆祝 智能家居系统本科论文 心得感悟 雁楠中学 20230513224122 2022 公安主题党日 部编版四年级第三单元综合性学习课件 机关事务中心2022年全面依法治区工作总结及来年工作安排 入党积极分子自我推荐 世界水日ppt 关于构建更高水平的全民健身公共服务体系的意见 空气单元分析 哈里德课件 2022年乡村振兴驻村工作计划 空气教材分析 五年级下册科学教材分析 退役军人事务局季度工作总结 集装箱房合同 2021年财务报表 2022年继续教育公需课 2022年公需课 2022年日历每月一张 名词性从句在写作中的应用 局域网技术与局域网组建 施工网格 薪资体系 运维实施方案 硫酸安全技术 柔韧训练 既有居住建筑节能改造技术规程 建筑工地疫情防控 大型工程技术风险 磷酸二氢钾 2022年小学三年级语文下册教学总结例文 少儿美术-小花 2022年环保倡议书模板六篇 2022年监理辞职报告精选 2022年畅想未来记叙文精品 企业信息化建设与管理课程实验指导书范本 草房子读后感-第1篇 小数乘整数教学PPT课件人教版五年级数学上册 2022年教师个人工作计划范本-工作计划 国学小名士经典诵读电视大赛观后感诵读经典传承美德 医疗质量管理制度 2 2022年小学体育教师学期工作总结 2022年家长会心得体会集合15篇
    关于金锄头网 - 版权申诉 - 免责声明 - 诚邀英才 - 联系我们
    手机版 | 川公网安备 51140202000112号 | 经营许可证(蜀ICP备13022795号)
    ©2008-2016 by Sichuan Goldhoe Inc. All Rights Reserved.