转载

发表于 2016年03月20日
浏览 (625)
评论 (0)

[PDF]Spark环境下基于多维布隆过滤器的星型连接算法

Spark环境下基于多维布隆过滤器的星型连接算法

周国亮萨初日拉朱永利

为了适应联机分析处理(OLAP)系统中实时数据高性能分析需求不断提高的需求,提出一种能够适合Spark环境并结合多维Bloom Filter(MDBF)的星型连接算法SMDBFSJ。首先,根据多个维表构建MDBF,利用其占用空间小的特点,广播到所有节点;然后,在本地节点完成事实表过滤操作,事实表不需要在节点间移动数据;最后,过滤后的事实表与维表采用重划分方式进行连接,进而得到最终结果。SMDBFSJ算法避免了事实表数据移动,通过MDBF减小了需要广播的数据量,充分结合了广播连接和重划分连接的优势。实验结果表明了该算法的有效性,在单机和集群环境下,该算法相比重划分连接均获得了3倍左右的性能提升。

Spark环境下基于多维布隆过滤器的星型连接算法

[PDF]Spark环境下基于多维布隆过滤器的星型连接算法

原文 http://www.chinacloud.cn/show.aspx?id=23138&cid=13

正文到此结束

所属分类：编程技术

本文标签： UI 集群占用空间 http db src 空间需求数据
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(13,739) 评论(0)
Caffe 深度学习框架上手教程

浏览(10,454) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(11,286) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(11,193) 评论(0)
Decorators in ES7

浏览(15,737) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,761) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(12,212) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(11,176) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(25,454) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(13,314) 评论(0)

相关文章

阿里云首购8折

Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号

HBLOG

HBLOG