Big SQL Federation是什么?
Big SQL Federation 是一种Hadoop与远程数据源的集成技术。通过Federation技术,管理员或应用程序可使用标准SQL透明地查询Big SQL (Hadoop) 和RDBMS 上的表。
为什么要用Federation?
在某些场景下,Hadoop平台上的数据分析需要用到RMDBS上的数据,每次从数据源移动或复制数据到Hadoop是不现实的,因为您要考虑移动或复制数据的频率、时间成本、管理成本等等。这样,利用Federation技术直接、透明地访问远程RMDBS数据源成为解决问题的有效途径。
Big SQL Federation的架构和组件
- Federation Server:Big SQL内置功能,使用时只需要简单地“开启”这个功能。Federation Server运行在Big SQL的Head Node,它在Federation Catalog中记录额外的元数据,如Wrapper、Nickname等。
- Wrapper:访问/查询远程数据源对应的lib文件,如Oracle,DB2,或Teradata等RMDBS的数据驱动程序lib文件。BigSQL利用这个lib与远程数据源进行交互。
- Server:即远程的数据源在Big SQL的表现。一个数据源对应一个Server。
- Nickname:远程数据源上的表或视图在本地的别名,对应Big SQL的用户,Nickname与本地Table看起来是一样的。
Federation有何功能?
- 访问HDFS、HBase、Hive等Big SQL表或视图。
- 访问Oracle、Teradata、MSSQL Server、 DB2、Informix、Netezza的RDBMS表或视图。
- 跨任意数据源查询数据(project、restrict、join、union、子查询、内置函数)
- 调用数据源的特定SQL
- 收集统计信息和检查详细执行计划
如何使用Federation?
1. 管理员开启Big SQL的Federation功能
2. 配置Wrapper和Server,将远程数据源在本地建立通信
3. 创建Nickname,映射远程数据源的表
4. 应用连接至Big SQL
5. 如同访问本地Table一样地访问Nickname
6. Big SQL后台的优化器创建全局的执行计划
7. 查询任务被push down到本地和(或)远程的的数据源执行。
更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>
详情请咨询 在线客服 !
客服热线:023-66090381
原文
http://ourjs.com/detail/57a93dcc88feaf2d031d25b9