HRegionServer-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

大数据方向学习面试知识图谱

正所谓，无招胜有招。愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。一切技术最终只是雕虫小技。大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。本文不...

2020-01-16 浏览(1,148) 评论(0)

阅读全文

大数据面试知识图谱

作者: 大数据技术与架构 By 大数据技术与架构场景描述：大数据开发岗位技能树，学习和复习总纲。关键词：面试大数据大纲正所谓，无招胜有招。愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。一切技术最终只是雕虫小技。大纲本...

2019-09-11 浏览(1,035) 评论(0)

阅读全文

Hadoop学习(5)-HBASE的安装和命令行操作和java操作

使用HABSE之前，要先安装一个zookeeper zookeeper是干嘛的呢 Zookeeper的作用 1.可以为客户端管理少量的数据kv key：是以路径的形式表示的，那就意味着，各key之间有父子关系，比如 / 是顶层key 用户建的key只能在/ 下作为子节点，比如建一个key： /aa 这个key可以带value数据也可以建一个key： /bb 也可以...

2019-07-27 浏览(875) 评论(0)

阅读全文

开发笔记 – Spring Boot集成HBase

最近在重新整理搜书吧 (一个做图书比价的平台)的系统架构，目前图书产品数量超过了200万条。各种数据加起来超过40G了，使用Mysql数据库存储服务器吃不消，于是考虑使用HBase存储大部分数据。一、摘要以前搜书吧的数据量比较小，使用数据库+静态文件存储的方式就可以搞定，主要有2个系统组成：网站前端+后台服务。事先把图书详情等一些固定内容生成html静态文件和前端的其他静态...

2018-12-05 浏览(1,201) 评论(0)

阅读全文

HBase Bulk Load

概述 BulkLoad是一种高效写入HBase的方式，适用于将数据批量迁移到HBase。BulkLoad使用MapReduce作业直接生成HBase的StoreFile，并将生成的StoreFile直接装载入正在运行的HBase集群。较之使用HBase的API，使用BulkLoad耗费的CPU和网络资源都相对较少。因为BulkLoad绕过了正常写数据的路径（WAL、MemStor...

2017-02-09 浏览(901) 评论(0)

阅读全文

HBase，基于Google Bigtable实现的开源、分布式、可伸缩的列式存储数据库，诞生于Hadoop，也是Hadoop生态的重要一环，如今作为一个Apache顶级项目，早已经不能将其仅仅看作Hadoop的一部分，基于Storm，Spark等框架的数据处理方案中，都有它的身影，可以说它已经成为大数据工具箱中非常重要的一种数据存储工具，也因此必然会被很纳入很多人学习计划。对于一个新技术的...

2016-07-24 浏览(1,162) 评论(0)

阅读全文

HBase客户端实践－超时机制

上篇博文结合一起线上问题介绍了HBase客户端基于退避算法的重试机制，并分析得出在某些场景下如果重试策略设置不当会导致长时间的业务阻塞。除了重试机制外，业务童鞋最关心的就是超时机制了。客户端超时设置对整个系统的稳定性以及敏感性至关重要，一旦没有超时设置或超时时间设置过长，服务器端的长时间卡顿必然会引起客户端阻塞等待，进而影响上层应用。好在HBase提供了多个客户端参数设置超时，主要包括 ...

2016-06-11 浏览(1,017) 评论(0)

阅读全文

HBase架构核心模块

Hbase物理模型架构体系 hbase工作流程 HRegionServer负责打开region，并创建HRegion实例，它会为每个表的HColumnFamily（用户创建表时定义的）创建一个 Store实例，每个Store实例包含一个或多个StoreFile实例。是实际数据存储文件H...

2016-06-04 浏览(1,035) 评论(0)

阅读全文

深入阅读HBase源码的学习步骤

本文链接地址: http://www.mannyisbusy.com/deepin-source-code-hbase/ 1. 什么是HBase 了解HBase的基本概念、架构和使用场景了解HBase的核心知识点和高级特性了解HBase 客户端API的数据操作了解HBase运维调优的相关内容 2. 熟悉所需环境安装 JDK Eclipse maven ...

2016-04-27 浏览(1,315) 评论(0)

阅读全文

Hbase 设计与开发实战

Hbase 概述大数据及 NoSQL 的前世今生传统的关系型数据库处理方式是基于全面的 ACID 保证，遵循 SQL92 的标准表设计模式（范式）和数据类型，基于 SQL 语言的 DML 数据交互方式。长期以来这种基于关系型数据库的 IT 信息化建设中发展良好，但受制于关系型数据库提供的数据模型，对于逐渐出现的，为预先定义模型的数据集，关系型数据库不能很好的工作。越来越多的业务系统需要...

2016-04-20 浏览(1,170) 评论(0)

阅读全文