Secondary Namenode-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode（重点） NN和2NN工作机制第一阶段：NameNode...

2020-07-20 浏览(753) 评论(0)

阅读全文

2020面试预备你也能收割Offer，Java程序员必会知识清单全在这份pdf文档里

关于程序员，除了做项目来提高自身的技术之外，还有一种提升自己的专业技能就是：多！看！书！小编整理出一篇Java进阶架构师之路的核心知识，同时也是面试时面试官必问的知识点，篇章也是包括了很多知识点，其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty 与RPC 、Kafka、日记、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等...

2019-12-03 浏览(748) 评论(0)

阅读全文

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

Hadoop在整个大数据技术体系中占有至关重要的地位，是大数据技术的基础和敲门砖，对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。最近想要学习Spark，首先需要搭建Spark的环境，Spark的依赖环境比较多，需要Java JDK、Hadoop的支持。我们就分步骤依次介绍各个依赖的安装和配置。新安装了一个LinuxUbuntu 18.04系统，想在此系统上...

2019-12-01 浏览(797) 评论(0)

阅读全文

深刻理解HDFS工作机制

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重要特性和使用场景做一个简要说明，之后对HDFS的数据读写、元数据管理以及NameNode、SecondaryNameno...

2017-01-11 浏览(1,072) 评论(0)

阅读全文

给下周要面试的你一套大数据技术Hadoop面试题

单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个...

2016-03-21 浏览(1,017) 评论(0)

阅读全文

Hadoop 入门实践

Hadoop 2.0 架构 Hadoop 包括如下几个模块： Hadoop Common：公共基础组件； Hadoop Distributed File System（HDFS）：分布式文件系统； Hadoop YARN：任务和资源管理框架； Hadoop MapReduce：基于YARN的并行数据处理系统；其它基于Hadoop的项目（包括Pig，Hive...

2016-03-05 浏览(1,335) 评论(0)

阅读全文

Hadoop中如何将namenode和secondary namenode分开在不同服务器上。

在一套已经搭建好的Hadoop集群中，默认将namenode和secondary namenode都在master上运行，现在介绍一种方法，将他们分开配置。 Cluster环境，具体环境参考另一篇博客《Hadoop 集群cluster搭建》。简单来说4台机器，hadoop1做master，其他三台hadoop2 hadoop3 hadoop4作为slave。现在我要将secondary nam...

2016-02-24 浏览(795) 评论(0)

阅读全文

Hadoop - Ambari集群管理剖析

1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台，可以快速帮助搭建Hadoop及相关以来组件的平台，管理集群方便。这篇博客记录Ambari的相关问题和注意事项。方便为初学者省去搭配各个社区版的烦恼。 2.How to works 在Ambari的官方WIKI上介绍了如何去使用Ambari，［官方文档］。官方说法比较简要，下面我补充相关...

2015-12-21 浏览(905) 评论(0)

阅读全文

Hadoop NameNode 高可用 (High Availability) 实现解析

NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件...

2015-11-11 浏览(933) 评论(0)

阅读全文

【dbdao.com hadoop大数据教程】hadoop HDFS 使用QJM完成HA

dbDao.com 引导式IT在线教育Hadoop 技术学习QQ群号 : 134115150 本文是官方文档的翻译本文固定链接是：http://t.dbdao.com/archives/hadoop-hdfs-ha-qjm.html 原文链接： http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist...

2015-09-30 浏览(1,171) 评论(0)

阅读全文