secondarynamenode-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode（重点） NN和2NN工作机制第一阶段：NameNode...

2020-07-20 浏览(753) 评论(0)

阅读全文

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

Hadoop在整个大数据技术体系中占有至关重要的地位，是大数据技术的基础和敲门砖，对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。最近想要学习Spark，首先需要搭建Spark的环境，Spark的依赖环境比较多，需要Java JDK、Hadoop的支持。我们就分步骤依次介绍各个依赖的安装和配置。新安装了一个LinuxUbuntu 18.04系统，想在此系统上...

2019-12-01 浏览(797) 评论(0)

阅读全文

重拾初心——Sqoop1和Sqoop2的刨析对比

打开微信扫一扫，关注微信公众号【码农故事多】转载请注明出处： http://www.voidcn.com/blog/gamer_gyt/ 博主微博： http://weibo.com/234654758 Github： https://github.com/thinkgamer 写在前面的话或许我们经常会遇到这样一个场景，就是当我们的某种日志数据积累到一定...

2017-02-21 浏览(1,212) 评论(0)

阅读全文

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重要特性和使用场景做一个简要说明，之后对HDFS的数据读写、元数据管理以及NameNode、SecondaryNameno...

2017-01-11 浏览(1,072) 评论(0)

阅读全文

Hadoop 单机伪集群配置试验和分析

同步发在： https://evergreen-tree.github.io/articles/2016-05/daily-hadoop-singleNode-setup 以下内容摘自网路： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 ...

2016-05-26 浏览(1,034) 评论(0)

阅读全文

给下周要面试的你一套大数据技术Hadoop面试题

单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个...

2016-03-21 浏览(1,017) 评论(0)

阅读全文

使用Docker在本地搭建hadoop，spark集群

使用Docker在本地搭建hadoop，spark集群简介和环境说明本环境使用的单个宿主主机，而不是跨主机集群，本spark集群环境存在的意义可能在于便于本地开发测试使用，非常轻量级和便捷。这个部署过程，最好在之前有过一定的hadoop，spark集群部署经验的基础，本文重点在于docker相关的操作，至于hadoop和spark集群的部署，极力推荐这两个网页： Hadoop集群...

2016-01-07 浏览(840) 评论(0)

阅读全文

【dbdao.com hadoop大数据教程】hadoop HDFS 使用QJM完成HA

dbDao.com 引导式IT在线教育Hadoop 技术学习QQ群号 : 134115150 本文是官方文档的翻译本文固定链接是：http://t.dbdao.com/archives/hadoop-hdfs-ha-qjm.html 原文链接： http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist...

2015-09-30 浏览(1,171) 评论(0)

阅读全文

Hadoop安装入门【Hadoop教程】

本教程是以Ubuntu 系统作为安装讲解环境，为了减少不必要的麻烦，请您安装Ubuntu并能正常启动进入系统。同时也必须要安装Java。一、添加 Hadoop 系统用户组和用户使用以下命令在终端中执行以下命令来先创建一个用户组： yiibai@ubuntu:~$ sudo addgroup hadoop_ 操作结果如下：使用以下命令来添加用户： ...

2015-09-14 浏览(935) 评论(0)

阅读全文

Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取 1 、编译 Spark Spark 可以通过 SBT 和 Maven 两种方式进行编译，再通过 make-distribution.sh 脚本生成部署包。 SBT 编译需要安装 git 工具，而 Maven 安装则需要 maven 工具，两种...

2015-08-12 浏览(954) 评论(0)

阅读全文