HDFS-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

超硬核Java工程师学习指南，真正的从入门到精通，众多粉丝亲测已拿offer！

最近有很多小伙伴来问我，Java小白如何入门，如何安排学习路线，每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了，其实不然，因为我之前写的文章都是站在Java后端的全局上进行思考和总结的，忽略了很多小白们的感受，而很多朋友都需要更加基础，更加详细的学习路线。所以，今天我们重新开一个新的专题，分别按照四篇文章讲述Java的学习路线（分别是入门篇，初级篇，中级篇，高级篇）...

2020-07-27 浏览(5,562) 评论(0)

阅读全文

java大数据最全课程学习笔记(6)--MapReduce精通(二)--MapReduce框架原理

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录切片与MapTask并行度决定机制 Job提交流程源码和切片源码详解 FileInputFormat切片机制 ...

2020-07-23 浏览(842) 评论(0)

阅读全文

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode（重点） NN和2NN工作机制第一阶段：NameNode...

2020-07-20 浏览(766) 评论(0)

阅读全文

当初阿里巴巴、百度、美团都差点错过的架构，现在用起来真香！

检验自己技术跟级别的快速方法，就是跟面试官大佬们“切磋”一下，一试便知：大佬：你有写过分布式的业务吗？我：我写过一个基于HDFS分布式存储的KVStore，上层使用Hadoop的API实现。大佬：那个是分布式存储，我想了解一下分布式业务？我：（赶紧纠正）那dubbo算吗？（于是介绍了一下自己了解的dubbo）大佬：ok。那你觉得分布式的话会遇到什么问题呢？我：...

2020-07-20 浏览(819) 评论(0)

阅读全文

java大数据最全课程学习笔记(5)--MapReduce精通(一)

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录 MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点优点缺点 MapReduce核心思想总结：分析WordCount数据流走向深入理解MapReduce核...

2020-07-19 浏览(737) 评论(0)

阅读全文

ClickHouse的核心特性及架构

文章作者：朱凯编辑整理：Hoh 内容来源：《ClickHouse原理解析与应用实践》导读：随着业务的迅猛增长，Yandex.Metrica目前已经成为世界第三大Web流量分析平台，每天处理超过200亿个跟踪事件。能够拥有如此惊人的体量，在它背后提供支撑的ClickHouse功不可没。 ClickHouse已经为Yandex.Me...

2020-07-18 浏览(959) 评论(0)

阅读全文

java大数据最全课程学习笔记(3)--HDFS 简介及操作

目前 CSDN , 博客园 , 简书同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS的Shell操作（开发重点） HDFS客户端操作（开发重点）网络拓扑-节点距离计算机架感知（副本...

2020-07-16 浏览(795) 评论(0)

阅读全文

入门大数据---大数据调优汇总

前言不进行优化的代码就是耍流氓。总体来说大数据优化主要分为三点，一是充分利用CPU，二是节省内存，三是减少网络传输。一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算，如果对于小数据量，可以设置为单台机器进行计算，这样可以大大缩减查询触发任务时间。用户可以通过设置hive.exec.mode.local.auto 的值为true，来...

2020-07-15 浏览(680) 评论(0)

阅读全文

码农与架构师之间的差距，究竟在哪里？

今日一问：你什么时候发现自己技术弱到爆？没错，就是面试的时候。昨天一位同学和我说，他工作了3年，特别有信心去面字节跳动的，但没有想到这么抠细节，太难了： · 什么是分布式锁？ · 如何实现分布式锁？ · 单机锁有哪些？它为什么不能在分布式环境下使用？ · Redis 是如何实现分布...

2020-07-15 浏览(836) 评论(0)

阅读全文

QMQ在携程的落地实践

QMQ（Qunar Message Queue）诞生于去哪儿网，初版基于MySQL存储。随着集团业务系统越发倚重消息解耦上下游，业务量的上涨随之带来消息量的增长，MySQL作为存储的瓶颈也越发明显。比较自然的解决方案有两个：1）分库分表；2）换存储。与业界众多出名的消息队列（Kafka、RocketMQ、Pulsar等）一样，QMQ也走上了基于文件存储的分布式消息系统自研之路（详细设计请关...

2020-07-13 浏览(583) 评论(0)

阅读全文