bigdata-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

我们需要什么数据架构？

在大数据和数据科学的新时代，对于企业而言，具有与业务流程一致的集中式数据体系结构至关重要，该体系结构随业务增长而扩展，并随技术进步而发展。成功的数据架构可以使数据的各个方面清晰明了，从而使数据科学家能够高效地处理可信赖的数据并解决复杂的业务问题。它还使组织做好准备，以利用新兴技术迅速利用新的商机，并通过管理整个企业中的复杂数据和信息交付来提高运营效率。与信息体系结构，系统...

2020-07-22 浏览(745) 评论(0)

阅读全文

数据战略：采用云的正确方法是什么？

了解为更好地开展业务而制定有效的数据战略的必要性。数据和云已经成为商业世界中两个无处不在的术语。虽然数据构成了数字化授权的关键管道，为企业带来了创新和增长，但云战略提供了一个平台来交付计算，并充当了它们的存储中心。云还可以使快速响应、用户友好的应用程序具有更大的灵活性。然而，尽管知道云有多重要，但企业往往不太重视设计云驱动的数据架构。他们也不知道糟糕的云和数据管理可能带来的风险，...

2020-07-13 浏览(654) 评论(0)

阅读全文

SpringBoot集成Mybatis动态多数据源后，MybatisPlus的IPage失效的问题解决方案

之前做数据抽取的时候，搭了一个mybatis动态数据源切换的架子。方便他们写抽取的代码。今天同事问我，架子里面的mybatisplus的IPage失效了是什么问题。想了一下，应该是写动态数据源的时候，我自定义的mybatis的配置覆盖了已有的配置。于是我让他先把我写的配置进行删除，看是否正常。得到回复，删除后正常。那么到此问题原因找到，接下来的解决方法，只要在配置中增加分页器即可。解决方案 ...

2020-07-12 浏览(666) 评论(0)

阅读全文

银行大数据平台技术架构设计实践与应用

一、银行大数据平台建设背景及目标我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较好;二是虽然在信息化建设过程中建设了比较完成的BI应用，但随着业务不断发展，这些解决方案已不能完全满足业务对于数据分析的需求;三是大数据技术的快速发展和应用为满足业务迫切需求提供了新的解决方案。我们在信息化道路上已经走过很长一段历程，通过软件系统将业务逻辑和业务流程...

2020-07-10 浏览(686) 评论(0)

阅读全文

大道至简 spring-data-mybatis-mini 2.3.4 发布

更新日志: 增加流读方法及其说明批量建议自定义实现 [github地址](<a href="https://github.com/VonChange/spring-data-mybatis-mini">http...

2020-07-04 浏览(763) 评论(0)

阅读全文

【Hadoop篇06】Hadoop源码编译

没有谁必须要帮助你，任何事情都得靠自己去完成 Hadoop源码编译准备工作（1）CentOS联网配置CentOS能连接外网。Linux虚拟机ping是畅通的注意：采用root角色编译，减少文件夹权限出现问题（2）jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8...

2020-06-30 浏览(667) 评论(0)

阅读全文

【2020版冲刺年薪30W】超全大数据学习路线+思维导图

大数据学习路线下面和大家讲一下大数据学习的路线，帮助大家快速进入大数据行业。我会结合自己的实际经历还说明学习路线。该路线针对的对象是零基础小白，目标是到初中级大数据工程师，要求掌握数据建模，数据存储，数据存储，数据传输，数据分析等能力达到大数据岗位的应聘标准。（一）Java基础和web开发很多人问过我，学大数据要不要学Java，我的答案是肯定的。首先Java是一门面向对...

2020-06-29 浏览(753) 评论(0)

阅读全文

SpringBoot项目启动时如何读取配置以及初始化资源

介绍在开发过程中，我们有时候会遇到非接口调用而出发程序执行任务的一些场景，比如我们使用quartz定时框架通过配置文件来启动定时任务时，或者一些初始化资源场景等触发的任务执行场景。方法一：注解方案通过使用注解@Configuration和@Bean来初始化资源，配置文件当然还是通过@Value进行注入。 @Configuration：用于定义...

2020-06-26 浏览(1,832) 评论(0)

阅读全文

SpringCloudAlibaba(三)：使用Nacos作为配置中心

之前提到了这次从php技术栈迁移到java技术栈要解决的一个问题就是集中化配置管理。我们为什么会有配置中心的需求? 配置管理变更较为方便合理控制配置的权限内容 Nacos 控制台增加配置文件进入Nacos管理界面,在【配置管理】-【配置列表】功能页面点击右上角的 + 号。 ...

2020-05-09 浏览(633) 评论(0)

阅读全文

面试被问傻！5亿个数大文件怎么排序？

曾经被问傻的一道面试题分享给你：给你1个文件 bigdata ，大小4663M，5亿个数，文件中的数据随机，如下一行一个整数： 6196302 3557681 6121580 2039345 2095006 1746773 7934312 2016371 7123302 8790171 2966901 ... 7005375 现在要...

2020-04-27 浏览(615) 评论(0)

阅读全文