Apache Samza-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

25种Java机器学习工具和库

http://www.demnag.com/b/java-machine-learning-tools-libraries-cm570/ 这是25种Java机器学习工具和库的列表。 Weka 拥有一系列用于数据挖掘任务的机器学习算法。算法可以直接应用于数据集，也可以从您自己的Java代码调用。Weka包含用于数据预处理，分类，回归，聚类，关联规则和可视化的工具。 ...

2018-12-17 浏览(1,302) 评论(0)

阅读全文

本文原作者为Optimizely的分布式系统工程师David Yu。我们在Optimizely公司的使命就是帮助决策者们把数据转变为行动。这需要我们能够快速并可靠地移动数据。我们每天要处理几十亿个用户事件，包括浏览网页、点击和定制事件等。能以最快的速度将与用户有关的关键业务信息提供给我们的客户，这一直都是我们最高优先级的任务。正因如此，我们一直都在寻求创新的方式来改进我们的数据处理流水线。 ...

2016-12-28 浏览(959) 评论(0)

阅读全文

流处理技术谬见大消除

我们在思考流处理问题上花了很多时间，更酷的是，我们也花了很多时间帮助其他人认识流处理，以及如何在他们的组织里应用流处理来解决数据问题。我们首先要做的是纠正人们对流处理（作为一个快速变化的领域，这里有很多误见值得我们思考）的错误认识。在这篇文章里，我们选出了其中的六个作为例子。因为我们对 Apache Flink 比较熟悉，所以我们会基于Flink来讲解这些例子。谬见1：没有不...

2016-12-05 浏览(935) 评论(0)

阅读全文

实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣？

分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。 DAG是任务链的图形化表示，我们用它来描述流处理作业...

2016-06-25 浏览(909) 评论(0)

阅读全文

Confluent Platform 3.0支持使用Kafka Streams实现实时的数据处理

来自 Confluent 的 Confluent Platform 3.0 消息系统支持使用 Kafka Streams 实现实时的数据处理，这家公司也是在背后支撑 Apache Kafka 消息框架的公司，它近日宣布最新的开源平台已经达到了通用发布（general availability）版本。Confluent Platform可以围绕Apache Kafk...

2016-06-16 浏览(1,006) 评论(0)

阅读全文

LinkedIn 的Kafka 生态

Apache Kafka 是一个高度可扩展的消息系统，在LinkedIn 的中心数据管道中扮演着关键角色。LinkedIn 早在2010年就开发了Kafka，现在每天在1400个节点上处理超过1.4万亿条消息。Kafka 的高稳定性和低延迟，使我们能够使用Kafka 支撑LinkedIn 的许多新的关键任务用例，包括在 Espresso 中使用基于Kafka 的副本取代MySQL 副本， ...

2016-06-01 浏览(955) 评论(0)

阅读全文

除Hadoop外你还需要知道的9个大数据技术

Hadoop是大数据领域最流行的技术，但并非唯一。还有很多其他技术可用于解决大数据问题。除了Apache Hadoop外，另外9个大数据技术也是必须要了解的。 Apache Flink Apache Samza Google Cloud Data Flow StreamSets Tensor Flow Apache NiFi Druid Lin...

2016-05-31 浏览(871) 评论(0)

阅读全文

LinkdeIn 的 Kafka 生态系统

原文： Kafka Ecosystem at LinkedIn 作者： Joel Koshy 翻译：孙薇责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qshuguang2008申请入群，备注姓名+公司+职位。 ...

2016-05-04 浏览(1,137) 评论(0)

阅读全文

Apache流计算框架详细对比

原文几个月之前我们在这里讨论过[]( http://www.cakesolutions.net/teamblogs/introduction-into-distributed-real-time-stream-processing) 目前对于这种日渐增加的分布式流计算的需求的原因。当然，目前也有很多的各式各样的框架被用于处理这一些问题。现在我们会在这篇文章中进行回顾，来讨论下各种框...

2016-03-13 浏览(958) 评论(0)

阅读全文

用Apache Spark进行大数据处理——第三部分：Spark流

介绍在“用Apache Spark进行大数据处理”系列的前两篇文章中，我们看到了Apache Spark框架是什么(第一部分)还有如何使用Spark SQL库访问数据的SQL接口(第二部分)。这些方案是基于批处理模式下静态信息处理的，比如作为一个按小时或天运行的任务。但若是在数据驱动的业务决策场景下，当需要飞快地分析实时数据流以执行分析并创建决策支持时，又该如何呢？ ...

2016-03-03 浏览(890) 评论(0)

阅读全文