分布式快照算法: Chandy-Lamport 算法 算法

分布式快照算法: Chandy-Lamport 算法

0. 引言 上一篇文章最后说到 Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照(Distributed Snapshot)算法 Chandy-Lamport 算法,那么分布式快照算法可以用来解决什么问题呢? A snapshot algorithm is used to create a con...
阅读全文
SQL抽象语法树及改写场景应用 算法

SQL抽象语法树及改写场景应用

1 背景 我们平时会写各种各样或简单或复杂的sql语句,提交后就会得到我们想要的结果集。比如sql语句,”select * from t_user where user_id > 10;”,意在从表t_user中筛选出user_id大于10的所有记录。你有没有想过从一条sql到一个结果集,这中间经历了多少坎坷呢? 2 SQL引擎 从MySQL、Oracle、TiDB、CK,到Hiv...
阅读全文
Rete algorithm 算法

Rete algorithm

The Rete algorithm (/ˈriːtiː/ REE-tee, /ˈreɪtiː/ RAY-tee, rarely /ˈriːt/ REET, /rɛˈteɪ/ reh-TAY) is a pattern matching algorithm for implementing rule-based systems. The algorithm was developed to eff...
阅读全文
antlr4操作入门(java版本) 算法

antlr4操作入门(java版本)

背景 最近在学习github上的一个mlsql项目的时候,发现了antlr这一强大的语言解析工具。上网搜罗了很多资料,基本都是概念原理之类,示例也比较单一,看了之后难以上手。为了帮助初次接触antlr的童鞋们能够快速运用antlr做出东西来,遂出此文,希望能帮助到迷茫中的朋友。(本人渣渣一枚,没有什么语言解析的基础,仅仅帮助大家使用工具,不谈原理) 概要 本文参照mlsql,定义一种数据加载...
阅读全文
Rete算法 算法

Rete算法

写在前面 Rete是拉丁文,对应英文是NET也就是网络的意思。在1974年由内基梅隆大学的 Charles L.Forgy 博士在他的论文《A Fast Algorithm for the Many Pattern/Many Object Pattern Match Problem》提出,后来成为了产生式规则系统(Production Rule System)的大脑,该算法是一个快速的模式匹配算...
阅读全文
有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器 算法

有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器

一、前言 很早之前,我曾经写过一个古体诗生成器(详情可以戳TensorFlow练手项目二:基于循环神经网络(RNN)的古诗生成器),那个时候用的还是 Python 2.7 和 TensorFlow 1.4。 随着框架的迭代,API 的变更,老项目已经很难无障碍运行起来了。有不少朋友在老项目下提出了各种问题,于是,我就萌生了使用 TensorFlow 2.0 重写项目的想法。 这不,终...
阅读全文
Loading...