2016，我的技术和诗
前言
都说【同化】是一种很神奇的力量，看着大家都发新年感悟，大致就是回顾2016展望2017，我也没把持住自己的【清高】，发了一段话：
2016年工作上还是有不少进步的 开始在简书上写文章了 玩了微信公众号 还做了几个大数据相关的开源项目 学习，使用，布道了Spark 和 ElasticSearch 技术。当然也玩了不少地方 ，去了西安，走了沙漠，到了海边，漫步了东北，吃了重庆的火锅，来了上海迪斯尼，马上要去杭州和深圳溜达。年底这两个月竟然少有的拥有很多时间成体系的学习了一直想深入研究的机器学习领域，有了新的理解和感悟。当然遗憾的事也是有的 六月说要写的书 拖了半年还没写完
今天打算进一步俗下去，把上面的话展开了写。
技术元年
应该说2016年是自己的技术元年，当然在2016之前，我其实已经工作了七年左右了。
由批处理进入流式时代
2015年年底，进入L公司，让我进入了流式计算时代。因为当时部门的主要业务就是计费,所以当时入职后就开始对原有的系统做设计和改造，这篇文章可见端倪： 基于HBase做Storm 实时计算指标存储
因为之前了解过Spark,它一个比较好的地方是能够同时实现流式和批处理，而且用起来还简单，所以我计划统一平台，不过我打算先深入学习Spark Streaming之后再使用，2015年12月9号 写了第一篇Spark的源码分析文章 Spark Streaming 数据产生与导入相关的内存分析 ,之后就已发不可收拾。
16年成功实现了对Spark Streaming的推广，部门大部分流式任务都已经采用了Spark Streaming。目前有个百台以上规模的Hadoop集群里面大部分任务都是Spark Streaming。
我也充分的享受到了流式计算的好处，所以开始不断鼓吹流式数据天生就是流式的，而且也对流式的质量控制有一定的心得 流式数据Pipeline质量控制浅谈
那个时候分析源码分析High了，还顺带研究了几天Kakfa Kafka Zero-Copy 使用分析 ,熟悉了其代码体系结构。
分析源码有点打游戏的感觉，打通关，解决了一团疑惑后会很有成就感，但是很快会有新的疑惑。
海量数据查询
大约2016年2月到3月之间，我们开始面对海量数据的即席查询的需求，其实就是明细数据的各种聚合查询。我之前除了参与改造流式计算平台以外，其实本职工作大致是检索引擎，还有未来的推荐，机器学习等研究。检索采用了ElasticSearch,所以对ElasticSearch开始有一定的了解，并且于 2月写了第一篇ES的研究文章 ElasticSearch Rest/RPC 接口解析 ,然后这一整年不断的有ElasticSearch相关的文章输出。
这个过程我们开始想如何使用ES来解决明细数据聚合查询的问题，调研后做了如下的架构 SparkES 多维分析引擎设计 ,从4月份开始，基本就是围绕这个开始做。
当时我们小组包括我是三个人，一个人基本是对外需求的满足，毕竟需要有业务产出，否则小组很容易挂掉，另外一个和我一起弄这个架构。虽然人少，不过都是工作经验比较丰富的，我们整个数据部门平均工作经验7年+，我们小组则更高。
四月份我们准备简化Spark的使用，所以有了 StreamingPro 项目。四月初开始规划，四月中旬开始开发，四月底就完成了第一个版本，并且很快开源。之后这个项目成为了我们所有项目使用Spark的标准工具。
SparkES 多维分析引擎设计实际对应的架构如下：
Snip20170104_2.png
当然这个架构最后的形成其实是在下半年了。规模最大时，ES集群服务器超过150+左右的服务器，配套的Spark服务占用的资源应该100+左右服务器，包括数据处理和查询。应该是一个非常大的规模了。
架构里面的QueryProxy 集成了ElasticSearch-SQL，可以查询多个ES集群，同时也可以对接Spark SQL或者ES,也就是你可以通过QueryProxy直接查询ES或者透过Spark SQL查询ES。 Spark SQL的好处是可以解决跨索引查询以及完备的SQL支持，而直接使用ES-SQL的好处是速度够快。
当然我们这个期间也花了一些时间对ES-SQL进行Enhance，增加了一些新的语法，并且提供JDBC的支持，并且回馈给了开源社区。
我们小组不仅仅承担开发任务，同时还有服务的运维任务，我们是哪个人的手头管理和维护的服务器也接近200台，而且我们也对外提供StreamingPro，QueryProxy的使用培训等，方便平台组和分析团队更好的使用。为了保证我们自己的服务运行稳定，我们重新搭建了一套小型的SparkES集群专门收集和存储ES/Storm/Spark日志等系统的日志,大致思路如 用大数据思维做运维监控 。为了方便采集API接口，比如ES提供了大量的http接口供你分析ES的系统状态，反而是日志输出的比较少，所以我的另外一个同事又开发了一套API采集系统 RestHunter ，可以通过界面和配置定时采集ES API获得结果并且解析进行存储。
释放以前的工作成果
在文章 这些年，我工作上走过的路 ,我提到：
经过八个月业余时间(周末加上工作日夜晚)的努力，我想要的产品原型终于做成了
我将这里提及的【产品】中的一些小模块剥离出来成了两个开源项目， yarn-client ,他可以是你非常容易开发一个基于Yarn的分布式应用。基于此，还有一个基于Yarn调度Docker的应用 yarn-docker-scheduler 。
年底的最后一战
大约12月份，我开始开发我工作生涯的第二个推荐系统，这个时候我们组包括我已经有四个人了，额外还引入了三个人，参与该项目的人大约总共七个人不到，每个研发一天不超过两小时，还有两个人总共只花了一个下午的时间，在这种情况下两个礼拜就完成了这个系统的原型开发，包括 基于用户画像的实时异步化视频推荐系统 提及的所有功能点，以及部分推荐系统之眼提及的功能点。
对北京说再见
给一位好朋友投了一篇稿子，叫 我和北京的7年之痒-天才工程师的自白 ，标题那个，标题党了，大家就忽略吧，看看内容。这篇文章正式宣告我离开北京了。虽然离开北京来到杭州，结果杭州也连着四天都是雾霾天(全国性雾霾)，然而想着退而求其次，好歹还是比北京好些的，也不如北京的醇厚。
与你同在
2016年2月份参加好朋友的婚礼，然后顺带去西安玩了几天，回来到四月写了篇 我的兄弟结婚啦，新娘不是我 ，不过没想到竟然遇到了人生很重要的人，也算是无意的收获。
那一天，我脑袋刚探进门缝里，然后有人发起关门动作，然后我的脑袋就被夹了，接着就莫名其妙的对她说：我想去沙漠，大家都去看海看山，我们去吃土吧。
你想去么？
恩，想去。
那去吧。
就这样去了沙漠，先汽车嘟嘟嘟，地铁当当当，然后火车框框框，接着滴滴滴滴滴，最后终于到达目的地。旅途艰辛。但是能和她一起在旅途，就犹如一起出来看看太阳，是一种简单但幸福的感觉。
景区是个很偏僻的地，玩完出来的时候，到公交站要走很远的一段距离，这段距离都是土路，树叶才刚发出嫩芽，但看起来和冬天光秃秃的并无二致。大卡车一过，整个路就尘土飞扬，当量相当于北京半年的霾吧。然后私家车一辆接着一辆给我们加餐。整个路途中只有我们两是在走路的。但是她一直很开心，虽然也吃了巨多的灰和土，中途还要不断给车让路。
我觉得她追寻的幸福很简单，而我也应该更加努力让她拥有那些简单的幸福。她没有因为现在的条件而责备或者不满于我，而我也相信自己能够不再让她走在充满尘土的路上。
都是爱情是神奇的，那个时候我突然感觉自己就像个诗人，总有好的句子冒在我的脑海里。
当我看着她的脸庞时，我喃喃道：
你温柔时就像 那慵懒的太阳 暖暖的 温和的 甜甜的 铺在了我的脸上 你热情时就像 那慵懒的太阳 暖暖的 温和的 却时不时灼烧下 我手上的皮肤 你喃喃呓语，听着就像海浪拍打海滩的节奏 你天使般的微笑，带来了清凉的海风 身上的每块 骨头 每块肉 每个感触 由外而内 都是放松的 看着你的背影 宇宙的每一刻粒子 都浸染了我的幸福
当她坐着火车准备回家时，我不禁感觉非常不舍，
火车 听说你要离开几天 心里的小人被撕裂成了两个小人 一个小人很不情愿，很不舍 一个小人则理性的说 不能用不舍去绑架人 我慌了，不知道该听谁的 午后闷热无风，好似心中的两个小人不再扰动，反倒焦躁了 我和你，坐在小区小广场的一棵大树下的石板凳上 天气竟然凉爽了 风吹动树叶玩转点滴阳关恰似波光嶙峋 一起的两小时，没怎么讲话 好似千年 又如一瞬 似乎我们有了千年的情 但似乎只呆呆的看了你一秒 今天我们看到了很多的火车 有绿皮的 有白皮的 他们都是风景 我们一起，开心的看着 然而 当你坐的那辆火车开动的时候 有一颗绳索 拉着我的心 车开的越远 绳索蹦的越紧 想必这就是牵挂的来源吧 当车开的足够远，我的灵魂 也被拉出 我是一个无主的人了
当她好几天不在我身边的时候，我不禁了无生趣：
我有一块新大陆 占据了总面积的一半 然而新大陆是被迷雾笼罩的 你来了 就像那太阳一样 拨开云雾 整个新大陆在和煦的阳光中 鸟语花香 你不在的这几天 我发现新大陆的鸟儿不再歌唱 树叶不再长青 我以为我失去了整个新大陆 后来我才发现 我失去了整个世界
和她发讯息的那种甜蜜：
画面一： 裹在被子里看书 忽然想和你说说话 又不知道说些什么 叫了叫你的名字 有点开心 只因喊你的时候你总在那 画面二： 正经危坐着 敲着键盘 看着跳动的字符 时不时无意识瞅着手机 仿佛你就在手机里 看到有我名字的简讯点亮了屏幕 也点亮了我的心:two_hearts:
看着计算机书，我想到的也是对你的情话：
据说，人类最有前途的计算机技术 是量子计算机 量子计算机的理论基础是 无论两个粒子离的有多远， 当一个变化了，另一个也必然发生变化 你和我的心 便是量子幻化而成 无论我们有多远 我们都能感受到对方的变化 你的心头一想到了我 我的心头便是一颤 温馨的 暖暖的 爱情 不是占有 而是一种 牵挂
我们相遇在马路的那一刻，也是一种美：
你在过马路 撑着小伞 阳光BlingBling的 走到马路中间 绿灯调皮的把自己变成了红灯 前后的车在你身边疾驰 小伞下有颗不知所措的心儿 我在迎面处 远远的就看到你的轮廓 越走近越确认就是你 心中的欣喜也难以掩饰 我闯着红灯走到你跟前 然后在绿灯的陪护下 和你一起走到马路边 我愿消失在你的伞下
我睡觉的时候，我自言自语道：
我要去睡了 因为我怕 我只要醒着 我的眼眸里 我的脑海里 我的思绪里 都是你美丽的身影 然而，进入了梦乡 你我依然不期而遇 从梦中甜醒 我睁开眼 想到的依然是你 你便是我的梦 我的现实
当她在看着窗外的雨时，我也在看着窗外的雨：
下雨天 屋子里的人总是禁不住犯懒 刷手机 看电视 睡觉 外边的人们走的比谁都快 没人愿意好好看看这雨 只想他早点停吧 我早上 好好的看了这雨 雨滴滴落在路旁汽车的后备箱上 以一个中心点迅速的向四周扩散 ，消失 。 路边的浅浅的积水 在风的作用下 却也似乎有了海浪的形， 但终究是没有海浪的气势。 走在夹路是两排树下的小道上 雨水拍打着树叶 拍打着伞 这自然的声音 终究是比耳机里的音乐来的更让人舒畅
她在微博说：
你说喜欢雨 但是下雨时却撑开了伞 你说喜欢阳光 但是阳光播撒时却躲在阴凉 你说喜欢风 但是清风扑面时却关上了窗
我在微博回答她：
我打开伞 缓缓的看着雨水从伞尖流下 是因为不忍雨水好似泪水 从我的脸颊流下 我躲在阴凉处 是因为这样才能好好感受 我不想让阳光因为过度的热情伤害我而懊悔和伤心 我关上了窗子 是因为我马上要出门 拥抱你
我相信：
如果说十指连心 那么 当我的手牵着你的手的时候 便是 我们心心相印的时候 我们的心通过手来连接 当我牵着你的时候 我便可以拉过你来 互相拥抱 拥抱的感觉 就像淋了漂泊大雨 回到了温暖的家里 喝着热气腾腾的汤 看惯了世间的喜怒哀乐 无论多么努力 总有无可奈何的时候 一牵着你的手 我便有了前行的动力
正文到此结束
热门推荐
相关文章
近期评论
-
666
-
文章和留言都翻到11页了 没有OOM
-
-
朋友，翻页到11页，及以后，会出现OOM，无法访问
-
-
-
-
版本号是多少，你可以下载哪个代码仓库，jdk选1.8 直接跑就行
-
-
Loading...
![[HBLOG]公众号](https://www.liuhaihua.cn/img/qrcode_gzh.jpg)
