转载

我的X档案 - 新的希望

换工作了。

转眼离开学校已经2年多，时光飞逝，一滴不剩，大学通宵研究技术的日子恍如昨日。从小对计算机痴迷的我，终于进入理想的行业，并且毕业就从事当今最热门的大数据技术。【2016.03.27 10:49随笔】

在经过2周的挣扎之后，还是决定离职了，可能是因为在一个安逸的环境中呆久了，不是那么容易离开，公司也按照惯例进行了挽留。很多人一起，从零开始一步步开荒，构建企业级一栈式大数据处理平台[从一个开发人员转移架构师挑战还是蛮大的]。目前几个应用和集群规范已经形成，集群也一直稳定运行，是时候该开始重新起航了。

感谢过公司给我很多的支持和机会，让我能参与到大数据开发转架构的机会。在这个公司我经历了从Linux系统存储规划，一些底层优化；然后构建企业级大数据解决方案，形成规范文档，系统性能测试，技术选型，集群层面的性能优化；参与开源社区，对新技术充分测试验证，出各种开发使用入门文档，开始做企业级大数据内部培训。工作内容很多，每天很晚睡[研发新技术写技术文档哦，呵呵]，第二天充血状态上班参与基本的集群与运维，验证新技术使用，参与一些集群规划建设规范性质的文档，比如：

硬件评估
性能测试(tpc-ds,ycsb)
集群规范
实施规范
存储规划
技术选型
开发规范
入门文档

集群稳定开始正常投入使用，帮助非大数据相关人员轻松转移大数据平台，Oracle是公司的中间力量，开始转型需要一个类似PL/SQL可视化界面；集群监控工具需要ganglia，zabbix这样的工具可定制化程度低，后自妍监控工具，业余开发SkynetEye(开发中…)；诞生itweet.cn发表个人博文，记录一些python,java,大数据方面的思考；Hadoop生态圈常见软件都尝试过，也写了些入门文档，发现花了大量时间做测试，并没有投入到生产，经过思考打算共享出去，受益更多人，所以诞生了企业大数据解决方案公益教程,挺辛苦的凌晨1-2点还在录制，感谢那些支持我的人，让我坚持下来，感谢孔老师的无私，让我学到真正的技术，老师的JAVA,Linux课程让我在工作后能迅速成长。

SQL-on-Hadoop 可视化类PL/SQL工具
SkynetEye 大型分布式监控软件
个人技术博客
Enterprise_Hadoop_Solutions 视频
微信公众号
Coding
Course

再次感谢公司给我的机会，让我能参与大数据系统的构建中，现在还在很菜的我，打算重新起航，公司给予我很大的自由发展空间，让我收获良多；做大数据架构工作，底层基础不够牢靠，很伤神，自己没能去一个好的不像话的学校[比如哈佛]好好静心学上那么几年和更多聪明人一起玩乐，悔。哈哈，不现实，老实补基础吧。未来的工作，希望能参与到更多有趣的工作中和更多聪明的人一起学习进步，一直闷着自学的我，还希望有人能给予启示…

呆过2家公司，很多人对我都有很大帮助，让我保持持续学习。从来没有职业规划的我，开始有些思考；

第一家公司
- Hadoop研发工程师职位
- Linux维护
- JAVA后端开发
- 预研发Hadoop生态圈
- SQL on Hadoop框架对接公司系统
第二家公司
- Hadoop架构师(小白架构)
- 技术选型，性能测试，集群规划规范文档，集群运维
- 预研发新技术出入门文档
- 形成大数据解决方案，推广使用
- 帮助转型大数据平台开发，Hadoop DBA
- 自动化小工具开发
- 大数据各种JOB对接公司自研发的ETL工具
- 大数据应用(没深入参与开发)
  - 互联网行为分析平台
  - 用户终端识别系统
  - Hbase 交易记录查询