转载

2016北京Qcon技术见闻个人总结

个人于2016年4月21日至2016年4月23日参加北京Qcon全球技术开发者大会，既见识到各种技术各种思想的碰撞，也很直观的看到各个厂商的厮杀。从个人来讲，无论是社交还是技术干货乃至技术鸡汤都有不少收货。这里谈谈个人的技术见闻总结，各个演讲内容的技术细节待大会PPT发布后有了详细资料再分专题慢慢补充吧。

1.云、容器、服务化

大会上各种云厂商的宣传广告宣告目前是云计算的战国时期，数不清甚至分不清名字的各种云服务摆在我们面前，容器技术的出现更是在混战的熔炉里又添了一把火。说实话，我只用过DaoCloud与七牛云，后者甚至只用的别人写好的插件，不过前者正好是docker容器云，开发体验确实很好。本来想去听听DaoCloud的分享，无奈实在是太火爆了，他们又正好被安排分到一个小房间里面演讲（本届Qcon的房间安排还是有点问题），密密麻麻都是人，空气都变浑浊了。

直到网易蜂巢分享他们的容器云经验，才抢了个座静下心来听。正如演讲人所说，在公司内部引入docker技术确实会改变开发与测试/运维人员的合作组织模式，运维直接定义镜像，开发直接交付镜像，测试直接使用镜像，在统一的自动化容器云平台上进行确实会变得很高效。Docker本身有存储与网络的问题，容器管理方面kubernetes也存在管理容器数量的扩展极限（一千个节点），底层如果使用OpenStack直接运用在公有云环境也还是不够成熟，但是如果运用在公司内部（目前近万个容器运行问题不大）作为开发环境似乎问题不是太大。

因容器技术而火起来的还有微服务架构。本次还是没听到有公司敢使用纯正的微服务架构，但是服务化的趋势还是很明显，目标就是使业务开发间的耦合度降低，特别是异构语言系统可以很方便的开发持续交付，同时可以放心的水平扩展。七牛CEO讲了很多服务治理需要注意的要点，但是他们也没有投入实战的感觉，说的都比较虚，没有任何数据支撑。这块对工程实践中可能会出现的各种问题还是不太了解，目前多数国内厂商仍旧处于服务化改造的阶段，并没有继续深入到微服务。但是很明显随着这些坑在各种基础软件中慢慢完善，微服务化应用会更加广泛，因为小组织自治其实挺符合一般互联网公司的人员组织结构的。服务化改造其实对监控、故障检测、日志分析、问题定位等运维工具要求进一步加强，各个厂商真正分享的内容就是他们的监控系统，特别是在日志分析还原服务的请求追踪方面比较独到（这块基本都没开源）。

2.GC与高可用系统

从个人兴趣爱好来讲，还是比较喜欢各种底层技术与基础组件。本次有关于Java GC的分享都非常精彩，Intel带来的spark优化分享虽然后面又回到了推销自家的SSD产品，但是一些经验总结很有用。总体来讲，听这些演讲让我感觉到自己之前学习的一些Linux内核和文件系统相关的细节还是很有用的，因为很多问题最后都是文件系统page cache使用的问题，所以把现象列清楚，原因居然就能猜个八九不离十，感觉以后完全将这些知识应用到调优相关的工作，帮助解决些疑难杂症。

Twitter分享他们的消息总线碰到的一些问题和解决方案设计也很有趣。关键是他们在生产环境部署运用了Bookeeper，这个组件我研究过还看过源码，感觉思想比较超前，实现的Paxos算法当时也不太可靠。他们还在跨机房部署Zookeeper集群，这样真的不会出问题吗？在系统高可用架构方面可以做进一步交流。美团的分布式对象存储系统分享内容也很丰富，比我们研究生实验室的分布式文件系统还是考虑的多多啦，高可用一致性方面他们团队将要实现加强版Paxos，应该是来自于OceanBase组的工程实践，值得多取经。

3.大数据与Deep Learning

大数据依旧火热，虽然同样产品进入爆发增长期，但是部分环节选型已经尘埃落地。比如数据存储使用HDFS，分发使用Kalfka，流式处理Spark Streaming/Storm等，但是SQL on Hadoop方案仍然在混战中，产品厮杀主要集中在查询这块。大数据BI方面目前功能仍旧落后于传统的数据仓库技术和传统BI工具（如Tableau），但是性能已经好不少，相信很快就能全面超越。本次本人重点关注了Elastic Stack、Druid和来自京东VP的分享，Elastic原以为只是一个search产品，没想到后面居然还有一个公司，结合search与他们的BI工具Kibana可以构成完整的工具栈。Druid同样是在为大数据分析打基础，作为一个专门为BI设计的分布式数据库在效率（支持流式数据）与数量级上可以全面超越传统数据仓库，不过这个组件目前还在进行大的调整，竞争产品还有InfluxDB，甚至Elastic Search。京东VP的分享比较高屋建瓴，他提到大数据在BI应用中data model与schema设计非常重要，可以显著减少数据复制并支持更多业务要求。他多次提到大数据优化的商业价值让人切实感到Deep Learning算法的力量，顿时让本人感觉作为系统工程师可能要好长时间吃土，还是研究Deep Learning和人工智能算法才是王道啊。

原文 http://www.chaozh.com/personal-technical-summary-of-qcon-beijing-2016/

正文到此结束