转载

真的堪比AlphaGo？正确姿势看首届「CGC人机漏洞挖掘对战赛」

*本文原创作者：Arthur & Sphinx，转载许可请联系editor@tophant.com

随着人工智能技术的进步，各种棋类高手一一被电脑斩落马下，围棋是人类硕果仅存的骄傲，但在 2016年3月的世纪之战中，谷歌旗下的AlphaGo电脑却成功击败韩国九段棋手李世石，而这也被认为是人工智能研究史上的重大里程碑。

Defcon作为全球关注度最高的CTF大会，今年则引入了全新的竞赛模式——人机对战！这场比赛号称人类有史以来的首次人机黑客大战，必然引起了广泛关注，一时间诸如《AlphaGo弱爆了……》等“大新闻”也第一时间爆出。FreeBuf作为业内知名专业媒体，自觉有必要带着客观敬畏的态度，与大家聊聊这场Defcon人机漏洞挖掘对战赛。

简介

大赛新模式

此次的Defcon大会引入的新的竞赛名叫CGC(Cyber Grand Challenge)，这是美国DARPA(国防高等研究计划署)举办的自动网络攻防竞赛。CGC旨在建立实时自动化的网络防御系统，并且能够快速且大量的应对新的攻击手法，来应对频发的网络攻击，并降低攻击出现到防御生效之间的时间差。

参与CGC的队伍可以透过Open Track及Proposal Track参加竞赛。Proposal需要参与DARPA研究计划，并会补助通过的队伍75万美金的经费。而Open Track则开放团队自由参与，但必须包含一位美国公民。此两个部分参与的队伍，必须开发出一套CRS系统，并参与Challenge Qualification Event（CQE），参加初赛来评估CRS的有效性，评分出前几名队伍进入决赛Challenge Final Event（CFE），冠军则会有高达200万美金的奖励。

这一届的CGC竞赛已经在2014年进行了Open Track/Proposal Track两部分，并在2015年的DEF CON23会议中进行了Challenge Qualification Event（CQE）选出了前七名。

在今年的DEF CON24上，这七支队伍被邀请到拉斯维加斯进行92轮的CTF比赛，为争夺第一名的天价奖金相互厮杀。

比赛过程

在CQE的环节中，主办方会根据参与Proposal Track和Open Track的团队对进行评分，评估的项目是机器在最小化CB功能的条件下对CB软件的漏洞寻找和漏洞修复能力。CQE环节要求参赛队伍保障超过100个CB程序的安全。对于每一个CB，CRS都会通过进行输入操作导致程序出现漏洞或者崩溃，以此作为演示。而要进行漏洞修复的演示，CRS需要提供修复漏洞后的CB版本。每个团队所获得的成绩会反映下图表格中的四项能力。

真的堪比AlphaGo？正确姿势看首届「CGC人机漏洞挖掘对战赛」

而在决赛中，除了CQE环节中所考察的四方面能力之外，还会考察自动化网络防御的能力。决赛中的队伍要在保护自身网络的同时尝试攻击其他对手找出漏洞。

比赛结果

真的堪比AlphaGo？正确姿势看首届「CGC人机漏洞挖掘对战赛」

经过在巴黎酒店8小时的角逐，最终来自ForAllSecure的机器人Mayhem获得了胜利。第二名是来自TechX的Xandra。两只队伍分别获得了奖励200万美元和100万美元，这7支队伍在晋级决赛之前都已经获得了75万美元的奖励。

真的堪比AlphaGo？正确姿势看首届「CGC人机漏洞挖掘对战赛」

ForAllSecure是由卡内基美隆大学的David Brumley教授创立的公司，许多成员也是来自于卡内基美隆大学CyLab（也是David Brumley教授指导的实验室）。说到CyLab一定要提的就是PPP团队，该团队是CTF竞赛的常胜军，常年盘据CTFtime上第一名的宝座，也说明了CTF相关经验，对CGC竞赛是有一定程度的帮助的。除此之外，CyLab在程序分析的研究也是引领全球的，与柏克莱的团队相似，CyLab也有自己研发的程序分析平台 BAP（Binary Analysis Platform）。BAP提供了自己一套中介语言（BIL）方便进行程序分析，也提供和SMY solver结合的接口，可以进行符号化执行的分析。最近在他们的GitHub中，也加入了由GeoHot开发的Qira系统。

而获得冠军的Mayhem机器人也是首个自动化与人类对抗的CTF系统，团队也受邀参加DEFCON之外的其他CTF巡回赛。

机器挖掘漏洞的优势

效率性

基于人类本身的劳动力查找漏洞已经跟不上漏洞出现的速度和频率了，所以美国国防部DARPA推出的这个CGC挑战赛就是为了解决这个潜在的问题。在2003年曾经出现的微软SQL漏洞：SQL slammer蠕虫。在短短10分钟内就感染7万多台电脑，这样的感染速度，人类根本没办法追上，唯有依赖电脑的自动化工具，才有可以遏止。

这次的CGC挑战赛的主题为动态分析(Dynamic Analysis)、静态分析(Static Analysis)、符号化执行(Symbolic Execution)、Constraint Solving、资讯流追踪技术(Data Flow Tracking)以及自动化测试(Fuzz Testing)等。就连近几年影响巨大的Heartbleed漏洞也出现在挑战赛上。或许也就是说，今后这方面的漏洞挖掘都可以由机器自动化完成。

真的堪比AlphaGo？正确姿势看首届「CGC人机漏洞挖掘对战赛」

质量性

参赛的机器大部分都有深度学习的能力。深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。总的来说，配置深度学习的CGC参赛机器都有自我进化的能力，碰到越复杂的环境，时间越长，其漏洞挖掘能力也会提高。虽然和AlphaGo的人工智能相比还有很长的距离，但是在自动化安全检测方面，这些机器已经占领机器界的顶尖了。

廉价性

2015年，瞻博网络与兰德公司合作围绕现代企业在抵御日趋复杂的网络安全问题上所面临的经济挑战、折中方案和各种需求，提出了全新的深入见解。兰德公司是一家非营利机构，致力于通过开展调研和分析帮助企业改善当前发展政策与决策制定过程。兰德模型预计，未来10年，企业在网络安全风险控制上花费的成本将增加38%。瞻博网络认为，现代企业应当尽快将控制网络安全风险的成本计划和管理工作提上日程。2016年，在上海移动无线安全大会上，众多专家表示黑客攻击造成的损失每年都在网上递增，相对应的安全维护成本也在不断的增加。就去年为例，仅仅在中国，网络黑色产业造成的突破了千亿人民币。而漏洞自动挖掘机器或许有这个能力和机会替代高昂的人工费用，取而代之的是廉价和高效的漏洞挖掘服务。

机器挖掘漏洞的劣势

局限性

电子前哨基金会的Nate Cardozo在CGC决赛当天就曾发布了一篇博文，文章中，他赞扬了DARPA开展的项目，但同时也警告用机器挖洞可能带来的风险：自动化修复漏洞不可能是非常完美的防御措施，不是什么东西的漏洞都可以轻易修复的，特别是智能设备，比如门铃、冰箱、甚至儿童玩具等，对于一些硬件方面的安全还得人为的去检测。除了物理黑客，还有一些常规的漏洞也没有办法完全靠机器去挖掘，比如逻辑漏洞，文件泄露漏洞等，这些漏洞往往需要站在人的思维上去进行思考，而目前的AI机器并不能百分百的模拟人类的大脑。综合以上几点，我们可以推断出机器挖掘漏洞目前还存在局限性。

可控性

对于机器挖掘漏洞的具体能力，没有大量的公开信息介绍它们如何挖洞，具体准确率如何，但我们可以从今年5月麻省理工大学团队的研究中看出端倪。该校计算机科学与人工智能实验室(CSAIL)研究团队声称他们结合人工智能的速度和人类分析师的智慧，开发了一套网络安全解决方案。这套系统名为AI2 (Artificial Intelligence + Analyst Intuition)，使用了PatternEx机器学习平台。通过观察三个月的日志信息（每天大概有4000万条日志），研究带头人Kaylan Veermachaneni称，这套系统能够检测85%的网络攻击，减少1/5的误报。而一般的非监督式机器人检测攻击的成功率平均只有7.9%。看着这个结果很理想，但是这里存在一个弊端。首先，挖掘漏洞的不是白帽子，而是机器。在挖掘漏洞的过程中有一定的概率发生一些信息安全事故，比如机密信息泄露，服务器宕机，重要文件被删除等，而这是都是无法控制的。安全性的东西，我相信大部分公司更愿意选择可控性检测。

真的堪比AlphaGo？正确姿势看首届「CGC人机漏洞挖掘对战赛」

从CGC大会的情况来看，机器的确能够取代人类白帽的一部分工作，甚至在有些方面比如运行速度方面，机器相比人类具有天生的优势，并且还能够提高挖掘漏洞的质量。但事实上，自动化挖掘漏洞存在不可控因素，没有人工挖洞灵活，有些漏洞比如逻辑漏洞，可能还没有办法进行自动化检测。而对于一些信息泄露之类的风险情况，机器也很难针对性的做出对策。另一方面，机器挖洞在降低了安全维护成本的同时，也同时降低了犯罪分子进行攻击的人力成本。因此，机器自动化挖掘漏洞只能属于安全行业里面一个工具，想要完全取代人类白帽，要走的路还很长。