编者按:InfoQ开设栏目“品味书香”,精选技术书籍的精彩章节,以及分享看完书留下的思考和收获,欢迎大家关注。本文节选自杨旭著《大数据是这样计算的:XLab实例入门》中的章节“简介”,介绍大数据通用算法平台XLab。
XLab是大数据通用算法平台,现为阿里巴巴集团内部最大的分布式算法平台,集大规模统计、机器学习、数据分析、挖掘和处理于一体,致力于帮助用户享受最新的算法研究成果,使其无须关注算法的底层实现和性能调优,专注数据探索和算法尝试,从而快速地进行业务调整,搭建线上业务。无论你是否有大数据分析的基础,都可以通过XLab图形界面,轻松上手;XLab还提供了脚本编辑执行功能,灵活方便,帮你成为大数据分析的高手。
XLab主界面分为4个功能区:工具栏、数据列表、窗口管理器和工作界面。各功能区的位置如图2-1所示。
图2-1接下来,我们会对各功能区进行介绍。
位于XLab主界面的左上角,如图2-2所示,共有4个图标,分别为脚本编辑运行、获取帮助手册、查看标准输出和版本信息。
图2-2
下面我们详细介绍每个图标的用法。
(1):脚本编辑、运行。单击此图标,出现XLab的脚本编辑运行窗体,如图2-3所示,具体的功能会在后面的章节详细介绍。
图2-3(2):帮助文档。XLab会带着最新的使用文档,为PDF格式,单击此图标,会自动打开帮助文档,如图2-4所示。
图2-4
(3):查看XLab的标准输出,如图2 5所示。其中,“log/stdout2014_07_09_14_32_35_ 422.log”为标准输出保存的文件路径。
图2-5
(4):显示XLab的版本信息,如图2-6所示。
图2-6
位于XLab主界面的左部偏上的位置,即如图2-7所示的功能区域。
图2-7
该区域用来显示用户登录时所输入的“默认Project”中的全部数据表名称。如果用户登录时设置了“关联Projects”,则还会显示这些Projects中的所有数据表名称。在实际使用中,接下来要介绍的几个小技巧可以使数据表操作更简单。
技巧一,在输入框中输入数据表名称的部分字符,下面会自动对表名进行过滤。譬如:在输入框内输入“kddc”,则所有名称中含有“kddc”的数据表都会显示在下面,效果如图2-8所示。
图2-8 技巧二,在数据表名上单击右键,可以进行复制表名、修改表名、删除表和查看属性等操作,参见图2-9所示。
图2-9譬如选择菜单中的“属性”,得到如下显示结果(见图2-10)。
图2-10
可以了解各数据列的名称和类型,知道记录总数、该数据表的创建和修改时间。
技巧三,更新数据列表,需要按按钮。注意XLab不会自动更新数据列表内容,用户可根据实际需要手动更新。
位于XLab主界面的左部偏下的位置,如图2-11所示,包括所有在工作桌面上运行的窗体列表。
图2-11
中间树状结构显示XLab内部各个窗体及其对应关系。如图2-11中的两个数据表格窗体在树中有父子节点关系,则表示子节点对应窗体数据由父节点操作后生成。用户单击树节点可以显示/隐藏对应窗体,也可以单击下方显示/隐藏全部窗体。
2.1.4 工作界面
位于主界面的右端位置,占据了主界面的大部分区域,用来查看数据、进行分析计算、显示结果等,如图2-12所示。
图2-12
注意:工作界面的大小是可调的,可以使用鼠标拖动工作界面左端的分割栏,调节主界面左右区域所占的比例;也可以单击分割栏上的黑色指向左端的三角形,将工作界面扩展至全屏。
2.2 数据查看、运行
单击数据列表中的某个数据表名称,就会在工作界面显示该数据表相应的数据,如图2-13所示。
图2-13
注意窗体下方的“当前显示前50行(最多10000行)”,“最多10000行”是ODPS系统对数据访问的限制;XLab默认显示50行,用户可以自由设置显示的行数。
在此数据显示窗体上,可以查看数据,还可以进行分析计算。其菜单栏上包含了大部分常用功能,具体功能如图2-14所示。
图2-14
2.2.1 文本显示用户也可用文本显示数据表的内容,但不可编辑。可以单击菜单项“表格→文本显示”,如图2-15所示。
图2-15
2.2.2 复制部分数据
显示在表格中的数据,可以通过选择区域,并使用“Ctrl-C”组合键复制数据,并粘贴到其他程序。举例如下。
如图2-16所示,使用“Ctrl-A”组合键,选中全部显示用的数据;选择使用“Ctrl-C”组合键复制数据,并把Excel打开,再使用“Ctrl-V”组合键,便将选中的数据复制到了Excel中,如图2-17所示。
图2-16
图2-17
2.2.3 显示/隐藏列
当用户想隐藏某些列时,可以选择菜单项“表格→显示/隐藏 列”,选择隐藏的列,如图2-18所示。
图2-18单击“确定”按钮,即可得到如图2 19所示的数据显示。
图2-19还可以在数据表上选中一列,单击鼠标右键,并选择“隐藏列”,隐藏选中的列。
书籍介绍:
《大数据是这样计算的:XLab实例入门》侧重介绍大数据分析方法和算法的应用,选取了10个不同领域的真实数据集,针对每个数据的特点,选择适合的方法和算法,和读者一起体验数据探索、数据分析、建模预测的过程;通过实例计算的结果,读者会更加了解各种方法和算法的长处和局限。《大数据是这样计算的:XLab实例入门》的实例都运行在大数据算法平台XLab上。