转载

利用IPython Notebook配合Amazon EMR实现数据分析

IPython Notebook是一套基于Web的交互环境，允许大家将代码、代码执行、数学函数、富文档、绘图以及其它元素整合为单一文件。从后端层面看，IPython Notebook会将此类信息保存为一个JSON文件。

相较于传统REPL或者传统写入/上传/测试任务流程，Notebook的突出优势在于允许大家将交互式内容与图片及绘图相结合。在数据分析类任务领域，Notebook能够出色地完成探索性测绘工作、快速筹备原型方案并将其与同事进行分享。而这也正是IPython的闪光点所在：当大家分享Notebook内容时，我们可以通过有组织的方式提供相关背景，并允许同事们就此进行效果体验。IPython官方网站上提供了丰富的说明文档与示例资料，旨在帮助大家快速上手IPython。而在将Notebook运行在Amazon EMR上时，我们则能够通过运行Hadoop任务并将结果绘制成视图的方式快速实现数据集分析。

在今天的博文中，我们将共同了解如何启动一套运行有IPython Notebook的EMR集群，通过自己的浏览器与目标Notebook相对接、利用Hadoop Straming进行分析并以图形化方式显示分析结果。通过EMR bootstrap操作，我们能够将IPython Notebook以及关联性安装在主节点之上，并同时获得用于实现基础性科学计算的工具包。

大家可以利用以下命令启动一套EMR集群：

aws emr create-cluster --name iPythonNotebookEMR / --ami-version 3.2.3  --instance-type m3.xlarge --instance-count 3 / --ec2-attributes  KeyName=<> / --bootstrap-actions  Path=s3://elasticmapreduce.bootstrapactions/ipython-notebook/install- ipython-notebook,Name=Install_iPython_NB / --termination-protected

大家也可以使用EMR控制台并选定以下bootstrap操作：

s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook

在集群开始运行之后，Notebook服务器将运行在端口8192上。我们可以通过打开由本地设备到目标EMR主节点间通道的方式实现接入。以下示例介绍了如何打开一条通往主节点的通道：

ssh -o ServerAliveInterval=10 -i <<credentials.pem>> -N -L  8192:<<master-public-dns-name>>:8192 hadoop@<<master- public-dns-name>>

顺利打开通道之后，开启我们的浏览器并通过以下URL访问该Notebook：

http://localhost:8192

利用IPython Notebook配合Amazon EMR实现数据分析

现在页面已经顺利开启，接下来选择 New Notebook 。

下载字数统计代码

首先，大家需要将字数统计代码下载到自己的设备上。我们可以使用与IPython功能相契合的wget命令运行shell命令行，命令开头需要以！作为前缀：

!wget https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/wordSplitter.py

在字数统计代码下载完成后，大家可以将对待其它Hadoop任务一样将其付诸执行。该程序的输入结果读取自Amazon S3，而输出结果则写入至HDFS。

运行MapReduce程序

!hadoop  jar /home/hadoop/contrib/streaming/hadoop-*streaming*.jar  -files wordSplitter.py -mapper wordSplitter.py -reducer aggregate -input  s3://elasticmapreduce/samples/wordcount/input -output /output

在该Hadoop任务运行完毕后，大家可以在EMR集群上的本地HDFS中检查输出文件内容。接下来，我们要做的是利用该结果绘制出一份条状图。大家可以点击此处从AWS大数据博客GitHub库中下载示例代码。（请记住，如果大家打算复制并粘贴这部分代码，请预留足够的空间！）

以下截图所示为运行示例代码后的显示结果。

利用IPython Notebook配合Amazon EMR实现数据分析

清理

在体验过了IPython Notebook的使用流程之后，大家可以通过控制台或者AWS命令行关闭自己的集群，以免其闲置带来额外使用成本。

总结

在今天的文章中，大家了解了如何启动一套运行有IPython Notebook的EMR集群、通过浏览器接入Notebook、使用Hadoop Streaming实现数据分析外加以图形化方式显示分析结果。现在大家可以利用IPython的强大能力组织自己的代码并加以分享，这样其他人就能轻松了解我们项目的背景信息与实验效果了。

如果您有任何问题或者建议，请在评论栏中与我们交流。

原文链接： https://blogs.aws.amazon.com/bigdata/post/TxX4BY5T1PQ7BQ/Using-IPython-Notebook-to-Analyze-Data-with-Amazon-EMR

正文到此结束