【51CTO.com快译】抓紧你的键盘!无需鼠标或者GUI,我们完全能够在OS X与Linux上完成大量操作。面向各类*N*X系统的大量出色命令行工具一直在技术行业拥有极高人气,且已经扩展至Python、Go、NodeJS乃至各类混合型工具当中。即使大家并不打算通过命令行运行整条数据处理管道,这些工具仍然能够带来可观助益。
《命令行上的数据科学(Data Science at the Command Line)》一书与GitHub皆为我们带来大量高水平的预处理与后处理类工具选项,大家亦可根据需要对其进行针对性调整。在今天的文章中,我将向各位强烈推荐自己最为喜爱的那些相关工具。
CSVKit绝对值得一试。其能够利用逗号分隔值实现您所需要的一切。大家可以通过cvs cut剪切列、使用cvsgrip进行列过滤、通过sql2csv将PostgreSQL中的数据提取至CSV、使用cols从列中剪切子集并通过in2cv将微软Excel转换为CSV。
Python Data Analysis ( Agate ).
ImageMagick (edit, create, convert, flip, and alter images from the command-line).
JSON 2 CSV .
XML2JSON via NodeJS.
HTML to image .
HTML to PDF .
Weather Underground CLI .
NIFI Shell .
Gatling for Testing with Scala/JVM.
Kafka Producer with JSON .
Kafka Consumer with JSON .
Create JSON .
Image MetaData Extraction .
OSQuery for Querying Infrastructure .
Tesseract for Command Line OCR .
Hadoop/HDFS Command Line Tools .
CURL .
WGET .
MQTT CLI (NPM.JS).
大家亦可以编写简短的Python脚本以通过命令行实现数据处理。
from nltk.sentiment.vader import SentimentIntensityAnalyzer import sys sid = SentimentIntensityAnalyzer() ss = sid.polarity_scores(sys.argv[1]) print('Compound {0} Negative {1} Neutral {2} Positive {3} '.format(ss['compound'], ss['neg'], ss['neu'], ss['pos']))
只需要五行Python脚本即可实现情绪分析。
大家甚至可以通过命令行实现TensorFlow调试(不过其目前尚处于beta测试阶段,所以可能会出现一些问题)。
原文标题: Big Data, Machine Learning, and Deep Learning Command Line Tools
原文作者: Tim Spann
【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】