转载

大数据时代中求生存：9个必杀绝技杀进大数据市场

拜网络普及与科技进步之赐，大数据的热潮越烧越烈，许多处理数据分析与管理的技术因应而出，迎来了大数据的时代。要能在这大数据市场中杀出一条血路，以下这 9 个必杀绝技你一定要学起来。

1) Apache Hadoop 黄色小象帮手

在上一篇文章《认识大数据的黄色小象帮手 –– Hadoop 》里介绍了 Hadoop 的两大核心功能 —— 储存及处理数据所用到的分散式档案系统 HDFS 跟 MapReduce 平行运算架构。

基于 Hadoop 处理大数据的种种优势，像是解决了档案存放、系统扩张、数据处理及备份等问题，因此 Hadoop 被广泛应用于大数据储存和大数据分析，成为大数据的主流技术。

在近几年内，丛集运算在商用性与非商用性的领域也越来越普遍且应用的相当广泛，2014年无庸置疑成为了 Hadoop 的丰收年，对于 Hadoop 生态系例如 Flume, Oozie, Hive, Pig, HBase, YARN 等技能的市场需求也逐渐提高。

2) 大数据黑马：Apache Spark

大数据时代中求生存：9个必杀绝技杀进大数据市场

如果 Hadoop 是大数据市场里的老大哥，那 Spark 则是具有超凡潜力的一匹黑马！

Spark 是一个用途广泛的丛集运算引擎，简单来说就是一个能让原本使用 Hadoop 来处理及分析数据的系统快 10 到 100 倍的好工具。

由于 Hadoop 分析数据时需要将中间产生的数据存在硬碟中，因此会有读写数据的延迟问题；有别于 Hadoop 的 MapReduce 架构，Spark 使用了「记忆体内运算技术（In-Memory Computing）」，能在数据尚未写入硬碟时，就在记忆体内进行分析运算，号称比原先的 Hadoop 快 100 倍。

去年在数据排序基准竞赛（ Sort Benchmark Competition ）中，Spark 用 23 分钟完成 100 TB 的数据排序，刷新了原本由 Hadoop 保持的 72 分钟世界记录1。

3) 不只是 SQL：NoSQL

大数据时代中求生存：9个必杀绝技杀进大数据市场

最近几年网络上的数据量开始快速大量成长、数据量与日遽增，为了解决数据库在进行大量数据存取时，所衍生出效能、扩充、维护等问题，近年来业界纷纷舍弃了以结构化查询语言（SQL）为基础的关联式数据库管理系统（RDBMS），改以 NoSQL 数据库来提升效能与扩充弹性。

NoSQL 最早是指「No SQL」，号称不使用 SQL 作为查询语言的数据库系统。但近来则普遍将 NoSQL 视为「Not Only SQL」，也就是「不只是 SQL」的意思，希望结合 SQL 优点并混用关联式数据库和 NoSQL 数据库来达成最佳的储存效果。

在大数据所带动的潮流下，各种不同形态的NoSQL数据库如雨後春笋般窜起，其中 MongoDB 是众多 NoSQL 数据库软体中较为人熟知的一种。

大数据时代中求生存：9个必杀绝技杀进大数据市场

4) 机器学习与数据处理超屌！

大数据时代中求生存：9个必杀绝技杀进大数据市场

在大数据中如何摸索出数据所要表达的意涵、提炼出「数据精华」是非常重要的课题，于是「机器学习（Machine Learning）」与「数据处理（Data Mining）」成为了大数据时代中的重点领域。

机器学习可以从过去收集的数据与经验中，萃取出感兴趣的部份，构造出模型（Model）和规律（Pattern）当作我们参考的基准，对未来进行预测。应用机器学习的方法处理大量数据库的数据则称为「数据处理」（Data Mining），顾名思义，就好比在地球上从一堆粗糙的石头中进行地物处理、寻找有价值的矿脉，数据处理就是从大数据中提取出未知的、有价值的潜在资讯。

机器学习跟数据处理到底有多屌？LinkedIn 之前发表的 2014 年「最热门工作技能」排行榜2，数据处理荣登排行榜第一名这样屌。

5) 统计及量化分析

大数据时代，统计与数据分析是根本中的根本，数学跟统计学则是基础中的基础。数据专家或量化分析师的专业包含了统计学、电脑科学和数学，过去这些人才都抢着要进华尔街工作，但多亏了带来的风潮，现在各行各业都在寻找拥有量化分析、统计学背景的工程师、数据专家。

如果数学是你的拿手强项，基本上你已经赢在起跑点了，接下来再学习市面上的一些数据分析软体及程式语言，像是 R、SAS、Matlab、SPSS、Stata 等，具备了以上技能，相信要进大数据一行不成问题。

6) 结构化查询语言 SQL

结构化查询语言，简称 SQL，是专门用于关连式数据库的一种查询语言，可以用来定义数据库结构、建立表格、指定栏位型态与长度，也能新增、异动或查询数据。简单来说，SQL 是一种用来从数据库读取与储存数据的电脑语言。

SQL 历经了四十多年的考验仍然在蓬勃发展，虽然 NoSQL （上述第三点）的出现带来了一些影响，但 SQL 仍然主导着市场，并在大数据领域赢得了很多投资与广泛部属。像是 Cloudera 推出了即时查询开源工具 Impala –– 一款用来跑在 Hadoop 架构上的互动 SQL 查询引擎，在这些工具发展下 SQL 在大数据领域中更是历久不衰。

7) 看图说故事：数据视觉化

大数据的重要性与日俱增，不少企业如电子商务、零售业及半导体制造业等，开始广泛运用大数据为公司拟定企业策略，不过并不是人人都是数据专家、数据科学家，如果要让主管跟客户们清楚了解数据背後的意义，那倒不如让他们「一目了然」。

数据视觉化（Data Visualization）是关于数据之视觉表现形式的研究，数据视觉化的技术可以帮助不同背景的工程人员沟通、理解，以达良好的设计与分析结果。市面上已经有许多工具、软体为人们提供这方面的需求，像是Tableau、QlikView 等工具就拥有绝佳的视觉化呈现效果，可以不限数据量、数据形式或主题，透过图像化和便捷的操作介面制作出客制化报表，无需撰写程式就能得到分析结果。

8) 基本程序开发能力

大数据时代中求生存：9个必杀绝技杀进大数据市场