转载

六个藉藉无名但迅速崛起的Apache大数据项目丨数据工匠简报（7.04）

六个藉藉无名但迅速崛起的Apache大数据项目

如今全球各地的无数企业组织在处理数据集，这些数据集是如此地庞大而复杂，以至于传统的数据处理应用软件再也无法支持经过优化的数据分析和洞察力获取。这是新一批大数据应用软件旨在解决的问题，而Apache软件基金会（ASF）最近将一批值得关注的开源大数据项目升级为Apache顶级项目。这意味着，这些项目将获得积极的开发和强有力的社区支持。

大多数人已听说过Apache Spark，这种大数据处理框架拥有内置模块，可用于数据流、SQL、机器学习和图形处理。IBM及其他公司正在往Spark项目投入数十亿美元的开发资金，美国宇航局和SETI研究所在开展合作，利用Spark的机器学习能力，分析数TB的复杂的外太空无线信号，搜寻可能表明存在智能外星生命的模式。

浅谈深度学习中潜藏的稀疏表达

深度学习（DL），或说深度神经网络（DNN），作为传统机器学习中神经网络（NN）、感知机（perceptron）模型的扩展延伸，正掀起铺天盖地的热潮。DNN火箭般的研究速度，在短短数年内带来了能“读懂”照片内容的图像识别系统，能和人对话到毫无PS痕迹的语音助手，能击败围棋世界冠军、引发滔滔议论的AlphaGo…… DNN在众多应用领域的成功无可置疑。然而，在众多（负责任的和不负责任的）媒体宣传推波助澜下，一部分人过于乐观，觉得攻克智能奇点堡垒近在眼前；另一部分则惶惶不可终日，觉得天网统治人类行将实现。作者君对此的态度如下图所示：

小品里，黑土老大爷对头脑发热的白云大妈说过：“什么名人，不就是个人名？”
对于DNN，作者君也想说：“什么怪力乱神，不就是个计算模型？”

言归正传，如果不把DNN看成上帝/天网/人工智能终点etc., 也暂不考虑当前DL和人脑思维之间若有若无的联系，那么DNN和K-Means、主成分分析（PCA）、稀疏编码（sparse coding或Lasso）等众多耳熟能详的模型并无二致，都属于机器学习中特征学习（feature learning）范畴。

六个藉藉无名但迅速崛起的Apache大数据项目丨数据工匠简报（7.04）