随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长,IT专业人士需要一则明确的数据湖指南,回答以下问题:数据湖是什么?我们应该如何利用它?数据湖又将如何改变大数据呢?
世界对数据湖的兴趣依然在不断增长,但如果说对数据湖的宣传都是烟雾弹的话,这就贬低了数据湖真正的能力。“数据仓库”和“大数据”等概念都逐渐深入人心,但“数据湖”仍然是让IT和业务相关者头疼的一件事情。
随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长,IT专业人士需要一则明确的数据湖指南,回答以下问题:数据湖是什么?我们应该如何利用它?数据湖又将如何改变大数据呢?
数据湖成为了核心数据架构中发展得很快的一环,但IT专业人士常有疑惑,数据湖究竟是一个架构策略还是架构的目标呢?实际上并没有清晰的界限,但仍然有方法来解决定义的问题。数据湖是一个中央储存库,为多种数据工作负载储存企业数据;通过数据湖,终端架构可以得到解决,同时数据结构相关的决策也是建立数据湖时的关键。 数据湖被越来越多的采用,而它的实施分为四个关键的阶段:
得益于Hadoop的灵活性和可拓展性,我们今天能够保存、分类、探索并利用的数据类型比以往任何时候都要多。但避免数据湖成为数据沼泽的关键在于数据治理,数据的组织和安全性也是决定数据探索成败的关键。一个清晰而有条理的数据组织(通常是按类目或者按数据用法划分)能够帮助Hadoop工程师建立更加完善的技术决策,帮助分析师和数据科学家从数据中获取真正的洞察。
对于企业BI需求、数据探索和数据科学的支持是推动数据湖部署的主要因素,这三项技术能将原始数据用于机器学习算法和统计功能。因为敏捷方法学为企业级 BI提供了自适应途径,数据湖就能够落实更多具体的企业业务、性能指标和度量权值,同时可用于储存历史数据。 充满竞争的商业环境让人目不暇接,各公司必须认识到探索技术的关键作用,并认识到解答未知的重要性。这刺激了我们的需要,要把数据直接用于分析技术,产生意义重大的洞察、为企业创造附加价值。
要帮助企业从他们的数据湖中实现最大化效益,就必须要考虑以下几个要素:
尽管数据湖在大数据领域还是一个比较新的词汇,但它已经成为了企业级IT架构和整体数据战略的重要部分。数据湖战略拥有合理的架构,能够和数据科学以及成本低廉、拥有商业基础的机器学习分析完美结合。对于数据湖核心概念的了解能够帮助企业更好地利用并保护自己的数据,同时提高通过数据进行探索的能力。
【编辑推荐】
【责任编辑:Ophira TEL:(010)68476606】