锐英源精品开源，禁止转载和任何形式的非法内容使用，违者必究 锐英源精品开源，禁止转载和任何形式的非法内容使用，违规究

大数据和大数据平台

大数据理解

大数据模式是对数据认知的质变，简单来说就是从数据库模式变化为数据模型模式，从旧有的IOE模式转变为以分布式为基础的软件为主模式，这种转变让中小公司也能挖掘出有价值的数据信息，进而支持自己的发展。最近SAAS软件厂家生意红火，也是因为大数据模式的成熟才导致的。

大数据历史和常识

大数据是组织收集的结构化数据、半结构化数据和非结构化数据的组合，可以挖掘信息以供在项目、预测建模和其他高级分析应用程序中使用。处理和存储大数据的系统已成为组织中数据管理体系结构的常见组成部分。大数据通常具有以下特征：在许多环境中具有大量数据，在大数据系统中存储的数据类型广泛，并且在其中生成，收集和处理数据。最近，在大数据的不同描述中还添加了其他几个V，包括准确性、价值和可变性。 尽管大数据并不等于任何特定的数据量，但大数据部署通常涉及随着时间的推移捕获的TB级数据、PB级数据甚至是EB级数据。 公司利用其系统中积累的大数据来改善运营，提供更好的客户服务，根据特定的客户偏好创建个性化的营销活动，并最终提高利润。利用大数据的企业比不使用大数据的企业具有潜力，因为只要有效地使用数据，他们就能做出更快、更明智的业务决策。 例如，大数据可以为公司提供有关其客户的宝贵见解，这些见解可用于完善营销活动和技术，以提高客户参与度。

此外，利用大数据使公司变得越来越多。历史和实时数据可用于评估消费者不断变化的喜好，从而使企业能够更新和改进其营销策略，并能够更好地响应客户的需求。 医学研究人员还使用大数据来确定疾病的危险因素，医生还可以使用大数据来帮助诊断个别患者的疾病和状况。此外，从电子健康记录（EHR）、社交媒体、网络和其他来源获得的数据还为医疗保健组织和政府机构提供了有关传染病威胁或爆发的最新信息。 在能源行业，大数据可帮助石油和天然气公司识别潜在的钻井位置并监控管道运行；同样，公用事业也使用它来跟踪电网。金融服务公司使用大数据系统进行风险管理和市场数据的实时分析。制造商和运输公司依靠大数据来管理其供应链并优化交货路线。政府的其他用途包括应急响应，预防犯罪和智慧城市计划。 大数据来自各种不同的来源，例如业务交易系统、客户数据库、病历、互联网点击流日志、移动应用程序、社交网络、科研资源库、机器生成的数据以及用于物联网环境的实时数据传感器。数据可以原始格式保留在大数据系统中，也可以使用数据挖掘工具或软件进行预处理，以便为特定的分析用途做好准备。 以客户数据为例，可以使用在大数据集中找到的信息完成的不同分析分支包括：

• 对比分析：这包括检查用户行为指标和观察实时客户参与情况，以便将一家公司的产品、服务和品牌权威与竞争对手的产品、服务和品牌权威进行比较。

• 社交媒体收听：这是有关人们在社交媒体上对某项特定业务或产品的评价超出了民意测验或调查范围的信息。通过观察围绕各种来源的特定主题的活动，此数据可用于帮助确定营销活动的目标受众。
• 市场分析：这包括可用于使新产品，服务和计划的促销更加明智和创新的信息。
• 客户满意度和情感分析：收集的所有信息都可以揭示客户对公司或品牌的感觉，如果可能出现任何潜在问题，如何维护品牌忠诚度以及如何改善客户服务工作。
• 容量是大数据最常被引用的特征。大数据环境不必包含大量数据，但是大多数环境是因为要收集和存储在其中的数据的性质。点击流、系统日志和流处理系统是通常持续产生大量大数据的来源。 大数据是从各种来源（从定义明确到定义松散）的数据集合，这些数据来源于人或机器来源。 大数据还包含多种数据类型，包括以下类型：

•  基于结构化查询语言(SQL）的数据库和数据仓库中的结构化数据；
• 非结构化数据，例如Hadoop集群或NoSQL数据库系统中保存的文本和文档文件；
• 半结构化数据，例如Web服务器日志或来自传感器的流数据。

所有各种数据类型都可以存储在数据湖里，数据湖通常通常基于Hadoop或云服务。此外，大数据应用程序通常包含多个数据源，否则这些数据源可能无法集成。例如，大数据分析项目可能试图通过关联该产品的过往销售数据、退货数据和在线买家评论数据来评估产品的成功和未来销售。 速度是指生成大数据并且必须对其进行处理和分析的速度。在许多情况下，大数据集是实时或近实时更新的，而不是在许多传统数据仓库中进行的每日、每周或每月的更新。大数据分析应用程序提取、关联和分析传入的数据，然后基于总体呈现答案或结果。这意味着和其他数据分析师必须对可用数据有详细的了解，并对他们正在寻找的答案有一定的了解，以确保他们获得的信息是有效的和最新的。

随着大数据分析扩展到机器学习和人工智能等领域，管理数据速度也很重要，在该领域中，分析过程会自动在收集的数据中查找模式并使用它们来产生洞察力。 超越原始3V，数据准确性是指数据集中的确定性程度。从社交媒体平台和网页等多个来源收集的不确定信息可能会导致严重的问题，可能难以确定。例如，从数百个来源收集大数据集的公司可能能够识别不正确的数据，但其分析师需要信息来跟踪数据的存储位置，以便他们可以纠正问题。 不良数据会导致分析不准确，并可能破坏高管的价值，因为它可能导致高管对整个数据不信任。在大数据分析应用程序中使用之前，必须考虑组织中的不确定数据量。 IT和分析团队还需要确保他们拥有足够的准确数据来产生有效结果。 一些数据科学家还为大数据特征列表增加了价值。如上所述，并非所有收集的数据都具有真实的业务价值，使用不正确的数据可能会削弱分析应用程序提供的见解。至关重要的是，组织必须采用诸如以下的做法，并在将其用于大数据分析项目之前确认数据与相关的业务问题有关。 可变性通常还适用于大数据集，这些数据与常规交易数据的一致性较差，并且可能具有多种含义，或者以一种不同的方式（从一个数据源到另一种数据源）进行格式化-这些因素使处理和分析数据的工作进一步复杂化。有些人将更大的V归因于大数据。数据科学家和顾问创建了7至10 V之间的各种列表。

大数据平台

处理大数据速度的需求对基础计算基础架构提出了独特的要求。快速处理大量数据和各种数据所需的计算能力可能使单个服务器或服务器不堪重负。组织必须将足够的处理能力应用于大数据任务，以达到所需的速度。这可能需要数百或数千台服务器，这些服务器通常可以基于Hadoop和Apache Spark等技术来分布处理工作并在集群架构中协同操作。

以具有成本效益的方式实现这种速度也是一个挑战。许多企业领导者不愿投资于广泛的服务器和存储基础架构，以支持大数据工作负载，尤其是那些不是24/7全天候运行的工作负载。结果，计算现在是托管大数据系统的主要工具。公共云提供商可以存储PB级数据，并扩展所需数量的服务器，时间足够长，足以完成大数据分析项目。企业只需支付实际使用的存储和计算时间，就可以关闭云实例，直到再次需要它们为止。 在云环境中，大数据可以存储在以下位置：

• Hadoop分布式文件系统（HDFS）；
• 低成本的云对象存储，例如Amazon Simple Storage Service（S3）；
• NoSQL数据库；和
• 关系数据库。
• 对于想要部署本地大数据系统的组织，除Hadoop和Spark外，常用的技术还包括以下内容：

• YARN是Hadoop的内置资源管理器和作业调度程序，它代表“另一个资源协商者”，但通常仅用首字母缩写词就可以知道。
• MapReduce编程框架，也Hadoop的的核心组件;
• Kafka，一个应用程序到应用程序的消息传递和数据流平台；
• HBase的数据库; 和
• Hadoop上的SQL查询引擎，例如Drill、Hive、Impala和Presto。

除了处理能力和成本问题之外，设计大数据架构是用户面临的另一个常见挑战。大数据系统必须根据组织的特定需求量身定制，这是一项DIY任务，需要IT团队和应用程序开发人员将所有可用技术中的一组工具组合在一起。与数据库管理员（DBA）和专注于关系软件的开发人员所拥有的技能相比，部署和管理大数据系统也需要新技能。 使用托管的云服务可以缓解这两个问题，但是IT经理需要密切关注云的使用，以确保不会失去成本。

同样，将本地数据集和处理工作负载迁移到云对于组织来说通常是一个复杂的过程。 使大数据系统中的数据可供数据科学家和其他分析师访问也是一个挑战，尤其是在包含不同平台和数据存储的分布式环境中。为了帮助分析师找到相关数据，IT和分析团队正在越来越多地致力于构建整合元数据管理和数据沿袭功能的工具。数据质量和数据治理也必须成为优先事项，以确保大数据集干净，一致且正确使用。 多年来，公司对从客户那里收集的数据几乎没有限制。但是，随着大数据的收集和使用增加，数据滥用也随之增加。经历过错误处理其个人数据或成为受害者的有关公民正在呼吁关于数据收集透明度和法律的法律。

最终，大数据的价值和有效性取决于负责理解数据并制定适当查询以指导大数据分析项目的工作人员。一些大数据工具可以满足特定的需求，使技术含量较低的用户可以在预测分析应用程序中使用日常业务数据。其他技术（例如基于Hadoop的大数据设备）可帮助企业实施合适的计算基础架构来处理大数据项目，同时最大程度地减少对硬件和分布式软件专业知识的需求。 大数据可以与另一个形成对比的术语进行对比，该术语经常用于描述其容量和格式可以轻松用于的数据。