大数据架构和模式.docx

《大数据架构和模式.docx》由会员分享，可在线阅读，更多相关《大数据架构和模式.docx（4页珍藏版）》请在第一文库网上搜索。

1、大数据架构和模式（一）：大数据分类和架构介绍1 .本文中的大数据有哪些分类？2 .数据分类后，如何匹配合适的大数据模式？如何将大数据分成不同的类别大数据问题的分析和解决通常是复杂的。大数据的数量、速度和种类使其难以提取信息和获得业务洞察力。以下操作是一个良好的开端:根据必须处理的数据的格式、要应用的分析类型、使用的处理技术以及目标系统获取、加载、处理、分析和存储数据所需的数据源，对大数据问题进行分类。摘要大数据可以以多种方式存储、获取、处理和分析。每个大数据源都有不同的特征，包括数据的频率、量、速度、类型和真实性。在处理和存储大数据时I会涉及到更多的维度，比如治理、安全、策略等。选择架构和构建

2、合适的大数据解决方案极具挑战性，因为需要考虑许多因素。这个“大数据架构和模式”系列提供了一种结构化和基于模式的方法来简化定义完整大数据架构的任务。因为评估业务场景是否存在大数据问题非常重要，所以我们提供了一些线索来帮助确定哪些业务问题适合采用大数据解决方案。从大数据分类到选择大数据解决方案如果你花时间研究大数据解决方案，那么你必须知道这不是一项简单的任务。本系列将介绍寻找满足您需求的大数据解决方案的主要步骤。我们先介绍一下“大数据”这个术语所描述的数据类型。为了简化各种大数据类型的复杂性,我们根据各种参数对大数据进行分类，并为任何大数据解决方案中涉及的所有层和高级组件提供逻辑框架。接下来，我们

3、提出了一种通过定义原子和复合分类模式来对大数据业务问题进行分类的结构。这些模式有助于确定要应用的合适的解决方案模式。我们提供各行各业的商业问题样本最后，对于每个组件和模式，我们提供具有相关功能的产品。第1部分将介绍如何对大数据进行分类。本系列的后续文章将介绍以下主题： 定义大数据解决方案的层和组件的逻辑架构 了解大数据解决方案的原子模型 了解大数据解决方案的复合（或混合）模型 为大数据解决方案选择解决方案模型。 确定使用大数据解决方案解决业务问题的可行性 选择合适的产品来实现大数据解决方案根据大数据类型对业务问题进行分类业务问题可以分为不同类型的大数据问题。未来，我们将使用此类型来确定适当的分

4、类模式（原子或复合）和适当的大数据解决方案。但第一步是将业务问题映射到其大数据类型。下表列出了常见的业务问题，并为每个问题指定了大数据类型。按类型对大数据问题进行分类，可以更容易地看到每个数据的特征。这些特性可以帮助我们了解如何获取数据，以及如何将数据处理成合适的格式，以匹配新数据的出现频率。不同来源的数据有不同的特点；例如，社交媒体数据包含不断传入的视频、图像和非结构化文本（如博客帖子）。表1。不同类型的大数据业务问题业务问题大数据问题描述公用事业：预测功耗机器生成的数据公用事业公司推出了智茎仪表，按等小时或更短的间隔定期测量水、天然气和电力的消耗。这些智基仪表生成了需要分析的大量间隔数据。

5、公用事业公司还运行莓昂费而又复杂的大型系统来发电。每个电网包含监视电压、电流、频朝0其他重要操作特征的复杂传感器。要提高操作效率，该公司必须监视传感器所传送的数据。大数据解决方案可以使用智萼仪衰分析发电（供应）和电力消耗（需求）数据。电信：客户流失分析Web和社交数指电信运营茴需要构建详细的客户流失模型（包含社交媒体和交易数据,比如CDR ） ,势。交易数据流失模型的僖取决于客户寒性的质量（客户主数据，比如生日、性SU、位亶和收入）和客户的社交行为。谈营销：*失.Web和社交数据营销部门使用Twitter源来执行情绪分析，以便确定用户对公司及箕产品或服务的评价，尤其是在一个新产品或版本发布之后

6、。分析宅户情绪必须与客户概要数据相集成.才能得到有意义的结果。依据客户的人口统计特征，客户反援可能有所不同。客户服务:呼叫人类生成的IT部门正在依靠大数据解决方案来分析应用程序日志,以便奈取可提高系统性能的洞察。来国各种应用程序供应商的日志文件具背不同的格式；必须将它们标准化，然后IT部门才能使用它们。零售：基于面部睡和社交媒佞的个性化i肖息Web和社交数据本售商可结合使用面部识别技术和来自社交媒体的照片,根据购买行为和位置向客户提供个性化的管销信息。生物识S3此功能对零售向忠诚度计划典有很大的膨晌，但它具有严格的婷私限制。雪售商需要在实现这些应用程序之前进行适当的隐私披毒。零售和营销：移动数

7、据和基于位机器生成的数据零售商可根据4i数据为客户提供特定的促销活动和优惠券。解决方宝通常旨在在用户进入一个店铺时检测用户的位置，或者通过GPS检测用户的位豆置的目标交易数据位置数据与来自社交网络的客户偏好数据相结合，使零售商能够根据购买历史记录针对性地开展在线和店内营销活动.通知是通过移动应用程序、SMS和电子邮件提供的。FSS、医疗保维：欺诈检测机器生成的数据交易数据人类生成的欺诈管理可预测给定交易或客户帐户遇到欺诈的可能性。解决方亲可实时分卜事务,生成建议的立即执行的措施,这对阻止第三方欺诈、第一方欺诈和对帐户特权的蓄息滥用至关重要。解决方南通常旨在检测和阻止多个行业的众多欺诈和风险类型

8、，其中包括：信用卡和借记卡欺诈存款株户欺诈技术欺诈坏账医疗欺诈医疗补助计划和医疗保险欺诈财产和灾害俣险欺诈工伤赔偿欺诈保睑欺诈电信欺诈我们根据这些共同特征来评估数据，这将在下一节中详细描述： 容量的格式的数据类型（例如，交易数据、历史数据或主数据） 将提供数据的频率。 意图:需要如何处理数据（例如，数据的即席查询） 处理是否必须实时、接近实时或成批执行。使用大数据类型对大数据要素进行分类。从特定方向分析大数据的特征会有帮助，比如以下特征:数据是如何收集、分析和处理的。对数据进行分类后，您可以将其与适当的大数据模式进行匹配：1 .分析类型一数据的实时分析或批量分析。请仔细考虑分析类型的选择，因为

9、它会影响其他一些关于产品、工具、硬件、数据源和预期数据频率的决策。一些用例可能需要两种类型的混合：2 .欺诈检测；分析必须实时或接近实时地完成。3 .战略商业决策的趋势分析；批处理模式可用于分析。4 .处理方法一应用于处理数据的技术类型（如预测、分析、即席查询和报告）。业务需求决定了适当的处理方法。各种技术可以结合使用。处理方法的选择有助于确定要在您的大数据解决方案中使用的适当工具和技术。5 .数据频率和大小一预期的数据量以及数据到达的频率。了解频率和大小有助于确定存储机制、存储格式和所需的预处理工具。数据的频率和大小取决于数据源： 按需分析，如社交媒体数据 实时和连续供应（天气数据、交易数据

10、） 时间序列（基于时间的数据）6 .数据类型-要处理的数据类型-交易、历史、主数据等。了解数据类型有助于隔离存储中的数据。7 .内容格式（输入数据的格式）结构化（如RDMBS）、非结构化（如音频、视频和图像）或半结构化。格式决定了需要如何处理传入的数据，这是从业务角度选择工具和技术来定义解决方案的关键。8 .数据源一数据的来源（生成数据的地方），如Web和社交媒体、机器生成、人类生成等。识别所有数据源有助于从业务角度识别数据范围。该图显示了最广泛使用的数据源。9 .数据用户一己处理数据的所有可能用户的列表： 业务流程 商业用户 企业应用 担任各种业务角色的人员 部分处理流程 其他数据存储库或企业应用程序10.硬件一将在其上实施大数据解决方案的硬件类型，包括商用硬件或最先进的硬件。了解硬件的局限性有助于指导大数据解决方案的选择。图1描绘了用于对大数据进行分类的各种类别。定义大数据模式的关键类别己经确定，并在蓝框中突出显示。大数据模式（将在下一篇文章中定义）来自这些类别的组合。图一。大数据分类