大数据分析工具如何帮助您的组织

什么大数据分析的意思吗?

从本质上讲,大数据分析工具是软件产品它支持在大数据计算平台上运行的预测性和规范性分析应用程序——通常是基于商用服务器集群、可伸缩分布式存储和技术的并行处理系统，如Hadoop和NoSQL数据库。这些工具旨在使用户能够快速分析大量数据，通常是在实时窗口内。

此外，大数据分析工具还提供了框架数据挖掘分析数据、发现模式、提出建议的技术分析模型识别识别的模式并对其作出反应，然后通过在相应的操作应用程序中嵌入分析模型来提高业务流程的性能。例如，可以分析大量的发货数据、流数据、流天气数据和供应商历史性能数据，设计一个模型，在地理区域内优化选择发货分包商，以限制延迟交货或货物损坏的风险。

大数据分析工具可以做到摄取各种数据类型：具有定义和一致字段的结构化数据，例如存储在关系数据库中的事务数据;半结构化数据，如Web服务器或移动应用程序日志文件;非结构化数据，包括文本文件、文档、电子邮件、短信和社交媒体帖子等。

强大的分析:内部大数据和高级分析工具

谷歌搜索大数据分析产生一长串的供应商名单。然而，许多这些供应商提供大数据平台以及支持分析过程的工具——例如，数据集成，数据准备和其他类型的数据管理软件。我们专注于满足以下标准的工具:

• 它们提供了分析师进行高级分析算法和模型。
• 他们设计用于在大数据平台上运行，如Hadoop或特种高性能分析系统。
• 它们很容易适应使用来自多个来源的结构化和非结构化数据。
• 当更多的数据被合并到分析模型中时，它们的性能能够伸缩。
• 他们的分析模型可以或已经集成数据可视化和演示工具。
• 它们可以很容易地与其他技术集成。

此外，这些工具必须包含基本特征，包括支持典型数据挖掘技术套件的集成算法和方法，包括(但不限于):

• 聚类和分割，它将一个大的实体集合划分为更小的组，这些组显示出一些(可能未预料到的)相似性。一个例子是分析一组客户来区分更小的细分市场，以便进行有针对性的营销。
• 分类，它是一个基于属性将数据组织到预定义类的过程，这些属性要么是由分析师预先选择的，要么是作为聚类模型的结果标识的。一个例子是使用细分模型来确定一个新客户将被分类到哪个细分中。
• 回归，用来发现一个因变量与一个或多个自变量之间的关系，并帮助确定因变量的值相对于自变量的值如何变化。例如，用地理位置、平均收入、平均夏季温度和面积面积来预测一处房产的未来价值。
• 关联和项目集挖掘，它在一个大数据集中寻找变量之间的统计相关关系。例如，这可以帮助直接呼叫中心代表根据来电者的客户细分、关系持续时间和投诉类型提供具体的奖励。
• 相似性和相关性，用于通知无向聚类算法。相似性评分算法可用于确定放置在候选聚类中的实体的相似性。
• 神经网络，用于基于自适应加权和近似的机器学习的无向分析。

这只是用于预测和规定分析的分析类型的子集。此外，不同的供应商可能提供支持每个不同方法的各种算法。

高级分析市场

随着时间的推移，高级分析工具的市场不断发展，可用的工具类型随着成熟度的不同而不同，因此在功能和易用性方面也有所不同。例如，IBM、Oracle和SAS等大型供应商提供的一些工具具有相对较长的历史。其他大型供应商也收购了一些工具历史较近的公司，比如微软、戴尔、Teradata和SAP提供的工具。

一些规模较小的公司提供大数据分析产品，包括Angoss、predix、Alteryx、Alpine data Labs、Pentaho、KNIME和赶紧。在某些情况下，公司开发了自己的算法算法。其他人已经改编了开源统计R语言，并使用R的功能提供预测和规范建模功能，或者使用来自开源Weka项目的软件。

第三类产品是那些可用的开源技术。示例包括前面提到的R语言、作为Hadoop堆栈一部分的Mahout软件发行版以及Weka。

在某些情况下(特别是大型供应商)，大数据分析工具被合并到更大的大数据企业套件中。在另一些公司，这些工具作为独立产品出售。在后一种情况下，客户的工作就是与正在部署的大数据平台集成。大多数工具都提供了可视化界面来指导分析过程(数据挖掘/发现分析、模型评估和评分、与操作环境集成)，在大多数情况下，供应商提供指导和服务来让客户启动和运行。

谁使用大数据和高级分析工具？

虽然本组织中的一些人正在寻求探索和设计新的预测模型，但其他人希望在他们的业务流程中嵌入这些模型，而其他人则希望了解这些工具对业务的整体影响。换句话说，正在采用大数据分析的组织需要容纳各种用户类型,如:

• 的数据科学家他可能执行涉及更复杂数据类型的更复杂的分析，并且熟悉如何设计和实现底层模型来评估固有的依赖关系或偏差。
• 的业务分析师，他们可能是更随意的用户，希望使用工具来主动发现数据或现有信息的可视化，以及一些预测性分析。
• 的业务经理他希望了解模型和结论。
• 它开发商，支持所有先前的用户类别。

所有这些角色通常将在模型开发生命周期中一起工作。数据科学家将一个大数据集的SWATH对其提供给所提供的无向分析，并查找任何商业兴趣的模式。在参与商业分析师审查模型的工作方式和评估这些发现的模型或模式中的所有可能会对业务产生积极影响的方式，商业经理和IT团队将被带入嵌入或将模型集成到业务流程或设计新流程中在模型周围。

然而，从市场的角度来看，考虑那些企业的类型是有趣的拥抱大数据分析。许多大数据技术的早期用户是互联网公司(如谷歌、雅虎、Facebook、LinkedIn和Netflix)或分析服务提供商。这些公司都依赖于需要快速数据流的操作和分析应用程序来摄取、处理、分析，然后反馈结果以不断提高性能。

随着更主流行业的公司对数据的需求扩大，大数据分析在更普遍的企业群体中找到了一席之地。在过去，大型分析平台的成本因素将限制采用只有非常大的企业。然而，可用的实用程序风格托管大数据平台(如那些可用的通过亚马逊网络服务)，以及无需大量投资即可在现场实例化Hadoop等大数据平台的能力，降低了进入的障碍。此外，开放数据集和可访问性消防水带当与内部数据集混合时，来自社交媒体渠道的数据feed为更大规模的数据分析提供了原材料。

较大的企业仍可能选择高端大数据分析工具，但部署的低成本替代方案在经济高效的平台上，使中小型企业能够评估和启动大数据分析计划并实现所需的业务改进结果。

现在我们已经研究了不同类型的工具及其用途，下一步是确定这些工具如何为您的公司带来好处。通过查看大数据分析的各种用例，您将开始了解在哪里可以利用一般的大数据分析能力来创造和提高价值。