克服大数据的五大挑战——一切答案尽在云服务

当企业组织在部署实施其大数据计划遇到挑战时，往往会感到灰心。关于大数据，当前对于其相关技术的缺乏、其安全性、数据的不可预测性、不可持续的成本，以及需要特别针对大数据项目制定相关商业案例的需求等等问题，都可能导致企业的大数据项目陷入困顿。

但是，鉴于大数据所具备的改革企业业务的强大能力，当前的企业组织克服这些挑战，并积极的实现大数据项目的价值是至关重要的。云服务可以帮助企业实现其目标。在本文中，我们将为广大读者朋友们分析企业在实施大数据项目时所面临的大挑战，并还将详细解释如何在云中有效克服这些挑战。

现如今，企业管理者们几乎每天都不可避免的会看到诸如“大数据”或“云服务”这样的字眼。为了确保在当今的市场上具有竞争力，企业必须做出明智的业务决策，这些业务决策将产生真正的结果，无论这些结果是帮助增加企业的营收，留住客户还是提高产品的质量。而大数据分析项目则是实现这些目标的关键因素。

IDG公司将大数据定义为“企业从各种来源所收集的大量数据信息，包括来自企业应用程序/数据库的交易数据、社交媒体数据、移动设备数据，非结构化数据/文档，机器生成的数据等等。”IDG称：各种各样的高容量、高传输速度的数据信息资产可以为企业提供更好的见解，帮助企业做出业务决策。“

大数据使企业能够更深入地了解自己的业务，并实时制定战略决策。事实上，据IDG 的《大数据和分析调研报告》称：有1/3的受访者表示，由于他们的所在企业实施了大数据项目，使得其决策质量得到了提高，有助于更好地进行规划和预测。

但是，就如同任何新兴技术一样，由其所带来的挑战也是并存的。第一大挑战是海量的数据量和传输速度。实时变化的海量数据意味着企业现有的工具和方法都将不再奏效。企业还要需要考虑数据的来源：在某些情况下，大数据来自于数百万个地方——这些来源包括：客户、传感器、网站和社交媒体。

企业以前所采用的方法是：通过构建或扩展企业容量的方式来处理大数据所带来的工作负载。这是一项资源密集型的举措，其成本代价昂贵、耗时。需要花费大量IT人员的时间和技能，并且无法使您企业的业务足够快的实现迁移。您企业最终可能需要花费更多的时间和资金成本在基础设施上，而不是将其用于打造好的产品和服务。

云服务可以帮助解决很多这些问题。毫不奇怪，在未来三到五年内，云服务和预测分析将是最有可能对企业产生颠覆性影响的三大技术之一。(第三个是自助IT服务。)

如果您企业要利用大数据进行预测分析，那么，凭借着其诸多的优势，云服务可能是一大关键的推动因素。

企业部署大数据项目的前5大挑战

尽管已经有了大量的成功案例，但真正实施一项大数据项目并不是一件易事。事实上，其提出了许多挑战，其中任何一项挑战都可能使项目在开始之前就脱轨。在其大数据和分析调查报告中，IDG确定了如下这5大挑战：

1、对于相关技能的缺乏

大数据系统的发展速度是如此之快，以至于当前一般的企业几乎不可能跟上其发展的步伐。新的工具、功能和框架在几个月内就能够发展和成熟，导致企业在新兴大数据技能方面存在着很大的差距，也就很容易阻碍企业大数据项目的发展。

事实上，有48%的企业受访者认为，在数据分析和数据管理技能方面的人才的短缺是他们所在企业所面临的第一大挑战。对大数据技能的需求(尤其是在分析领域)的需求如此之大，以至于70%的受访者均表示他们计划在未来的12到18个月内雇用具备大数据分析技能的人才。

企业在如何进行长期的IT投资，利用现有的技能，并获得新的技能方面正面临着质疑。还有一个问题是：面临着诸如Hive、Pig、MapReduce、Spark、NoSQL存储等等一系列的技术和框架，企业要如何进行抉择，以最好的适应其特定的大数据项目。同时，企业业务对于高度分析和数据管理技能的强劲需求也在持续不断的增长。

利用云服务，企业可以利用最新的技术，而无需投入大量的时间和资源来进行持续的设置、维护和升级工作。云服务还允许企业使用他们已有的技能，而托管服务则可以完美的补充他们所缺乏的技能。

2、成本方面的挑战

47%的受访者表示，当实施大数据项目时，预算限制是当今企业所面临的第二大挑战。成本因素已经连续多年成为绝大多数企业所头号关注的事实便证明了这一挑战。

大多数大数据技术需要大量的服务器集群，而这需要很长的配置和设置周期，进而导致了大量的资本支出和维护开销。更为复杂的是，随着现有应用程序或新业务需求的多样化数据量的不断增长，数据传输速度不断增加，可能导致不可持续的IT成本。企业需要知道如何在尽量压缩开支的情况下从大数据中获取尽可能多的价值。

他们必须能够扩展基础架构以管理大数据，同时降低IT成本。这正是云服务所能够帮助企业做到的。云服务消除了企业采购和维护硬件和软件基础设施的需要，以及与之相关的大量资本支出。进而使得企业得以能够将有限的资金重新分配到其核心创新中。

3、数据的不可预测性

大数据来自各种各样的来源，从企业传统遗留应用程序和交易系统到由机器、移动设备、网络日志和社交媒体生成的数据。这使得预测所需容量变得更加困难和低效。单个事件可能会导致数据量和工作量的突然变化。例如，一家金融服务机构在任何一天都可能会经历10倍的数量波动，而具体的波动则取决于市场状况，是很难预测的。

四分之一的企业受到大数据对存储容量/基础设施日益增长的需求的挑战。企业不仅需要规划基础架构，还必须确定如何轻松扩展，以满足不断变化的存储和计算要求。对于几乎任何企业来说，将其基础架构容量规模扩展10倍来支持峰值需求，让这些额外的容量在90%的时间内均处于闲置状态，无疑是非常低效且不符合成本效益的。其他问题包括由于数据的增长所导致的基础设施和维护成本不断升高，还需通过实验来确保足够的带宽来支持创新，以及数据采集和分析的成本。

借助云服务，企业无需为大容量调整其基础架构的规模大小。其弹性属性使企业可以根据需要实现动态扩展或缩减基础架构。

4、安全

随着企业收集、存储和分析来自新的和现有来源的越来越多的数据信息，数据的安全性变得更受关注。接近35%的受访者表示不确定或不认为他们所在企业现有的安全解决方案和产品提供了足够的数据安全性。企业正在努力的控制数据访问，保护数据资产和保护基础设施。最终，企业需要决定如何确保符合合规性、数据管理和安全性的要求，而又不会影响到灵活敏捷性和性能。例如，医疗保健行业的企业必须遵守HIPAA的合规性要求，这是一项复杂的任务，不仅要保护存储数据的本身，还要确保通过计算机、打印机和复印机访问数据时的安全。

金融服务业的企业也同样面临着挑战。大数据是最近发展得最有前途的新技术之一，其专注于提供改善客户体验的，降低风险并满足合规性要求。而当涉及到我们所讨论的大数据挑战，比如安全性时，金融服务企业需要考虑：

其财务信息是否有着严格的管理和合规要求。

金融服务公司所创造或使用的所有数据基本上都是受监管的，可能是敏感的或私人的数据信息。

金融服务机构必须遵守GLBA、SOX / J-SOX、MiFID II、Basel II、甚至“美国爱国者法案”的规定。

大数据也意味着您企业的信息并不是闲置状态：重点是使用这些数据来获得更好的业务成果。这些数据不断被多个用户和系统生成、处理和分析。

结合日常的安全需求，如防范内部和外部的安全攻击，保证数千客户数据的安全和隐私，使得这方面挑战的范围更加明确。

即使是大数据安全方面的挑战，也可以通过选择具有强大数据隐私保护和安全控制能力的供应商来解决。事实上，云服务比企业自有数据中心更安全并不罕见。由于云服务提供商正在提供强大的计算基础架构，因此保持安全的环境符合他们的大利益。为此，许多云提供商已经积累了来自多家企业的最佳实践方案和经验，并具有最严格的安全要求。

5、创建一个商业案例

在很多情况下，IT部门需要为大数据创建商业案例。据IDG称，企业的IT负责人比非IT负责人更有可能负责确定需求和解决方案方面的业务需求。他们需要推荐和选择供应商，批准和授权采购，并在IT团队之外销售解决方案。但企业业务部门的领导也并不能置身事外。IDG表示，45%的受访者表示其首席执行官参与了大数据项目的制定实施。首席财务官和业务线主管们也越来越多地在大数据项目中发挥关键作用。

如果你企业还没有建立起一个稳定的商业案例，并收集来自强大的盟友，如关键业务利益相关者的意见，那么你企业很可能不会获得大数据项目所需资源的批准。

有四分之一的受访者表示，展示投资回报率是所有企业的大数据项目所面临的挑战。事实是，大数据还相对不成熟，可能涉及一定程度的实验，其成本可能会非常高。为了针对具体的项目举措进行实验，企业必须做出无差别的繁重工作，这需要花费大量的时间和精力。这无疑会放慢创新的步伐，最终降低大数据项目的价值。

在许多情况下，证明投资回报最简单的方法是降低总体拥有成本。但如前所述，传统基础设施管理大数据的成本是不可持续的。使用云服务重新构建现有工作负载可帮助企业显著的降低成本。另外，利用云服务还可以通过降低实验成本来加速创新的步伐。成功的实验将显示出可衡量的效益，一旦到位，将激发更多的需求。

使用云服务来克服上述挑战

正确的云计算方法有助于大限度地减少部署大数据应用程序的障碍，甚至消除部分障碍。像大数据一样，云服务是具有高度颠覆性的一大力量，其正在改变企业的运作方式和经营方式。

而如果将云和大数据结合起来，其影响就更大了。

但是决定采用云服务也并不能在一夜之间就能够解决您企业的大数据问题。而且，许多云服务提供商也仅仅只是提供了您企业所需要的所有服务的一部分。而且，他们需要进行大量的整合工作，这往往会让你企业面临又一重大问题，并且让您难以取舍：价格还是可扩展性?性能还是易用性?灵活敏捷性还说安全性?

在评估云提供商时，企业需要寻找可以直接解决这些挑战的解决方案。

技能短缺：您企业需要广泛的功能来构建、扩展和安全部署大数据应用程序。这些功能应涵盖大数据的所有不同方面，从数据收集到存储、分析和数据可视化。企业应该寻找能够提供托管服务的云提供商，以尽量减少管理开销，并能够与大数据中广泛的技术充分兼容。这将使您企业能够充分利用您拥有的技能，并获得帮助。

成本和商业案例的制定：企业迁移到云服务将无需采购和维护硬件。为了帮助构建商业案例，请选择一家可以帮助降低TCO的提供商。灵活的定价模式：从预留实例(Reserved Instance)到按需实例(On-demand Instance)，甚至是竞价实例(Spot Instance)都可以提供巨大的节省机会，降低管理和处理数据的成本结构。

数据的不可预测性：您企业的云服务提供商应该允许您快速轻松地进行扩展或缩减以响应需求的变化。例如，将存储从计算容量中分离出来，使企业只选择他们所需要的资源类型和规模大小，并只支付他们所使用的资源。

计算选项：您企业的提供商应该提供适用于最广泛的大数据工作负载的多种多样的计算选项。这包括计算优化的实例;用于高性能计算的GPU实例;为内存密集型应用程序提供内存优化的具有兆字节内存的实例;以及针对大规模并行数据仓库应用程序，Hadoop或NoSQL数据库的非常快的SSD存储的存储优化实例。

安全性：寻找一款云计算基础设施，旨在保证安全，并经常审核其是否符合各种行业标准，如HIPAA、PCI DSS或FedRAMP.确保云提供商提供适合审计的服务和合规计划，以帮助您企业满足安全和管理要求。并确保提供商提供所有服务的静态和传输数据加密，以及广泛的数据加密选项。

云服务的本质使其非常适合大数据。由于云计算的可扩展性，弹性和经济模型，可以让企业根据需要进行规模化缩放，而无需在高峰容量的环境中构建和投资。云计算使企业能够降低与繁重工作相关的成本，而将节省的资金再投资于能够为企业提供价值的项目。可衡量的节省将有助于获得更多的赞助商，而这些节余可以用来资助其他大数据项目。

结论

展望未来，大数据将在帮助企业做出更明智、更快速的业务决策方面发挥越来越重要的作用。 但是，企业不必因技能短缺，成本有限，数据的不可预测性，安全问题或创建商业案例方面的困难而受到阻碍。云服务，可以解决许多这些要求。其使得使企业能够迭代大数据分析，专注于业务需求，而无需担心收集、存储和处理大数据所需的IT基础架构。借助由云服务供应商所提供的解决方案，企业可以以更快，更低的成本来分析数据，从而更快地实现业务目标。