可编程网络:因为大数据往往是非结构化
2013-10-25
Evans Data公司最近发布了其2013年数据与先进的分析调查,从广泛的来源专注于“工具、方法和关注相关的高效存储,处理和分析大型数据集和数据库。”翻阅样本页面上揭示了这个金块为什么开发者从传统的数据库移动到更现代化的系统,如Hadoop:
初始的激励因素,摆脱传统的数据库解决方案的总规模正在处理的数据-它大数据- 数据的复杂化或非结构化的性质。因为我们都知道大数据范围是特别广泛的。这是数据的性质组成也是同等重要的 - 不仅开发商在数据存储中设想如何表示数据,但到网络以及它是如何与数据进行交互的都要考虑到。
你看“网络”和网络托管服务(防火墙,负载均衡,缓存等..)一般都是很清楚地看到(RFC)定义的结构化数据。交换机,路由器的速度快,是因为他们获得的数据、决定总是相同的, 固定的模式。
在越来越多的应用程序驱动的数据中心,但是它是应用程序,而且往往包括 -驱动网络。这是尤其如此高阶的网络服务(L4-7),具体应用程序数据以改善性能,安全性和日益支持的DevOps面向建筑结构,如A / B测试、加纳利部署和蓝/绿架构 。
更多的时候是不是非结构化的数据。这是机制,其中非结构化的大数据转移埃文斯引用的的应用程序最终存入数据库某处。任何数据结构化与否,遍历网络服务才达到它的倒数第二个目的地。
可编程的DevOps团队和网络团队需要实施必要的架构和服务,以支持这些应用程序和系统以及非结构化数据交换。当然有可编程的值时,适用于结构化的数据,特别是在更复杂的逻辑的情况下,需要作出决定,但它不是必需的。这是因为功能作用于结构化数据(固定)可以集成到一个网络托管服务,并公开为一个可配置的,但很好理解的功能。
但是,当数据是真正的非结构化,无论有没有标准,事实上或以其他方式,然后在网络中的可编程性是必要的解锁建筑功能。 中介之所以可以被配置为“提取和行动出现非结构化数据,如HTTP标头”,是因为有良好定义的键。“缓存控制”和“X-正向”(没有正式标准的一部分,因此“X”,但作为一个行业接受的事实标准)都是很好的例子。 虽然不固定,有HTTP标头的结构本身以及可编程性和“提取和操作”系统。
然而,要与非标准头或获得非结构化数据的有效载荷,需要可执行的逻辑和可编程的水平,而不是简单的可配置的选项。DevOps的相关架构和API代理功能,各种需要可编程的由于实施变性发挥到了极致。原因很简单,因为没有办法定义的数据是不常见的。即使它可能会在开发商的眼中结构,它仍然是非结构化的,因为没有模式(认为JSON作为反对XML)来形容它,它遵循不接受的公布标准。
更多的非结构化数据我们看到穿越网络,我们将需要可编程网络中的支持。