数据虚拟化 实现大数据的有效管理

Posted 2021-05-02 哈工程云计算虚拟化项目

关于在石油天然气的钻探和出产过程中所发生的数据的价值，并没有太多的争议。尽管数字化油田运动的最初意图，是将与设备的监测和维护相关的使命完结自动化，以下降本钱，但它还带来了许多其它的优点。
 

许多职业专家以为，最首要的收益在于：向石油天然气出产制造商展示，假如办理恰当的话，怎么搜集数据才干取得更多有战略含义的数据，而不仅仅是通知油井运转人员，什么时候需求修理或更换老化的设备。
 

实际上，职业界有越来越多的人以为，分布在油田、气田各地的传感器和其它自动化装置所发生的数据，应被视为财物，应该像对该公司最贵重的出产设备或最聪明的工程师相同对待这些数据。
 

高级数字化油田参谋Philippe Flichy就持有这样的观念。他将在石油和天然气钻探和出产过程中所发生的数据，称为“会说话的财物”，他以为这些数据的价值直接取决于怎么办理这些数据。他任职于美国一家为全球石油开发和加工工业供给产品和效劳的大型油田技能效劳公司Baker Hughes。
 

在最近提交给美国石油工程师协会的一篇论文中，Flichy供给了依据来支撑这种观念。论文的题目为《可信数据作为公司财物》，文中征引一项研讨数据标明：假如能够有效的办理数据，石油天然气公司的全体利润能够增厚高达6%。它还在文中提到了壳牌石油公司，指出该公司从多个途径受益于有效的数据办理，包含油井提前投产以及超越预期的出产才能等。
 

尽管这些数据和分析给人留下了深刻的印象，可是依然有例外，由于许多石油天然气制造商在有效的数据办理方面，落后于其它职业。随着大量的信息涌入到日常运营中，许多石油天然气制造商，开始意识到之前是被迫的应对所谓的“大数据”的，现在，它们需求先进的东西来助其应对这些应战。
 

有效数据办理的捷径
 

正如一般所做的，技能供货商现已对这种境况给出了新的解决计划。其间最有期望的是被称之为数据虚拟化的计划，它是一种简化缔造基础设备的办法，以便将大数据转化为有用的信息，并根据这些信息做出正确的事务决议计划。
 

据Bloor Research公司的研讨总监Phillip Howard介绍，假如需求将多个数据源的数据整合到单一数据渠道，历史上公司有4种计划可供挑选。
 

这些选项包含：
 

●客户集成，包含在需求同享信息的运用之间建立硬编码；
 

●企业运用集成，需求为运用缔造企业效劳总线，创立连接器(一般也是运用硬编码)，以便将信息经过总线在彼此之间传递；
 

●抽取、传输、装载，将在单个运用中发生的数据总结出来的信息，安置在某一会集数据库中，这样就可供大量用户拜访。
 

上面每一个选项，都是一项杂乱—因而也就是贵重和费时—的使命，这就是为什么除了最大的石油天然气公司之外，大多数公司并没有布置实施的原因。最近几年，即使是大型的出产制造商也现已不再沉迷这些挑选，由于它们中的任何一个都不能供给一种特别有效的挑选大数据的办法。
 

Gartner公司的副总裁Douglas Laney于2001年在一篇介绍大数据的概念论文中提出，商业数据的“3个V”——数据量、速度和品种，正在推进公司去寻觅一种全新的数据办理办法。Laney指出，“电子商务的迸发、并购活动的添加、协作的扩大、以及将信息作为竞争的催化剂，这一切都在推进着企业的高层考虑怎么办理数据。”
 

随着大多数公司发生的数据量正在以指数办法添加，数据办理问题的状况变得愈加严峻。石油和天然气公司看到数据的品种现已扩展到包含来自于数字化油田和各种方式的非结构化数据，比方桌面运用发生的文件、电邮、社交媒体帖子以及影音文件等。
 

状况变化如此巨大，以至于Flichy在2015年发布论文时，改用了“数据的7个V”——添加了可变性、精确性、虚拟化和价值。
 

数据必须是牢靠的
 

在这7个V中，精确是最重要的，由于它涉及到数据的精度。不准确的数据不能被信赖，由于从决议计划拟定东西的角度来讲，没有任何含义。“在石油天然气职业，咱们遇到的最大问题是，人们并不相信数据源，”Flichy说道。“所以他们倾向于自己做。他们从不同的地方找到数据，然后将其整合在一起自己作分析。咱们经常听到人们在评论，工程师要花去大部分时刻来寻觅数据；他们实际上是将时刻花在匹配数据上面了。”
 

为了终止这种循环，Flichy说，“你必须创立仅有的真相，你必须经常这么做，只有人们对数据足够相信时，在运用这些数据作决议计划时才干充满信心。”
 

数据集成被以为是能够供给可信数据的重要来源。可是，很少有石油天然气公司能够付得起这种时刻长、价格高的数据集成工程，尤其是在公司必须办理的数据量急剧添加而石油天然气价格不断下降的时候。这就是为什么比如数据虚拟化的技能大受欢迎的原因。
 

“在4年前，我在Baker Hughes公司作业时，就开始了数据虚拟化工程，” Flichy说，“现在看来，效果显著。”
 

Baker Hughes公司创立了自己的数据虚拟化渠道，并将其命名为“Baker Hughes信息库。”最初，该渠道首要用于确保一切部门能够拜访绝对相同的数据，后来，该渠道现已演化为用于提高功率的东西。根据Flichy的介绍，在渠道的一切运用中，有一个就是对从分布在同一个油田或运转在相似条件下的不同油井取得的数据进行分析。这些分析所带来的成果就是为提高效益低下的油井产出而开发出来的新策略。“咱们是虚拟化的最大支撑者。”Flichy说道。“它将咱们的事务智能化提高到一个新的水平。”
 

减轻数据集成的难度Forrester Research公司将数据虚拟化比作为数据缔造一个面向效劳的架构(SOA)。“传统的SOA办法着力于事务流程，数据虚拟化则将重点放在事务过程所运用的那些数据。”Forrester的分析师Noel Yuhanna说道，“经过把数据从运用平分离开来，并将其存储在中间层，虚拟化很有或许会下降数据集成的困难。”
 

布置虚拟数据渠道，能够消除在办理数据过程中大量杂乱的问题，由于该办法能够将数据保留在原始体系中。当用户拜访数据时(一般是经过某种方式的仪表盘或门户)，它们经过一系列的指令来请求信息，实际上是经过搜索遍及企业不同区域的各个数据库或资源库，来获取数据位并将其组合在一起，形成对客户查询的呼应。
 

Moray Laing，是事务智能软件供货商SAS有限公司能源职业的咨询师，他也以为数据虚拟化大大下降了数据集成相关的费用，可是他一起也提醒，不能简略的将其视为开发和维护单一可信数据数据源所必须的数据办理的代替计划。
 

“经过主数据办理来维持数据的质量，是保证单一版别数据的现实办法。”Laing说道。“但是，咱们意识到某些主数据办理步骤，比方创立数据仓库，或许需求数年才干完结。数据虚拟化则供给了这种才能，能够顺利的将多个数据源和多种方式的数据集成到单一拜访点，使数据工程师能够减少许多繁重的作业。”
 

建立数据办理员的必要假如想要确保流入到虚拟渠道的数据都具有较好的质量，Flichy以为所需求履行的策略就是在数据源头对数据进行验证。“一旦在源头完结数据验证，那你就能够断定的通知用户，‘这些数据和进入到体系的原始数据是相同的。’然后，假如数据以任何方式移动或修正，那就必须在数据源头对其进行从头验证。”
 

在这种办法中，Flichy主张应该创立一个类似于“数据办理员”的职位。该职位的责任就是担任确保一切的数据，从输入到虚拟渠道前保持不变。
 

Flichy将数据办理员比作博物馆中处理碎片的职工。“他们知道哪些碎片具有最大的价值。”他说到，“关于数据，意识到它的价值，仅仅第一步。第二步就是花更多的精力发现最有价值的部分。假如最有价值的数据呈现退化的痕迹，那必须当即采取办法对其进行修复。”
 

数据虚拟化和数字化油田
 

根据Flichy的说法，石油天然气工业的特性使其成为最理想的扩展数据虚拟化运用以及尝试设置数据办理员岗位的最佳场所。
 

他以为，在石油天然气职业或许比其它任何职业，都更依赖于大量广泛分布的数据。石油和天然气公司也经常为其新油田或工厂设备，装备不同供货商的设备和技能，而它们的产品并不总是易于集成。
 

“尽管职业正在阅历着衰退，但这也从一方面推进着企业想要取得更高功率。”Flichy说。“怎么取得更高的功率？仅仅求助于分析，可是假如不信赖那些数据，那分析也无能为力。”虚拟化则有期望供给一种比传统办法更快、更低本钱的途径来取得可信的数据。

“

长按二维码
关注我们吧

声明：本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：[e-mail] 进行举报，并提供相关证据，工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容