Big Data In Military Applications大数据在军事应用中的巨大收益

Posted 2021-04-30 电科防务

“

根据SNS研究部门的一项新报告《大数据市场：2017 - 2030年 - 机遇、挑战、战略、行业纵向和预测》，大数据解决方案的投资预计将在未来四年内以约10％的年均复合增长率增长，大数据投资将在2017年将达到570亿美元，到2020年底达到760亿美元。

”

随着来自移动设备、网络、社交媒体、传感器、日志文件和交易应用等实时数据的激增，大数据应用已经找到了一种向现代战争提供丰富多样的关键任务数据的方法。

企业采用数据挖掘技术的大数据解决方案正在被军方采用，从无人机、自动化网络安全系统、恐怖分子数据库和其他来源收集的许多不同类型的数据中获取更多的信息。该技术不仅可以帮助战场上的战士，还可以用于改进从软件开发到装备维护的各种领域。

大数据市场规模

根据SNS研究部门的一项新报告《大数据市场：2017 - 2030年 - 机遇、挑战、战略、垂直行业和预测》显示，大数据解决方案的投资预计将在未来四年内以约10％的年均复合增长率增长，大数据投资在2017年将超过570亿美元，到2020年底达到760亿美元。

该报告还指出，将近三分之一（30％）的大数据工作将通过云服务进行处理。

大数据投资

大数据技术包括分布式计算系统、分布式文件系统、大规模并行处理（MPP）系统和基于网格计算的数据挖掘等。美国国防部在2017财年预算中要求投资“大机制”，致力于生物学、赛博、经济学、社会科学和军事情报的计算智能自动化。根据预算，DARPA预计其与大数据相关的计划投资将从2015年的约2.16亿美元上升至2017财年的近2.69亿美元，计划增长24.5％。

2014年，美国国防预先研究计划局（DARPA）宣布了一个名为“信息挖掘与理解型软件开发”（MUSE）项目。该项目寻求将软件开发的常规方法与机器学习的基本理念用于一个不断发展壮大的开源软件库，以期通过这种方式对当前编写与维护软件的方式进行彻底地反思，最终提高军用软件的质量。DARPA希望通过MUSE项目开发能够管理信息的“大代码”软件包，它不会在大数据集的重压下变形或崩溃，该项目针对的大数据，是2012年奥巴马政府宣布的技术计划核心。

Mining and Understanding Software Enclaves (MUSE)

各种五角大楼的大数据倡议包括国防威胁降低局（DTRA）对危险病原体的跟踪研究、DARPA直接领导的针对癌细胞进行的卫生数据挖掘，DTRA基于数据挖掘和专利分析的组合（用以跟踪可能改变未来军事装备及规划的“颠覆性技术”，以及追踪大规模杀伤性武器的扩散）。

大数据工具与技术

1.Apache 面向对象数据技术，Apache OODT (Object Oriented Data Technology)：该项目始于1998年美国国家航空和宇航局的喷气机推力研究室，它使用结构化的基于XML的捕获处理流水线，非程序员可以理解和修改，以创建、编辑、管理和配置工作流和任务执行。

Apache OODT (Object Oriented Data Technology)

OODT还允许在可扩展的计算基础设施上远程执行作业，以便使用云计算和高性能计算环境，将计算和数据密集型处理集成到OODT的数据处理流水线中。

Apache OODT正在NASA的地球科学、行星科学和天文学的许多科学数据系统项目中使用，例如月球测绘和建模项目（LMMP）、NPOESS预备项目（NPP）Sounder PEATE Testbed、轨道碳观测站- 2（OCO-2）项目，以及土壤水分主动被动任务试验台。此外，OODT还用于DARPA MEMEX和XDATA两个项目的大规模数据管理和数据准备任务。

OODT的主要特色有：

• 对分布式资源的透明访问

• 数据探知与查询优化

• 分布式处理与虚拟档案

2.Apache Bahir：提供对分布式分析平台（如 Apache Spark 和 Apache Flink ）的扩展。Apache Bahir 最初是从 Apache Spark 项目中提取的，现已经作为一个独立的项目提供，以提供不限于 Spark 相关的扩展/插件、连接器和其他可插入组件的实现。通过提供多样化的流连接器（streaming connectors）和 SQL 数据源扩展分析平台的覆盖面。它为大数据处理提供支持，并为其他相关的分布式系统、存储和查询执行系统提供附加扩展/插件。

3.基于条件的维护（CBM）：美国空军官员、数据科学家和其他人员正在利用先进的数据处理和分析工具，包括软件和硬件解决方案，简化工作流程，提高效率和生产力，跟踪和管理资产，并使用基于条件的维护（CBM）取代计划/时间维护 ，如此一年可节省150万美元。

具体来说，空军官员选择使用Teradata Aster平台更好地管理航线维护和飞机库数据、库存。

4.Hadoop软件：一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。

Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分区成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。此外，Hadoop还提供了分布式文件系统，用以存储所有计算节点的数据，这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计，使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据。现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统（HDFS）以及一些相关项目，有Apache Hive和Apache HBase等等。

5.组织关系和联络分析仪（ORCA）：该软件由美国军事学院开发，最初是用于军事行动来确定叛乱分子网络，目前正在美国国内使用。美国军方将利用国内测试作为未来战时应用软件供应的一种方法，同时也可为警察系统提供一种宝贵的免费工具，最终可以实现在美国国内更广泛的部署。

6.Tableau：Tableau为大数据时代找到事半功倍的解决方法，它结合了数据挖掘和数据可视化的长处，使用者可以在电脑、平板等多种行动工具上透过最简单的拖曳、释放完成原先复杂的分析程序，强大的视觉化互动界面，让用户可以随心所欲的定制想要的图表呈现方式，或透过仪表板（Dashboard）的功能多方监控，在安全的管理构架下在企业内部分享。

7.D3.js：D3 的全称是（Data-Driven Documents），顾名思义可以知道是一个被数据驱动的文档。听名字有点抽象，说简单一点，其实就是一个 javascript 的函数库，使用它主要是用来做数据可视化的。JavaScript 文件的后缀名通常为 .js，故 D3 也常使用 D3.js 称呼。D3 提供了各种简单易用的函数，大大简化了 JavaScript 操作数据的难度。由于它本质上是 JavaScript ，所以用 JavaScript 也是可以实现所有功能的，但它能大大减小你的工作量，尤其是在数据可视化方面，D3 已经将生成可视化的复杂步骤精简到了几个简单的函数，你只需要输入几个简单的数据，就能够转换为各种绚丽的图形。

8.Power BI：Power BI 是一套业务分析工具，用于在组织中提供见解。可连接数百个数据源、简化数据准备并提供专门分析。生成美观的报表并进行发布，供组织在 Web 和移动设备上使用。每个人都可创建个性化仪表板，获取针对其业务的全方位独特见解。在企业内实现扩展，内置管理和安全性。它允许开发人员以非常精确的方式创建可视化和显示数据，这样就不会在其他BI工具中找到此类工具。它可以用最少的努力和使用现有的技能来完成。Power BI桌面有各种各样的标准可视化，其中包括人们通常需要的一系列报告。这些插图基本上可以通过Power BI桌面或Power BI产品创建。然而，总是有各种各样的图形、图表或表格需要得到特定的期望结果的条件。这些类型的定制可以是内部开发或开发人员可以检索其他定制的可视化视觉画廊。

9.R语言：R语言是一种自由软件编程语言与操作环境，主要用于统计分析、绘图、数据挖掘。R本来是由来自新西兰奥克兰大学的罗斯·伊哈卡和罗伯特·杰特曼开发（也因此称为R），现在由“R开发核心团队”负责开发。R基于S语言的一个GNU计划项目，所以也可以当作S语言的一种实现，通常用S语言编写的代码都可以不作修改的在R环境下运行。R的语法是来自Scheme。

R的源代码可自由下载使用，亦有已编译的可执行文件版本可以下载，可在多种平台下运行，包括UNIX（也包括FreeBSD和Linux）、Windows和MacOS。R主要是以命令行操作，同时有人开发了几种图形用户界面。

国防大数据的未来趋势

据美国国防部导弹防御局大数据解决方案架构师John Murphy（将于6月26日在2017年全球国防大数据峰会上发表演讲）介绍，未来国防大数据将体现以下几个趋势：

1、大数据VS关系数据：每个使用案例或业务案例都需要了解它从何、为何发起。但这种趋势与传统的关系数据结构及其支持的基础设施和面向通用大数据结构的趋势不同。

2、防止数据丢失的数据管理问题：“大数据”需要应用更多传统的数据成熟度和验证过程，以确保最好的数据价值能够实现。

3、数据沼泽V数据湖：出现大数据的两种方法。

更快速的部署和迭代周期几乎只专注于使用数据和信息“原样”，用于更为原始和尽可能接近原始数据源的分析。由此产生的数据集趋向于更多的“数据沼泽”环境，对采集、质量和维护的规则很少。

第二种方法具有更传统的数据管理实践，注重标准化、清洗、可审计性要素，一致性和全过程管理。

大数据分析公司

公司	产品	摘要
高级系统概念公司（ASCI）	ActiveBatch	通过简化Hadoop组件在IT基础设施中的集成，ActiveBatch 11将数据实时搜集到最终用户手中，使之能够做出更好的业务决策。 Hadoop的ActiveBatch扩展提供： - Hadoop生态系统组件的生产就绪内容，包括HDFS、Hive、MapReduce、Spark、HBase、Pig、Sqoop、Oozie等。通过访问预先测试的预构建代码，简化了工作流和工作负载的创建，使IT部门能够在较短时间内构建和自动化端到端工作流程。 - HDFS事件触发器将高级事件驱动自动化的强大功能带入大数据，通过将最新数据更快地收录在最终用户手中，从而缩短分析观察的时间。 - 能够充分利用ActiveBatch的高级调度和自动化功能，包括创建可重复使用的可定制模板。现在可以工作步骤保存以备将来使用，使其他开发人员可以轻松地重复使用和重新使用内容，提高可管理性并减少脚本编写的时间。
Kyvos	OLAP	正在申请专利的Hadoop解决方案OLAP包括企业级功能，以提高分析人员对数据湖的访问，高级安全性支持，改进的性能和可扩展性，以及与其他BI工具的集成。Kyvos允许公司直接在Hadoop上构建BI消费层，使分析人员可以转换其现有的BI工具。BI消费层还使分析师能够在整个企业的大数据规模下即时、互动地进行多维分析访问，无需学习曲线或编程。
Modus Operandi	BLADE	美国海军陆战队正在测试Modus Operandi的BLADE技术。该产品从COP（从大量数据收集、关联和理解为一个单一的图像，创建一个常见的操作图片），从原始数据输入生成语义wiki。例如，如果一名士兵发现有关涉嫌炸弹的一些有关人员信息，他可以用新的信息更新COP。此外，该人的维基页面以及任何其他相关的页面将和这个炸弹信息都被更新。
Pivotal	Greenplum	利用符合标准的SQL来支持商业智能和报告工作。利用即插即用的可扩展机器学习算法，提供新的分析模型和数据科学分析。认证支持第三方可视化和分析工具。
Teradata	Aster Analytics	Aster Analytics允许SQL开发人员使用他们所熟悉的SQL来访问他们将用于探索数据的高级分析技术。Aster分析函数的示例包括复杂多步骤问题的SQL-MapReduce计算; 用于图形分析的SQL-GR，用于破译人和事物的相互关系; 还有nPath，它为分析和优化客户浏览在线网站的问题提供路径分析。
ITT Exelis地理空间系统分部	战场内情报软件解决方案	它处理来自机载（例如无人机）传感器系统的图像和全动态视频，该传感器系统监测并执行诸如城市地区等广域监视。如果发生爆炸事件，这些监控信息会被录入，用户可以立即通知用户，并可以访问数据。
ATC创新实验室	A4CLOUD项目	A4CLOUD的主要目标是在欧盟一般数据保护法规（GDPR）出台之前制定云服务提供生态系统问责制的“先进”方法，该规则将于2019年生效。其重点是云计算和其他未来互联网服务的问责制有效管理和控制云端IT服务处理的企业和私人数据的最重要的先决条件。A4Cloud项目将通过设计方法和工具来增加对云计算的信任，通过该方法和工具，云的利益相关者可以对云中保存的信息的隐私和机密性负责。这些方法和工具将结合风险分析、政策执行、监督和合规审计。它们将为云活动的治理做出贡献，提供透明度和协助法律，
大型分析公司	大数据分析平台	去年与英国国防科技实验室国防工业中心（CDE）合作。 在部署过程中，英国国防部将利用该系统将来自静态和动态资源的监视数据集合起来，通过交互式仪表板显示。仪表板将能够提供有助于提前识别威胁的洞察力，并可用于规划不同的场景。
DXC技术	基于云的系统	类型： 应用变换加速器 敏捷平台 DXC BizCloud Cloud DevOps
ILIAS解决方案	国防能力管理	国防能力管理用于映射、监控和管理军事组织，以充分利用其数据。

---

感谢编译/述评：防务菌 

---

电科防务研究

有礼有节&百无禁忌

以上是关于Big Data In Military Applications大数据在军事应用中的巨大收益的主要内容，如果未能解决你的问题，请参考以下文章

Survey Report on Data Skew in Big Data

翻译-In-Stream Big Data Processing 流式大数据处理

delphi working with big data databases in Cassandra, Couchbase and MongoDB

Big Data

双语Bilingual｜Blockchain + Military——转角遇到爱

Codeforces Round #498 (Div. 3) E. Military Problem (DFS)