加快处理非常大的图形和数据使计算资源在士兵部署之前得到最有效的利用

　　威胁的发现和预防对于确保作战人员的安全和保障至关重要。 研究人员开发了一种方法来加快处理非常大的图形和数据，使现代军队计算资源在士兵部署之前和期间得到最有效的利用。
　　图形已经成为建模包含实体和关系的许多现实世界系统的首选数据表示。 这些系统和图表被广泛应用于几个公共和军事领域，如Facebook，数百万用户通过友谊关系、万维网、生物信息学甚至国防部安全应用程序连接。 国防部使用图形分析，包括恐怖分子跟踪和威胁检测。
　　研究人员说，在当今的数据密集型环境中，这些图形的体积越来越大，甚至高功率、高性能的计算系统，如陆军拥有的计算系统，也无法有效地处理它们。
　　美国陆军作战能力发展司令部陆军研究实验室背景感知处理处的研究员Rajgopal Kannan说，有必要开发高效的并行和分布式系统，可以扩展现代计算机硬件来处理这些图形。
　　Kannan说：＂陆军庞大的计算资源必须在规模上得到有效利用，以解决对快速计算解决任务关键问题的巨大需求。＂
　　Kannan与南加州大学的研究人员合作开展了这个项目。 该小组一直专注于开发高速和便携式图形分析，这对于国防部的安全分析至关重要，如发现恐怖通信网络、分析生物网络和建议反恐行动。
　　他说，目前的方法不能很好地扩展到大型图形和/或没有易于使用的编程接口，使得开发新的图形分析应用程序的工作变得容易。 程序员有责任利用硬件和操作系统原语，这很费时，限制了程序的可移植性，并要求为新的体系结构和加速器重写代码。
　　Kannan说：＂我们的新型并行计算框架，称为图形处理分区(Graph Processing Over Partitions，简称GPOP)，是用户友好的，使优化编程变得容易。＂ ＂程序员可以专注于开发新的高速应用程序，并且不受底层硬件复杂性的影响。 框架也是硬件不可知的，代码可移植到多个体系结构。
　　Kannan说，它可以成为国防部定制图形处理系统的重要组成部分，比如在国防高级研究项目局的分级识别验证开发计划(即HIVE)下开发的系统。
　　ACM的并行计算事务特刊发表了一篇关于本研究的论文，《可扩展图形分析的并行计算框架》，《不规则应用系统的创新》。
　　Kannan说：＂在相互关联的实体之间传播信息是一项非常基本的工作。 例如，可以考虑著名的搜索引擎网页排名算法。 它首先给网页分配一个初始重要性/权重，然后模拟这种重要性/权重沿在网页图中创建连接的超链接的传播。
　　Kannan说，对非常大的图形进行这种传播的模拟会给当前计算机的内存系统带来很大的压力。
　　为此，研究人员设计了新的计算模型，可以最大限度地利用现成服务器上可用的随机存取存储器和缓存的能力。 他们的模型被封装在一个框架中，它隐藏了所有血淋淋的细节，并提供了一个简单的接口，使程序员的生活变得简单。
　　另一个例子是用于分析生物网络或在线事实检查的最短距离计算，需要极快的响应。
　　Kannan说：＂我们的框架利用集群计算的能力，从大图中快速提取元数据，并在微秒内回答最短距离查询。＂ ＂我们的方法表明，通过仔细设计软件系统，底层硬件的效率可以大大提高。＂
　　研究团队的关键思想是程序的分层分解：一个高层次的用户前端使编程变得容易，再加上低层次的硬件原语，从而导致高性能。
　　它们的框架将几种算法的执行时间缩短了80%，分别比目前著名的框架(如Ligra、Graph Mat和Galois)快19倍、9.3倍和3.6倍。
　　Kannan说：＂我们在最短距离计算元数据提取方面的工作大大扩展了这种方法的能力。＂ 与现有方法相比，我们能够以50倍的速度处理10倍大的图。 在一个拥有64台服务器的集群上，我们可以在不到一个半分钟的时间内处理美国的整个公路网。
　　除国防部外，本研究还具有双重用途..
　　Kannan说：＂这对Facebook、Google、Amazon等大数据公司也很有用，它们在提供的服务中使用图表分析，如网络搜索、产品推荐或垃圾邮件检测。＂ ＂有效的图形处理还可以揭示生物研究的新见解，如基因组分析、蛋白质测序或流行病传播，如COVID-19。 我们的研究将发掘国防部正在开发的自定义图形处理架构的潜力。
　　团队的下一步是利用分布式处理系统和分布式内存的力量，将图形分析应用扩展到更大的未来图形，作为构建广义并行和分布式处理框架的一部分。
　　坎南说，在整个研究和即将到来的一切过程中，合作一直是并将继续是成功的关键因素。
　　Kannan说：「合作是研究的命脉，这项合作研究是在科技合作中心的「校园开放计划」的支持下进行的，该计划有助促进基础学术研究的理念的技术转让。」
　　南加利福尼亚大学维克托·普拉萨纳教授的图形分析和机器学习研究小组的Kannan和他的合作者能够弥合学术理论和技术实践之间的差距，以开发技术产品，这将证明有利于关键的军队现代化优先事项，包括网络和士兵Lethality。
　　他说，这些结果在ACMTPC和非常大数据库国际会议(更常见的是VLDB)等顶级出版物场所的传播进一步突出了ARL大学伙伴关系的重要性，并提高了在作战技术领域的知名度。
　　这项研究由DARPA资助，并得到ARL-USC合作研究和开发协议的支持，最近得到了商务部的认可，成为实验室的高影响力联合工作声明之一。