当前位置: 首页 > 工具软件 > lhc > 使用案例 >

lhc 关闭_LHC网格:地球上最大的科学仪器的数据存储和分析

邹俊拔
2023-12-01

lhc 关闭

大型强子对撞机(LHC)是一种粒子加速器,旨在彻底改变我们对宇宙的理解。 全球LHC计算网格 (LCG)项目为将使用LHC的整个高能物理社区提供数据存储和分析基础结构。

LCG于2003年推出,旨在将全球数百个数据中心中的数千台计算机集成到全球计算资源中,以存储和分析LHC将收集的大量数据。 据估计,大型强子对撞机每年产生大约15 PB(1500万千兆字节)的数据。 这相当于每年填满170万张双层DVD! 世界各地有成千上万的科学家希望访问和分析这些数据,因此CERN正在与33个不同国家/地区的机构合作以操作LCG。

来自大型强子对撞机实验的数据分布在全球各地,主要备份记录在CERN的磁带上。 经过初步处理后,该数据将分发到加拿大,法国,德国,意大利,荷兰,北欧国家,西班牙,台北,英国和美国的两个站点的11个大型计算机中心,它们具有足够的存储容量大部分数据,并全天候支持计算网格。

这些所谓的“第1层”中心使数据可用于120多个“第2层”中心,以执行特定的分析任务。 然后,单个科学家可以使用本地计算机集群甚至单个PC从其祖国访问LHC数据。

LHC计算网格包括三个“层”,正式涉及32个国家:

  • Tier-0是一个站点:CERN计算中心。 所有数据都通过该中央集线器传递,但是它提供的总容量不到总容量的20%。
  • 第1层包括11个站点,分别位于加拿大,法国,德国,意大利,荷兰,北欧国家,西班牙,台北和英国,在美国有2个站点。
  • 第2层包含140多个站点,分为38个联盟,分别覆盖澳大利亚,比利时,加拿大,中国,捷克共和国,丹麦,爱沙尼亚,芬兰,法国,德国,匈牙利,意大利,印度,以色列,日本,大韩民国,荷兰,挪威,巴基斯坦,波兰,葡萄牙,罗马尼亚,俄罗斯,斯洛文尼亚,西班牙,瑞典,瑞士,台北,土耳其,英国,乌克兰和美国的Tier-2站点将提供大约50%的处理能力LHC数据。

当LHC加速器以最佳状态运行时,需要为全球约500家参与LHC实验的研究机构和大学中的5000名科学家提供访问实验数据的权限。 此外,在LHC的15年估计寿命中,所有数据都必须可用。

出于财务和技术方面的原因,需要采用分布式架构的绝大多数原因是:

决定采用分布式计算方法来管理LHC数据的主要原因是金钱。 1999年,当开始设计用于LHC数据分析的计算系统时,很快就很清楚,所需的计算能力远远超出了CERN可用的资金能力。 另一方面,与LHC合作的大多数实验室和大学都可以使用国家或地区的计算机设施。 显而易见的问题是:是否可以将这些功能集成在一起以提供单个LHC计算服务? 广域网的快速发展-容量和带宽的增加以及成本的下降-使其成为可能。 从那里,到LHC计算网格的路径已确定。

在LHC计算网格的开发过程中,分布式系统的许多其他好处变得显而易见:

  • 数据的多个副本可以保存在不同的位置,从而确保所有参与的科学家都可以访问,而不受地理位置的影响。
  • 允许对多个计算机中心的备用容量进行最佳利用,从而使其效率更高。
  • 在多个时区拥有计算机中心可简化全天候监控和专家支持的可用性。
  • 没有单点故障。
  • 维护和升级的成本是分摊的,因为各个机构都在资助本地计算资源并保留对这些资源的责任,同时仍在为全球目标做出贡献。
  • 独立管理的资源鼓励了新颖的计算和分析方法。
  • 当桌面上的资源可用时,所谓的“人才外流”减少了,研究人员被迫离开自己的国家访问资源。
  • 该系统可以很容易地进行重新配置,以应对新的挑战,使其能够在LHC的整个生命周期中动态发展,随着每年收集更多数据的能力不断提高,可以满足不断增长的需求。
  • 在决定如何以及在何处提供未来计算资源时提供了很大的灵活性。
  • 允许社区利用可能出现的新技术,这些新技术可提供更高的可用性,成本效益或能源效率。

整个项目的规模给LCG团队带来了一些有趣的挑战

  • 管理必须在网格周围可靠地移动的庞大数据量。
  • 管理每个站点上的存储空间。
  • 跟踪9000位物理学家在分析数据时生成的数千万个文件。
  • 确保足够的网络带宽:主要站点之间的光链路,以及到最远位置的良好可靠链路。
  • 确保大量独立站点的安全性,同时最大程度地减少繁琐的录音带,并确保经过身份验证的用户轻松访问
  • 保持安装在各个位置的软件版本的一致性
  • 应对异构硬件
  • 提供计费机制,以便不同的组根据他们的需求和对基础结构的贡献而公平地使用它们。

如此大型分布式系统的安全性也是一个巨大的挑战,正如“电讯报”报道的那样,希腊黑客能够在大型粒子撞击时Swift访问大型强子对撞机(LHC) 的CERN计算机系统 。 9月10日的粒子加速器。

在运行大型粉碎机的欧洲核子研究组织(CERN)工作的科学家们担心黑客会怎么做,因为他们与机器的大型探测器之一的计算机控制系统“相距仅一步之遥”,后者是重达12,500的巨大磁铁吨,长约21米,宽/高15米。

知情人士说,如果他们入侵了第二个计算机网络,他们可能会关闭庞大的探测器的一部分,并且“如果没有人搞砸,很难使这些东西正常工作。”

截至发稿,由于攻击,公众仍然无法访问cmsmon.cern.ch网站。

至于驱动LCG的操作系统,是科学Linux发行版 ,由Fermilab ,CERN和世界各地的其他实验室和大学共同组成:

一个LHC计算网格(LCG)由大约40,000个全球分布式CPU处理数据组成。 参与的MAC和PC将在其他软件中加载适用于CERN的Scientific Linux(当前为Scientific Linux CERN 4 )。

拥有如此强大的网格,如果没有运行强大的软件就没有任何意义,因此《 LCG开发人员指南》为开发或修改LCG代码的任何人提供了技术信息,并说明了用于满足生产所需质量的过程:

软件开发过程可以分为几个简单步骤。

  • 在CVS中创建一个新模块。
  • 编写代码和文档。
  • 彻底测试代码。
  • 标记模块的CVS树。
  • 请与建筑系统管理员联系,以将您的模块添加到要构建的模块列表中。
  • 确保自动构建已成功创建该程序包。
  • 彻底测试包装。
  • 将自动生成的包提交给LCG。
  • 修复集成和认证过程中发现的所有错误。

API使用C / C ++,Java或Perl开发,并用Doxygen,Javadoc或POD进行了文档记录。 网格中使用的其他软件包括:

  • 伯克利数据库信息索引(BDII)
  • gLite ,一个用于构建网格应用程序的框架
  • Xen虚拟机监视器
  • 胶水2 ,一种抽象的信息模型,通过独立于信息系统实现的模式表示
  • Gridview是一种监视和可视化工具,正在开发以提供LCG各种功能方面的高级视图(基于Java,PHP和Oracle 10g)。

网格计算并不是应对所有LHC挑战的唯一方法,在某些情况下,志愿计算是有意义的。 特别是,志愿计算非常适合需要大量计算能力但数据传输相对较少的任务。 2004年,CERN的IT部门对评估志愿者计算项目(如SETI @ home)所使用的技术种类感兴趣。 LHC @ home成为这些努力的总称,它是一个自愿计算程序,使用户可以在计算机上贡献空闲时间,以帮助物理学家开发和利用粒子加速器。 它使用BOINC (一个用于志愿者计算和桌面网格计算的软件平台)。

您可以搜索InfoQ以获取有关网格计算体系结构的更多信息。

翻译自: https://www.infoq.com/articles/lhc-grid/?topicPageSponsorship=c1246725-b0a7-43a6-9ef9-68102c8d48e1

lhc 关闭

 类似资料: