计算性能当然重要,但并行文件系统才是 HPC 运转的基础
  • 发表于2016-8-31 15:46
  • 4088 次阅读
  • 0 条评论
[摘要] HPC(高性能计算)话题备受瞩目,不仅因为本土系统在业界博得好评,更重要的是高性能计算逐渐走进每个人的生活,并且发挥着不可或缺的作用。比如说金融、气象、能源、制造等行业中的很多企事业都在应用高性能计算,作为普通百姓的衣食住行,我们在刷卡购物、打电话、听天气预报、出门坐车时也已经在享受高性能计算所带来的准确与方便。
每六个月发布一次的 HPC 500 强排行榜越来越受到业界广泛关注,尤其在近几年,连续数届荣登榜首的都是中国的 HPC 系统。
HPC(高性能计算)话题备受瞩目,不仅因为本土系统在业界博得好评,更重要的是高性能计算逐渐走进每个人的生活,并且发挥着不可或缺的作用。比如说金融、气象、能源、制造等行业中的很多企事业都在应用高性能计算,作为普通百姓的衣食住行,我们在刷卡购物、打电话、听天气预报、出门坐车时也已经在享受高性能计算所带来的准确与方便。
谈到 HPC,大家最关注的总是计算性能,却鲜有人谈到 HPC 的存储系统,即并行文件系统。在近期举办的一次沟通会上,中国气象局正研级高工洪文董、中国高性能计算 TOP100 排行榜发起人袁国兴、中国计算机学会高性能计算专业委员会秘书长张云泉几位 HPC 领域的专家,不约而同地就 HPC 领域并行文件系统的重要价值阐述了各自的观点。
并行文件系统是 HPC 实现资源调度和性能优化的关键因素
在高性能计算领域,尤其以气象部门为例,很多天气预报的模式都是将任务分成多个小任务,最后通过网络将其归结到一起。并行计算快速进行,而相应的数据量也随之激增,这就需要有并行文件系统进行处理。
中国计算机学会高性能计算专业委员会秘书长张云泉在沟通会上表示,在高性能计算领域,需要通过并行来实现加速,而这样的加速对于高性能计算来说,有着重大的意义。
中国气象局正研级高工洪文董说,“要实现 HPC 系统的科学计算的效能,就一定需要一个并行的文件系统。CPU 需要通过并行文件系统将众多的存储硬件管理起来,尤其在气象领域,数据相互之间是有关联的,计算的结果之间要进行交换,这对于并行文件系统的要求就更高。”
因此,洪文董认为,一般的开源并行文件操作系统并不能满足科学计算领域 HPC 系统的需求,因为在科学计算领域,大多数时候文件系统存储的数据相互之间是需要相互影响的,即它们是分布共享并行文件系统,不像社会计算领域,如电信、网络、物流等,每个文件系统的数据相互之间没有关系,它们是分布并行文件系统。这两种模式对于文件系统的要求是完全不一样的。
中国高性能计算 TOP100 排行榜发起人袁国兴也认为,在 HPC 系统中,存储系统的响应速度必须要尽可能地高,同时并行文件系统也需要尽可能地高效,否则,系统产生的数据量激增,即便计算系统速度再快,如果并行文件系统无法快速响应,那么也会急剧降低 HPC 整体系统的性能。
并行文件系统可以把多个结点上的磁盘组织成为一个大的存储系统,提供更大的存储容量和聚集的 I/O 带宽,并随系统规模的扩大而扩展,在多种存储环境下发挥着重要的作用,尤其是集群结构的高性能计算领域。
同时,张云泉认为,现在大数据的发展,使得 HPC 的研究有了新的用武之地,产生了众多的新兴交叉学科。无论对于深度学习还是大数据分析、在线游戏而言,各种全新的应用对于 HPC 提出了全新的需求,这些对于 HPC 的存储系统,尤其是并行文件系统提出了各种挑战。
从高性能上看,GPFS 即现在的 IBM Spectrum Scale,通过将 I/O 分布在多个硬盘提高性能,能够高效工作在 1个节点到 4000多个节点的集群环境中,也能够很好地支持 SSD 盘和闪存阵列。
同时,可靠性是高性能运算的重中之重,在 GPFS 环境中,某一节点的硬盘连接丢失,不会影响到其他的节点,GPFS 使用 RSCT 的功能持续监控不同文件模块的健康状态,当任 一错误被检测到时,相应的恢复动作将自动执行。GPFS 还提供了额外的日志和恢复功能,可以维持元数据的一致性。最大三副本,可支持节点的自动 Failover。相较于开源的 CEPH,作为商用系统代表的 GPFS,经历了大量的实践和检验,相对来说更加稳定和可靠。
洪文董认为,“从商用软件的角度来说,IBM 的 GPFS 是并行文件系统中做得最成功的,也是业界做得最好的。”
IBM Spectrum Scale,以商业的可靠性满足多方高性能存储需求
软件定义存储时代,高性能计算面临着不同时代、不同品牌的存储设备和解决方案的整合的问题,IBM 整合了自身所有跟存储相关的软件,推出光谱存储家族,以帮助企业和机构应对高性能计算时代出现的新问题。光谱家族的 Spectrum Scale, 即广为人知的 IBM 并行文件系统明星产品 GPFS,也就是 HPC 领域备受推崇的并行文件系统的商用软件,在 2013年的全球 top500 超级计算机有超过 150台的集群使用 GPFS 文件系统。
如同 IBM 软件定义解决方案的销售顾问蒋军华在沟通会上所介绍的,IBM 光谱家族的 Spectrum Scale,是一个为高性能计算设计的高可靠性并行文件系统,它不仅可以在一个高性能计算集群中实现多个计算节点的数据快速存取,还能够实现跨广域网的存储整合与数据共享,帮助用户形成统一的存储资源池,同时,它还解决了数据存储经济性的问题,依靠信息生命周期管理功能帮助用户实现数据的自动分层管理,保证存储资源的高效利用。这些对于高性能计算领域尤其是类似于气象预报等科学计算领域,有着非常重要的价值。
IBM Spectrum Scale 是经验证、可扩展且高性能的数据及文件管理解决方案(基于 IBM General Parallel File System 或 GPFS,之前被称作代码名称 Elastic Storage)。 IBM Spectrum Scale 提供世界级的存储管理功能,具有极致的可扩展性、闪存加速性能,以及基于策略的自动存储分层功能(从闪存、磁盘到磁带)。IBM Spectrum Scale 可以帮助客户减少 90%的存储成本,同时提高云、大数据和分析环境中的安全性和管理效率。
首先,IBM Spectrum Scale 解决的是数据高可靠性和高可用性。凭借去中心化的系统架构设计,GPFS 文件系统元数据和数据都采用分布式架构存储,不论管理节点、文件系统节点或是元数据节点失效后都能恢复,不存在单一故障点,保证了系统的使用。随着高性能计算集群规模和文件系统的增长,元数据的访问也不会成为系统瓶颈。
其次,IBM Spectrum Scale 解决的是跨广域网的存储和数据资源整合,帮助用户形成统一的全局文件命名和数据管理。比如,广州遇到南方的暴雨天气期间,由于气象预报计算需求的增加,它需要借助北京的超级计算机计算南方的天气,这其中就涉及到数据的传输和同步。通过 Spectrum Scale 软件全面整合后能够策略化地去定义数据存放,根据每个气象计算算例后面附带数据量的大小,结合 IBM Platform LSF 调度软件决定该计算任务是在本地计算还是调度到远端计算,快速获取计算结果。
最后,IBM Spectrum Scale 可以在生产环境下实现磁盘空间动态扩展及压缩。由于 IBM Spectrum Scale 通过将节点内读写操作分布到多个磁盘上,大大增加了文件系统的带宽,通过整个系统的负载均衡避免了某个磁盘过大的读写。此外,IBM Spectrum Scale 可以动态调整添加或者删除硬盘。系统处于相对空闲时,用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。
关于 IBM 公司
若想了解关于 IBM 公的更多信息,请访问公司网址:www.ibm.com /cn-zh/,或扫描下方二维码,关注 IBM 官方微信公众号。
如有任何问题,请联系
IBM 公司市场与企划部
联系人:祁金华
电 话:010-63617623
邮 箱:qijinhua@cn.ibm.com
科闻一百公共关系(中国)有限公司
联系人: 王楠
电 话:010-59001180-136
邮 箱:sarah.wang@text100.com.cn



已有0条评论
还可以输入40字
欢迎您,
在线培训
更多 >>

2016-9-27 20:00 - 2016-9-27 22:00

线上

已结束
Docker on PowerLinux【在线培训】

2016-4-20 20:00 - 2016-4-20 22:00

线上

已结束
HBASE性能测试与调优初探【在线培训】

2016-3-30 20:00 - 2016-3-30 22:00

线上

已结束
OpenStack初步【在线培训】

2015-9-8 20:00 - 2015-9-8 21:30

线上

已结束
开源大数据技术架构设计【在线培训】
热门话题
更多 >>
power linux下部署jdk1.6和tomcat5.5+,下载地址求助。
power linux下部署jdk1.6和tomcat5.5+,下载地址求助。
学习Linux的未来前景到底如何?
网上百度了下,说:在root用户下 vi /etc/sysconfig/network 里面修改。但是我的 /e ...
hadoop运行日志的问题
我是在linux上面用命令运行jar包。 输出的日志很多,用管道命令 more less都不好使。 ...
为什么Linux下读取不到文件呢?
Linux下读取当前目录文件为空的原因? 在前面已经打印出来pathName是“./data.txt”, ...
我要提问