超级军网曙光龙芯3B集群交付深圳超算使用
来源：百度文库 编辑：超级军网 时间：2024/04/28 05:50:11
http://www.loongson.cn/news_info.php?id=193
近日，基于龙芯3B处理器的曙光龙腾计算集群完成整机调试，并作为“曙光6000”的重要组成部分正式交付国家超级计算深圳中心使用。
“曙光6000”是我国首台过千万亿次的超级计算机系统，其中曙光“龙腾”计算集群部分采用了高密度刀片服务器形态，包含12个机架，92个5U高度的刀箱，每个刀箱包含14个基于龙芯处理器的刀片服务器，整体系统共采用了2500多颗八核龙芯3B处理器。龙腾集群采用千兆以太网互联，包含 2 个 S55 交换机和 1 个 E600 交换机，龙腾集群的64位双精度浮点计算峰值能力超过300TFlops。
目前“曙光6000”计算集群正式坐落在国家超算计算深圳中心，该中心是国家布局的重大科技基础设施项目，是深圳市建市以来投入最大的公共科技基础设施项目，龙芯超算集群的交付使用，进一步加强了深圳超算中心的核心计算能力的国产化，将对深圳乃至全国基础科研和经济社会发展发挥重要的促进作用。http://www.loongson.cn/news_info.php?id=193
近日，基于龙芯3B处理器的曙光龙腾计算集群完成整机调试，并作为“曙光6000”的重要组成部分正式交付国家超级计算深圳中心使用。
“曙光6000”是我国首台过千万亿次的超级计算机系统，其中曙光“龙腾”计算集群部分采用了高密度刀片服务器形态，包含12个机架，92个5U高度的刀箱，每个刀箱包含14个基于龙芯处理器的刀片服务器，整体系统共采用了2500多颗八核龙芯3B处理器。龙腾集群采用千兆以太网互联，包含 2 个 S55 交换机和 1 个 E600 交换机，龙腾集群的64位双精度浮点计算峰值能力超过300TFlops。
目前“曙光6000”计算集群正式坐落在国家超算计算深圳中心，该中心是国家布局的重大科技基础设施项目，是深圳市建市以来投入最大的公共科技基础设施项目，龙芯超算集群的交付使用，进一步加强了深圳超算中心的核心计算能力的国产化，将对深圳乃至全国基础科研和经济社会发展发挥重要的促进作用。
近日，基于龙芯3B处理器的曙光龙腾计算集群完成整机调试，并作为“曙光6000”的重要组成部分正式交付国家超级计算深圳中心使用。
“曙光6000”是我国首台过千万亿次的超级计算机系统，其中曙光“龙腾”计算集群部分采用了高密度刀片服务器形态，包含12个机架，92个5U高度的刀箱，每个刀箱包含14个基于龙芯处理器的刀片服务器，整体系统共采用了2500多颗八核龙芯3B处理器。龙腾集群采用千兆以太网互联，包含 2 个 S55 交换机和 1 个 E600 交换机，龙腾集群的64位双精度浮点计算峰值能力超过300TFlops。
目前“曙光6000”计算集群正式坐落在国家超算计算深圳中心，该中心是国家布局的重大科技基础设施项目，是深圳市建市以来投入最大的公共科技基础设施项目，龙芯超算集群的交付使用，进一步加强了深圳超算中心的核心计算能力的国产化，将对深圳乃至全国基础科研和经济社会发展发挥重要的促进作用。http://www.loongson.cn/news_info.php?id=193
近日，基于龙芯3B处理器的曙光龙腾计算集群完成整机调试，并作为“曙光6000”的重要组成部分正式交付国家超级计算深圳中心使用。
“曙光6000”是我国首台过千万亿次的超级计算机系统，其中曙光“龙腾”计算集群部分采用了高密度刀片服务器形态，包含12个机架，92个5U高度的刀箱，每个刀箱包含14个基于龙芯处理器的刀片服务器，整体系统共采用了2500多颗八核龙芯3B处理器。龙腾集群采用千兆以太网互联，包含 2 个 S55 交换机和 1 个 E600 交换机，龙腾集群的64位双精度浮点计算峰值能力超过300TFlops。
目前“曙光6000”计算集群正式坐落在国家超算计算深圳中心，该中心是国家布局的重大科技基础设施项目，是深圳市建市以来投入最大的公共科技基础设施项目，龙芯超算集群的交付使用，进一步加强了深圳超算中心的核心计算能力的国产化，将对深圳乃至全国基础科研和经济社会发展发挥重要的促进作用。
姗姗来迟，还是以太网互联。
姗姗来迟，还是以太网互联。
额，看到一个词组，邪恶了。。。
市场化是最重要的
技术含量上不如天河一号，天河实现了自主研发的网络交换芯片。
不过总算开局了，希望以后有更大的突破。
不过总算开局了，希望以后有更大的突破。
呵呵，打算干点啥
曙光6000喊了多少年了 可算见到点儿消息
赶快上28nm吧，就这个块头、能省不少电呢
看看xeon phi SNB和龙芯3B的一些测试，3B的矩阵测试是24000X24000，xeon phi测试linpack的是26872X28762，SNB的测试是26000X26000，DGEMM测试SNB是10752X10752 xeon phi的是12800X12800。
花落庭院 发表于 2013-2-27 19:16 
姗姗来迟，还是以太网互联。
千兆以太不够用吗？？？？请明示。。
姗姗来迟，还是以太网互联。
千兆以太不够用吗？？？？请明示。。
shanshuilw 发表于 2013-2-28 15:42
千兆以太不够用吗？？？？请明示。。
这个规模的集群是够了，再升级估计不行了。
千兆以太不够用吗？？？？请明示。。
这个规模的集群是够了，再升级估计不行了。
壮东风 发表于 2013-2-28 16:08
这个规模的集群是够了，再升级估计不行了。
RS690支持pci-e x16 理论上 可以直接上双万兆。。
现在 没有资料显示 龙3b的刀箱支持InfiniBand交换模块
这个规模的集群是够了，再升级估计不行了。
RS690支持pci-e x16 理论上 可以直接上双万兆。。
现在 没有资料显示 龙3b的刀箱支持InfiniBand交换模块
壮东风 发表于 2013-2-28 16:08
这个规模的集群是够了，再升级估计不行了。
12个机架，2个S55和1个E600能提供多大的通讯带宽？
这个规模的集群是够了，再升级估计不行了。
12个机架，2个S55和1个E600能提供多大的通讯带宽？
shanshuilw 发表于 2013-2-28 16:13
RS690支持pci-e x16 理论上 可以直接上双万兆。。
现在 没有资料显示 龙3b的刀箱支持InfiniBand交换模 ...
RS 780，做超级计算机，大带宽桥片很重要。
RS690支持pci-e x16 理论上 可以直接上双万兆。。
现在 没有资料显示 龙3b的刀箱支持InfiniBand交换模 ...
RS 780，做超级计算机，大带宽桥片很重要。
shanshuilw 发表于 2013-2-28 16:13
RS690支持pci-e x16 理论上 可以直接上双万兆。。
现在 没有资料显示 龙3b的刀箱支持InfiniBand交换模 ...
你不能拿PCIE来算的，这是集群，要通过交换机通讯的。
RS690支持pci-e x16 理论上 可以直接上双万兆。。
现在 没有资料显示 龙3b的刀箱支持InfiniBand交换模 ...
你不能拿PCIE来算的，这是集群，要通过交换机通讯的。
壮东风 发表于 2013-2-28 16:22
你不能拿PCIE来算的，这是集群，要通过交换机通讯的。
主板通讯接口是PCIE吗？主要是节点CPU和节点CPU之间的通讯，水管效应
你不能拿PCIE来算的，这是集群，要通过交换机通讯的。
主板通讯接口是PCIE吗？主要是节点CPU和节点CPU之间的通讯，水管效应
壮东风 发表于 2013-2-28 16:22
你不能拿PCIE来算的，这是集群，要通过交换机通讯的。
我知道。。集群的话 就要看交换节点了。。个人是这么认为的。。
你不能拿PCIE来算的，这是集群，要通过交换机通讯的。
我知道。。集群的话 就要看交换节点了。。个人是这么认为的。。
花落庭院 发表于 2013-2-28 16:22
RS 780，做超级计算机，大带宽桥片很重要。
rs780跑超算 稳定性如何啊？？？
这个真心不敢说。。。
虽然 本菜这边的VM测试集群就是基于几台880G+FX
RS 780，做超级计算机，大带宽桥片很重要。
rs780跑超算 稳定性如何啊？？？
这个真心不敢说。。。
虽然 本菜这边的VM测试集群就是基于几台880G+FX
为什么神威蓝光的效率很NB，就是数据通讯做的非常好。跟小日本的京，桥片和通讯芯片成本非常高
花落庭院 发表于 2013-2-28 16:25
主板通讯接口是PCIE吗？主要是节点CPU和节点CPU之间的通讯，水管效应
分布式计算 按本菜的理解就是任务分发&结果上传。。任务分发节点与计算节点之间的通讯如果是基于龙3&目前已知的资料 只能通过千兆以太和我猜想的万兆以太了。。万兆以太的接口也就是PCI-E x16
不才拙见。。轻拍
主板通讯接口是PCIE吗？主要是节点CPU和节点CPU之间的通讯，水管效应
分布式计算 按本菜的理解就是任务分发&结果上传。。任务分发节点与计算节点之间的通讯如果是基于龙3&目前已知的资料 只能通过千兆以太和我猜想的万兆以太了。。万兆以太的接口也就是PCI-E x16
不才拙见。。轻拍
花落庭院 发表于 2013-2-28 16:25
主板通讯接口是PCIE吗？主要是节点CPU和节点CPU之间的通讯，水管效应
PCIE上面不是插网卡，网卡连交换机么？
机器之间只能这样通信，还有什么办法？
CPU和PCIE之间的速度再高，也受网络速度制约。
天河的强悍之处在于，搞出了高出infiband一个数量级的网络交换芯片，龙芯集群要做到天河的规模，也得用类似的技术。
主板通讯接口是PCIE吗？主要是节点CPU和节点CPU之间的通讯，水管效应
PCIE上面不是插网卡，网卡连交换机么？
机器之间只能这样通信，还有什么办法？
CPU和PCIE之间的速度再高，也受网络速度制约。
天河的强悍之处在于，搞出了高出infiband一个数量级的网络交换芯片，龙芯集群要做到天河的规模，也得用类似的技术。
壮东风 发表于 2013-2-28 16:37
PCIE上面不是插网卡，网卡连交换机么？
机器之间只能这样通信，还有什么办法？
CPU和PCIE之间的速度再高 ...
估计是这样的，所以水管处处都不能有瓶颈，PCIE 网络交换芯片带宽都要足够大，才能出高效率的超级计算机，神威那么大规模，效率只比单CPU下降不到1％吧，超NB了。估计只有日本的京有这么好的效率，都是成本堆的。所以我对龙芯3B的以太网芯片和RS780芯片组持怀疑
PCIE上面不是插网卡，网卡连交换机么？
机器之间只能这样通信，还有什么办法？
CPU和PCIE之间的速度再高 ...
估计是这样的，所以水管处处都不能有瓶颈，PCIE 网络交换芯片带宽都要足够大，才能出高效率的超级计算机，神威那么大规模，效率只比单CPU下降不到1％吧，超NB了。估计只有日本的京有这么好的效率，都是成本堆的。所以我对龙芯3B的以太网芯片和RS780芯片组持怀疑
花落庭院 发表于 2013-2-28 16:43
估计是这样的，所以水管处处都不能有瓶颈，PCIE 网络交换芯片带宽都要足够大，才能出高效率的超级计算机 ...
以太网只能小跑跑，RS780我倒觉得就本机而言，问题不大。
估计是这样的，所以水管处处都不能有瓶颈，PCIE 网络交换芯片带宽都要足够大，才能出高效率的超级计算机 ...
以太网只能小跑跑，RS780我倒觉得就本机而言，问题不大。
就跟CPU的总线通道一样，单处理器需要带宽比多核低，服务器CPU设计时考虑会比台式CPU总线带宽高，因为服务器需要CPU与CPU通讯。就象core 2的1066M总线和xeon的1333总线的区别。但是core 2和xeon测试多核数据通道。。。，单核测试数据都没有问题的。后面还要考虑北桥能提供的数据带宽。。。。。。
就跟CPU的总线通道一样，单处理器需要带宽比多核低，服务器CPU设计时考虑会比台式CPU总线带宽高，因为服务器需要CPU与CPU通讯。就象core 2的1066M总线和xeon的1333总线的区别。但是core 2和xeon测试多核数据通道。。。，单核测试数据都没有问题的。后面还要考虑北桥能提供的数据带宽。。。。。。
壮东风 发表于 2013-2-28 16:59
以太网只能小跑跑，RS780我倒觉得就本机而言，问题不大。
RS780需要提供给同主板两个CPU的通讯，还要给其他节点提供通讯带宽。就PCIEX16够吗？
壮东风 发表于 2013-2-28 16:59
以太网只能小跑跑，RS780我倒觉得就本机而言，问题不大。
RS780需要提供给同主板两个CPU的通讯，还要给其他节点提供通讯带宽。就PCIEX16够吗？
全部国产货？
花落庭院 发表于 2013-2-28 10:54
看看xeon phi SNB和龙芯3B的一些测试，3B的矩阵测试是24000X24000，xeon phi测试linpack的是26872X28762， ...
大大，可否略微解释一下呢？
谢谢哈！
看看xeon phi SNB和龙芯3B的一些测试，3B的矩阵测试是24000X24000，xeon phi测试linpack的是26872X28762， ...
大大，可否略微解释一下呢？
谢谢哈！
huizhouwater 发表于 2013-2-28 18:01
大大，可否略微解释一下呢？
谢谢哈！
都是单CPU浮点矩阵乘法测试，linpack的测试主体也是浮点矩阵乘法测试
大大，可否略微解释一下呢？
谢谢哈！
都是单CPU浮点矩阵乘法测试，linpack的测试主体也是浮点矩阵乘法测试
再来一个INTEL的矩阵乘法测试，X5690达到接近96％，E5－2690也接近94％
再来一个INTEL的矩阵乘法测试，X5690达到接近96％，E5－2690也接近94％
SNB处理器做的超级计算机，互联做的好的效率基本接近这个效率了，大概93％吧
而且从截图：龙芯3B的数据是通过DMA传输的，xeon phi SNB SW SPARC VIIX power 7等处理器是内存控制器传输，所以后面的处理器内存控制器带宽都很庞大！
说到内存控制器：来几张同是32nm工艺的内存控制器制造面积比较图：龙芯3B 芯片面积182.5mm2，SNB－EP 芯片面积435mm2， power 7＋芯片面积567mm2.