江苏龙网

  1. 首页 > 生活 > >

Sun Grid Engine 和 hadoop 是啥关系

首先我也是刚听说这个，去官网了解一下，就我的了解SGE大致相当于Hadoop-YARN，多用于超级计算机集群的管理。Hadoop的最大贡献在于HDFS解决了，分布式文件系统，和Google的GFS一样。SGE好像没有强调这一点，而且超级计算机大多数都没有本地磁盘，可能也不需要文件系统管理吧。说白了就是不实用~
■网友
不够流行
■网友
sge是十多年前的东西了，最早是sun grid engine, 开源版本是grid engine。多用于格点计算，分布式计算。在超级计算机上很流行。适用于cpu密集程序的调度。他的设计是给了资源（节点，cpu，内存）你自己去用，sge不参与计算只做调度（启动进程，删除进程）。他的资源是按照核数来分的。但核数使用很难做到控制，全靠自觉，所以理论上你可以申请1个核跑满整个机器。一些商用版本可以对此做监控并删除，但sge做不到。后来sun被oracle收购了以后，sge开源版本就改成了son of grid engine。另外超级计算机也都是有本地磁盘的，无盘工作站那是网吧。但那块本地磁盘只存系统，很少存临时文件。程序运行过程中的中间文件都是存到共享的并行文件系统上。sge很少提只是因为你可能没用过超级计算机。
■网友
【Sun Grid Engine 和 hadoop 是啥关系】 我司大规模使用SGE（现在开源的叫UGE）啊，也不是什么超级计算机，就是计算能力比较高的计算机吧，其实这个不是必须的，就算你家里的计算机一样可以加入UGE作为一个节点的，我们主要用来跑nightly regression，大概2000台的规模，以前里面有HP， IBM， LINUX， SUN等等各种各样的机器，现在主要就剩Linux了（REDHAT，CentOS啥的），本地硬盘也有但是不大，基本上用NFS。和Yarn有点类似，但是Hahoop主要靠HDFS，Yarn的job也是MapReduce类型的，好像YARN又叫MRv2，而SGE和大数据无关，就是一个计算网格的资源调度，上面跑的就是一般的程序和脚本啥的，没有MAP也没有REDUCE


    推荐阅读


    上一篇：Linux的Hash能否在线Crack?

    下一篇：国内电商还有准入机会吗