大数据从cosmos入门是否可行
我每周都要在cosmos上面跑数据,这是内部在生产环境跑了多年的系统,质量有保障,在vs里面通过scope提交任务不要太方便,很贴心,个人感受最深的是:1)任务设置优先级之后,资源的使用可以明显感觉到这个优先级设置是真正有效的;2)多个vc配置,适合大规模任务跑起来互相干扰更少,权限配置秒Hadoop三条街,3)界面工具很方便,这是企业级工具完善多年之后比开源强的地方,基本上你需要的它都已经在那里了,如果没在那里,你首先需要考虑自己的需求是否正常合理;4)速度效率与Hadoop差不多,没有发现明显的性能优劣势,没有机会用同样的数据集跑过,无法给出具体对比经验,但是cosmos的资源管理似乎比yarn好很多,5)我们还有一个Hadoop集群规模较小,节点数只有两位数,hp 580G8满配,任务少的时候性能逆天,一旦任务多了,就比蜗牛还慢,cosmos在这方面要好很多,虽然也是慢6)win平台大数据,这也许是唯一真正堪大用者;7)最大的弱势,用户群少,出了问题几乎没有详尽的文档社区讨论可以参考,如果在生产环境使用,需要拥有一颗强大的内心
■网友
cosmos跟map reduce就像C++比C语言,你用cosmos来学习mapreduce就大炮打蚊子了,不过大数据由不一定非得是mapreduce是吧,所以没关系,反正现在mapreduce也不吹了。
■网友
这个问题取决于你想要学什么。大数据有很多方面,大致上我觉得有三个不同的方面1.大数据系统内部是怎么实现的,Cosmos你能接触到,估计源代码也能看到,但是不好入门,Hadoop的源代码很多也可以看。2.怎么去搭一个可以工作的大数据系统,这个我觉得Hadoop系统有天然优势,Cosmos的部署要复杂太多,也不适用于大部分人去学习。3.利用一个大数据系统去做实际的事情。这个方面来说我觉得Cosmos的确还是有它的优势,容易上手,更灵活一些。如果你在微软,主要的有意义的数据都保存在cosmos里面,不从Cosmos上手还是有难度。
■网友
谢谢楼主的邀请,不过本人对这方面不了解,没什么经验可谈,实在不好意思。
■网友
从hadoop 入手也未尝不可嘛。可以自己搭建集群,有问题社区也可以及时解决。工具不是关键,关键在于处理数据的方法和思路。
■网友
如果题主准备以后去微软工作就可行,否则还是学Hadoop/Hive比较现实。或者直接学Spark。
■网友
微软之外难道真的有公司在用cosmos+Scope?个人感觉Scope这种C# style的语言看起来很舒服,也不用太纠结什么字面上的Map还是Reduce,反正简单来说Map不就是SELECT、Reduce不就是GroupBy么。。。缺点就是如其他人所说文档太少,出问题没地方问。。。
■网友
只说一句,同时学习理论和实践不冲突啊再说一句,楼主加油
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 联合国大数据全球平台中国区域中心在杭州成立
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- 上海或苏州有没有比较好的大数据培训机构
- 能源|苏州工业园区率先建成城市区域级能源大数据中心
- 27岁硕士女青年,想培训班转行IT大数据,能试吗
- 马云说的大数据时代到底是,用到啥技术,如果想要学习大数据技术,要学习哪些基础的东西要先会编程么
- 贵州对于大数据有哪些方面的地域优势为啥都是贵州呢
- 对大数据专业的本科生有啥建议
- 大数据|泰州医药高新区借力“大数据”提升警务实战效能
