要进行大规模机器学习方法进行垃圾邮件分类,应该用storm还是用spark?
这里涉及到实时机器学习的两个部分:1) 实时的应用。也就是说邮件来了,分个类2) 模型更新。也就是说,每隔一段时间,根据用户手动点是否垃圾邮件,新训练一个分类器。 Storm是event trigger的,也就是来一封邮件处理一次,中间还可以实现模块化的数据预处理等操作,所以适合1)里面的应用。Spark更类似于低延迟环境下的batch process,更适合2) 里面的应用。 怎么把两个东西连起来?一个快速的答案是,Spark MLLib 进行2), 训练好的模型导出成PMML格式,放到1)里面去。具体怎么做?当然是关注我个人账号,马上写的书就要讲到类似的问题啦。
■网友
麻烦问下,您邮件分类系统最后使用的storm吗?
■网友
朋友,我们在生产环境中是这样实现的。我们的数据量为每个小时3G, 真个推荐挖掘, 分类,聚类的算法。是跑在Storm当中的。我们做了2部分工作:1 重写了java 集合类。也就是借用Mahout 中间对jdk的重写Collection包2 重写了mahout mapreduce的源码,该为storm实现Spark目前还不成熟,无公司用他,除非你公司的项目是技术储备性质吧。生产环节还不足。
■网友
跟数据量有关,如果数据量不是很大的话,单机训练即可,不用分布式。如果是海量数据的话,用spark即可,storm未必适合迭代式训练。
推荐阅读
- 大连:金州主城区先进街道等5个街道严格进行封闭管控
- 乌鲁木齐再迎大规模降雪多个航班取消
- 试验■连徐高铁即将进行热滑试验
- |淮安市体育局推进行业信用体系建设
- 汽车|多项功能进行优化 吉利星瑞推出第二次FOTA升级
- 虹桥|文明创建进行时二(虹桥)
- 电话营销机器人哪个比较好用
- 怎样对别人的代码进行适当修改使他永远也找不到问题出在哪
- 请问有哪些机器人大赛是比较权威的
- 可不可能利用网盘的秒传功能使用伪造的MD5(或其他信息)值进行文件分享
