有人做过搜索引擎吗，能对Heritrix和Nutch的性能及适用性做个比较分析么
这两个我都用过，都是通用搜索引擎爬虫，Heritrix的可定制性强点，有web管理界面使用起来也蛮方便的，可配置的参数很多，但代码复杂度也蛮高的，二次开发需要读懂他的设计思想。Nutch使用起来就蛮复杂的，一堆的设置，基于命令行的，不利于二次开发。我做的是垂直搜索与数据抓取，这些都不适合，最终还是选择自己开发了一个爬虫，一般来说，我们最终需要的都不是原始的HTML页面。我们需要对爬到的页面进行分析，将感兴趣的数据转化成结构化的数据，并存储下来，这才是爬虫的核心价值。
■网友
目前来说Java版本的是Lucene，一般可以考虑Solr+Lucene来实现分布式的可容灾的一个索引和检索的平台，如果数据量是海量级别，可参考Hadoop+Nutch实现，其他的开源技术框架有,Lily（solr+Hbase+hadoop），zoie(实时搜索引擎),Sphider (Sphider是一个轻量级，采用PHP开发的web spider和搜索引擎)。
■网友
用过NUTCH，但只用过其中的抓取部分，索引部分没有接触。在垂直抓取方面挺容易上手的，而且基于hadoop，稳定性以及易用性都还可以，基本上大数量抓取无忧。后面因为考虑到挖掘上的需要，以及抓取目标不特定，改用自己写的了。
推荐阅读
- 为啥没人做好KTV的UI
- 知乎上关于人生经验的介绍是否可能对青少年造成潜在危害
- 《亿万》第九集里，法官用的这个搜索引擎是啥
- AutoLab|硬件对标 BBA、智能对标特斯拉，零跑可能全看这部性价比之车了
- 有啥搜索引擎可以替代Google（外语）
- 能否在网页搜索中加入点赞机制，从而个性化搜索引擎
- 原谅我辣么肤浅，搜索引擎和分类信息网真的能相提并论吗
- 怎样评价百狗搜索引擎www.baigle.com和人肉搜索功能renrou.baigle.com?
- 杨致远当初是开发了搜索引擎还是只是一个导航网站
- 百度作为一家靠搜索引擎起家的公司，靠贩卖竞价排名获利，是否违反商业道德