Url统计，去重，啥算法比较高效
不存在某种算法，能一步到位地高效解决这个问题。原因如下：1.URL去重的实质，是对海量的数据，以强一致性的方式，要求超低延迟、超高性能的存取问题。2.这类问题非常不好解决，因为它是对计算机设备、算法、存储等的最前沿、最巨大的挑战。这类问题的基本解决方案只有3类：----（1）.更新、升级设备----（2）.根据需求细化流程，并且根据细化流程来优化算法，通过降低运算步骤、IO次数、IO量等来达到提高性能的目的----（3）.用降低性能或降低精确度的方法来提高性能。也就是说，你无论在哪里找到的何种设计或优化方案，皆属于以上3种类别中的一种或多种。3.URL去重，是这类问题的一个具体子问题。这个子问题，在上述3种方案里，可以衍生出很多子方案。比如：----针对方案1：通过使用内存、SSD等设备在随机访问上进行加速。----针对方案2：把不同网站的网址，分布到不同服务器上的不同库中，来避免去重的URL在全库中搜索。----针对方案3：使用诸如奇葩的Bloom Filter算法。4.以上3个方案里更多的方案例子，可以在知网里找到。但知网的水平比较差，他们往往喜欢追求某种小算法或小方案，却无法从大层面上看URL去重的实质，因此题主在知网里阅读论文时要随时注意这一点。比如，很多论文提到“纯物理内存无法处理海量的URL“，但这些人却没注意到当今服务器发展的进度，以及中国互联网发展的具体规模。
■网友
这个还要什么算法，一个脚本就搞定的事！
shell脚本：cat url.txt|sort|uniq -c|sort -nr
■网友
布隆过滤器啊。
■网友
【Url统计，去重，啥算法比较高效】 建立不同的表，对url进行分拣----\u0026gt;排序后的表进行判断----\u0026gt;插入表
推荐阅读
- 用EagleGet下载时总提示无效URL地址，无法下载，而用迅雷、QQ旋风则可以，咋回事~
- 创新经营|
- 木材|如皋海关助力进口木材大幅增长
- 友盟对于日活是怎么样统计的
- 怎样统计工程中未使用的java类
- 百度统计是否有统计页面上某个按钮被点击次数的功能
- 怎样看待南开大学成立人工智能学院‘统计与数据科学学院和网络空间安全学院
- Wordpress新版4.8.1设置-常规里面域名url不可以更换
- 天津海关|
- 来袭|今年有超40所高校已更名“改名潮”来袭？据不完全统计