C#分析处理数据并做统计
https://gist.github.com/jdalthoff/3444669ixDbEz Source Codec# - Generate IP range from Start of IP address and count of IP Addresses算法 mapreduce或者使用bit map，根据你自己的机器资源情况来选择
■网友
谢邀，楼上的算法非常好。比我的高级多了我说说我的情况，当初小白一枚，有一次我是要搞分词，纯文本txt数据量大约有1G，编码也有问题，每一个文件还都要生成对应的分词文件，我就采用多线程与进程间通信转码加处理分词，把东西直接折腾进内存中，的确i/o是瓶颈，用的c++，大约5分钟搞定。我估计你要按我的做至少一个多小时。还是楼上的快。
■网友
换固态硬盘，多线程读取~
■网友
改用Powershell转存csv然后用Excel 2013 + PowerPivot处理
■网友
100个文件就用100个线程，每个线程处理32M，同步进行的话应该很快结束
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 济南垃圾处理单位“前分后混”将面临最高十万元罚款
- 联合国大数据全球平台中国区域中心在杭州成立
- 银行的数据中心可以跳槽去互联网公司吗
- 汽车知识|捷达库存成灾，特价处理，4S店卖不动，大家都不差钱！
- 想要入门图像处理，应该从哪本书看起
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- 学图像处理有哪些不错的书推荐
- 数据采集终端|
- 关于用phpfsocket 写Post， 模拟http 报文怎样写入要传输的处理数据