一个爬联系方式的爬虫该怎样选择数据库
因为要存储联系方式,可能过段时间会有新的联系方式出现,比如现在的微信号码等,且每个人的都不一样。这时候最好是使用schema free的系统。如果自己搭建系统的话,可以用ElasticSearch或者hbase。如果用云产品,直接用这个开放结构化数据服务OTS_海量数据存储
■网友
请教一下,联系方式如何防止被爬虫?
■网友
mysql
■网友
如JingSQ所说,这个场景用schema free的数据库比较好。20万条数据,mongodb单机就搞定了。如果数据规模大到几十亿条甚至更多的时候,用开放结构化数据服务OTS_海量数据存储。在这个规模上,你不会想自己运维hbase/cassandra等系统的。
推荐阅读
- 同比■同比增长7.1%!2021年的第一个节你花了多少钱?
- “他是我第一个会说普通话的老师”:一对师生折射青海山村蝶变
- 有必要重新开个C店吗
- 大学再有三个月就结束了,没学到知识,参加一个软件测试培训机构好吗
- 汽车|长安UNI-K又将开创一个新的"引力"纪元?
- 神话|武汉传奇父亲:一个平行班孩子创造的高考神话(感动上万家长)
- 王者荣耀李白能不能出肉
- 直播会成为品牌传播的另一个途径么有哪些可行的方法感觉有戏又没头绪好捉急。
- 怎样成为一名合格的Python程序员?
- 知乎有没有必要增加一个特别关注功能
