四、爬虫现状之前猪哥说过互联网中有超过50%的流量来自爬虫 ， 那我们就来简单聊聊目前爬虫的现状吧！
1.技术
反爬虫几乎和爬虫同时诞生 ， 它们是相爱相杀的连个技术 ， 如果没有爬虫就没有反扒 ， 而反扒技术又反过来又可以促进爬虫技术的发展 。
- 交互问题：各种变态的验证码充斥 ， 尤其是12306 ， 分分钟都想爆粗口 ， 以后会越来越变态 。。。
- js加密：最近很流行的一种反扒技术 ， 会爬虫还得先学js ， 然后反爬虫工程师在js里面各种投毒 ， 杀人诛心 。。。
- IP限制：限制单个ip某段时间内访问次数
文章插图
2.就业
就业的话主要从招聘、薪资、就业形势三个方面分析 ， 我从网上查阅了一些资料 ， 然后整理以图片形式提供给大家参考 。
文章插图
文章插图
文章插图
数据来源：职友集：https://dwz.cn/6PeU46QY
3.前景
现在很多人并不看好爬虫的前景 ， 只搞爬虫的话技术只停留在当前水平 ， 不再学习新知识 ， 不再进步的话 ， 那么是没有前途的 ， 总有一天会被时代淘汰 ， 其实其他职位也只如此 。
每个职业都是有一个横向和纵向的发展 ， 也就是所谓的广度和深度的意思 。第一、如果专研得够深 ， 你的爬虫功能很强大 ， 性能很高 ， 扩展性很好等等 ， 那么还是很有前途的 。第二、爬虫作为数据的来源 ， 后面还有很多方向可以发展 ， 比如可以往大数据分析、数据展示、机器学习等方面发展 ， 前途不可限量 ， 现在作为大数据时代 ， 你占据在数据的的入口 ， 还怕找不到发展方向？所以爬虫也许只是一个起点一个跳板 ， 是你走向人生巅峰的一个基石 ， 总有一天你会迎娶白富美！
文章插图
五、总结本期为大家讲解什么是爬虫、爬虫的价值、爬虫的合法性以及爬虫的现状
推荐阅读
- 深入了解 Token 认证的来龙去脉
- 计算机病毒是怎么进行传播？本文根据病毒分类带你了解传播的方式
- 健身|了解几个减肥基础常识，搞不懂，很难真正瘦下来！
- 非洲菊的风水作用你了解吗
- 网络安全：你真的了解防火墙吗？
- IaaS、PaaS、SaaS三种云服务模式，你了解多少？
- 12张图带你认识葡萄酒的正确姿势
- 4K 电视怎么选？带你一次看懂
- 一篇文章带你读懂中国六大茶
- 带你看正山小种茶采摘制作方法