江苏龙网

  1. 首页 > 生活 > >

怎样入门C#爬虫

上面的回答也是没什么营养啊。首先你要了解html的语法基础，然后其实主要是通过解析html来获取所需数据。对于http请求我比较推荐使用HttpClient，主要是简单，网上的介绍也比较多，就不赘述了。对于拿到的数据进行解析，这里通常会用到正则表达式，网上相关的内容也是多的一笔。然后就是循环了，一层层的爬过去？如果想优化，还可以忽略掉已经爬过的页面和无效的页面？恩，还有一个东西要特别注意，就是不要重复定义变量，因为我在刚开始学C#的时候就吃过这个亏。。。。这样会导致程序随着循环，越来越慢，最后就基本不动了。。。。
■网友
时隔一年的问题，不知道提主现在会了没？不管会不会，我先答了再说。。。。哈哈 —\u0026gt;_—\u0026gt;本小白刚学C#半年多，这几天刚在学着写爬虫，搞了将近三个礼拜了，也算有点心得，内容如有错误，请大牛们一定要指出来。要做C#爬虫，1、首先要弄懂爬虫的工作原理，而爬虫一般是模拟浏览器而获取网站数据的，也就是要理清浏览器工作的内部逻辑，搞清爬虫的整个流程；2、浏览器的内部逻辑涉及HTTP协议，Cookie等相关知识，做爬虫之前也有必要先了解HTTP协议方面的知识；3、做到前两步，相信你已经对HTTP的POST、GET，Cookie，SSL等相关东西有了一定了解，接着学会利用浏览器（IE、Google均可）的开发者工具查看POST和GET的数据报文，报头等信息4、开始敲代码吧。。。不管遇到什么问题，多逛逛大牛的技术博客，问问前辈，坚持下去，总有一天可以爬出来的（*^_^*）
■网友
前段时间我们写了一个玩具 很多都没实现 不过基本可以爬了题主可以看下Coding | 代码托管，项目管理，WebIDE，演示部署，开启云端开发模式，让开发更简单
■网友
【怎样入门C#爬虫】 说实话吧，如果你看过整个.NET的库，你就知道，你用C#做爬虫是不合适的
为什么这么说，C#天生就是一个牺牲效率的语言，不管微软把完成端口给封装得多好，不管把正则表达式的库搞得多牛B，不管把String弄得多溜，他就是一种牺牲效率的语言。做爬虫，要么数据量大，要么要求实时性高，在效率面前，这两项要求太高了。
但如果你真要用C#，那我推荐点利益相关的，我们家八爪鱼采集器，用户巨多，模板巨多，无需学习就会用的小白神器，就是用C#语言开发的爬虫工肯，欢迎来使用，那你会说，你们是如何解决效率问题，我们并没有解决效率问题，我们是用了新的办法，来解决问题。我们有独家专利，高速IO存储的云采集解决方案，可以来突破这一问题。另外，我们服务端也不是用C#做的。
怎样入门C#爬虫



■网友
可以下载一些爬虫软件，例如火车头、gooseeker、网络矿工之类的软件，学习一下怎样使用爬虫软件，体验一下爬虫是怎样运行的，在这个过程就会涉及到一些专业术语，通过学习爬虫软件慢慢了解爬虫原理，对你学习爬虫的编程原理有很大帮助的
■网友
收集目标网址、发送请求、分析response入库
■网友
你先把爬虫原理搞明白
■网友
建议你先培养兴趣，写爬虫先爬个有趣的东西再说，我认为写爬虫,python和go更合适


    推荐阅读


    上一篇：怎样从氨基酸顺序预测蛋白质功能

    下一篇：为啥QQ表情还不更新换代