怎样用scrapy爬取搜房网上小区的坐标值

打开 Chrome 开发者工具,然后看一下那个 api 接口,然后照着参数发请求就好了。 【怎样用scrapy爬取搜房网上小区的坐标值】 怎样用scrapy爬取搜房网上小区的坐标值


■网友
爬虫已经是爬动态网页内容为主流了。这个网页其实是特别好爬的,虽然经纬度是动态加载的,毕竟实实在在有这两个数字。如果想自己写程序,可以看我的专栏里面的开源爬虫爬动态网页的内容。如果懒得写程序,可以直接使用集搜客网络爬虫。一个网站,如果地图是第三方的,基本上经纬度是会在网页上出现的,就很容易爬。如果要爬百度地图上的搜索结果,就太难了,即使勉强把经纬度给算出来,那也很没有精度了。因为网页上没有这个数值,而是相对于地图瓦片的像素位置,要反算出来,得到的结果基本上没有意义了。如果需要各种地理位置信息,直接搜索 poi,把网络上分享出来的poi数据集下载下来很多,也有不小的量。


    推荐阅读