为啥同一个程序获取不同的url,有的是正常,有的却是乱码呢

据我的经验,第二张的网页编码为GB2312,而你用的是UTF8!嗯,一定是这样!
■网友
很明显是 gzip 压缩过了,而不是前面大家说的编码问题。一般编码错误的时候,页面整体结构还是可读的,只有非 ASCII 字符(中文)部分才会有乱码的现象。
■网友
一可能是乱码了,二可能是压缩了。请求的时候,把压缩选项关掉,试试。ps: curl 加上 --compressed 参数试下
■网友
因为不同网站的url 网页的编码不一样。看python培训黄哥的三篇文章 python开发爬虫汉字编码不再是问题: 将python2中汉字会出现乱码的事一次性说清楚 article/python_bianma.md at master · pythonpeixun/article · GitHubpython爬虫访问多个网站、中文编码的处理。 python爬虫访问多个网站、中文编码的处理。python3访问sina首页中文的处理 python3访问sina首页中文的处理


    推荐阅读