如何查看网页的编码格式

最近在做爬虫的时候,发现部分网页爬出来的数据是乱码(网易新闻)。 搞了半天,最后发现网易新闻的编码格式是GBK不是UTF-8。 查看网页的编码格式的方法就是:

1、在网页按F12,打开开发者工具

2、在console 中输入“document.charset”查看页面编码,如下

》document.charset
》"UTF-8"

3、设置spider的编码格式

python

		req = requests.get(url)
        req.encoding="UTF-8"

参考网址:https://blog.csdn.net/DCFANS/article/details/90199487

    原文作者:devil8123665
    原文地址: https://blog.csdn.net/devil8123665/article/details/112794460
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞