python： 判断网页的编码方式

2023年4月13日 108次阅读 来源: 随风化作雨

在学习Python爬取网页的时候，我们经常会遇到编码方式的困扰，为了解决这个编码方式的问题，首先是要获取网页的编码方式，下面就获取网页的编码方式重点说一下三种方法。

一， 使用urllib模块的getparam方法

>import urllib
>fopen1 = urllib.urlopen('http://www.baidu.com').info()
>print fopen1.getparam('charset')# baidu

二， 使用chardet模块

>import chardet 
>import urllib
>#先获取网页内容
>data1 = urllib.urlopen('http://www.baidu.com').read()
>#用chardet进行内容分析
>chardit1 = chardet.detect(data1)
>print chardit1['encoding'] # baidu

三， 利用BeautifulSoup模块方法

>from bs4 import BeautifulSoup
>import urllib2
>content=urllib2.urlopen(url)#这里url是你需要获取的网页
>soup=BeautifulSoup(content)
>print soup.original_encoding #这里的输出就是网页的编码方式
    原文作者：随风化作雨
    原文地址: https://www.jianshu.com/p/ed0379006082
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞