这段时间在用python处理网页抓取这块,互联网很多网页的编码格式都不一样,大体上是GBK,GB2312,UTF-8,等待。我们在获取
网页的的数据后,先要对网页的编码进行判断,才能把抓取的内容的编码统一转换为我们能够处理的编码。比如beautiful soup内部的编码就是unicode的编码。

下面介绍两种python 判断网页编码的方法:
1 import urllib
f = urllib.urlopen('http://xxx.com').info()

print f.getparam('charset')

2 import chardet 你需要安装一下chardet第3方判断编码的模块

data = urllib.urlopen('http://xxx.com').read()

print chardet.detect(data)

希望对你有帮助:)

想要了解python解决抓取中文网页乱码通用方法,可以看下

python视频教程

上一篇:  python列表相加  下一篇:  mechanize自动登录程序