python urllib下载网页

时间:01-12 来源:老王python, 标签:python

很多简单的网页处理都可以用urllib这个标准库来处理,下面我分享下平时用到的关于urllib方面的内容: 1 如果你要在url请求里面放入中文,对相应的中文进行编码的话,可以用: urllib.quote('要编码的字符串') 2 如果你请求对方的网页,确不想被封IP的话,这个时候就要用到代理了,其实用urllib代理还是比较简单的:


proxies = {'http': '代理ip'}
opener = urllib.FancyURLopener(proxies)
f = opener.open("http://www.python.org")
f.read()

3 如果在GET需要一些参数的话,那我们需要对传入的参数进行编码。


params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
f = urllib.urlopen("http://www.xx.com/query?%s" % params)
print f.read()

想了解更多关于urllib方面的知识,可以多用用help命令来查看。或者查看urllib的官方手册。

老王python提供python基础教程,爬虫,seo工具,excel相关开发教程。

Copyright © 2020 www.cnpythoner.com All rights reserved. 赣ICP备19013357号-1基于python+django开发