我们用python urllib2做采集时候,为了防止对方网站很容易发现,我们一般都会用程序模拟header头过去,就好像是一个用户来访问采集的网站,这样不容易被屏蔽。在python的官方文档上写了怎么添加,还是有同学有疑问,今天写出来希望能够帮助大家。

先导入模块,然后添加相关的属性。

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]##浏览器的标示
opener.open('http://www.baidu.com/')

上面的浏览器的标示你可以换成其他的都行。

python视频教程

相关文章: