编写Python脚本来获取Google搜索结果的示例


Posted in Python onMay 04, 2015

前一段时间一直在研究如何用python抓取搜索引擎结果,在实现的过程中遇到了很多的问题,我把我遇到的问题都记录下来,希望以后遇到同样问题的童鞋不要再走弯路。

1. 搜索引擎的选取

选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种:Google、Bing、Baidu、Yahoo!。 作为程序员,我首选Google。但当我看见我最爱的Google返回给我的全是一堆的js代码,根本没我想要的搜索结果。于是我转而投向了Bing的阵营,在用过一段时间后我发现Bing返回的搜索结果对于我的问题来说不太理想。正当我要绝望时,Google拯救了我。原来Google为了照顾那些禁止浏览器使用js的用户,还有另外一种搜索方式,请看下面的搜索URL:

https://www.google.com.hk/search?hl=en&q=hello

hl指定要搜索的语言,q就是你要搜索的关键字。 好了,感谢Google,搜索结果页面包含我要抓取的内容。

PS: 网上很多利用python抓取Google搜索结果还是利用 https://ajax.googleapis.com/ajax/services/search/web... 的方法。需要注意的是这个方法Google已经不再推荐使用了,见 https://developers.google.com/web-search/docs/ 。Google现在提供了Custom Search API, 不过API限制每天100次请求,如果需要更多则只能花钱买。

2. Python抓取并分析网页

利用Python抓取网页很方便,不多说,见代码:

def search(self, queryStr):
   queryStr = urllib2.quote(queryStr)
   url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
   request = urllib2.Request(url)
   response = urllib2.urlopen(request)
   html = response.read()
   results = self.extractSearchResults(html)

第6行的 html 就是我们抓取的搜索结果页面源码。使用过Python的同学会发现,Python同时提供了urllib 和 urllib2两个模块,都是和URL请求相关的模块,不过提供了不同的功能,urllib只可以接收URL,而urllib2可以接受一个Request类的实例来设置URL请求的headers,这意味着你可以伪装你的user agent 等(下面会用到)。

现在我们已经可以用Python抓取网页并保存下来,接下来我们就可以从源码页面中抽取我们想要的搜索结果。Python提供了htmlparser模块,不过用起来相对比较麻烦,这里推荐一个很好用的网页分析包BeautifulSoup,关于BeautifulSoup的用法官网有详细的介绍,这里我不再多说。

利用上面的代码,对于少量的查询还比较OK,但如果要进行上千上万次的查询,上面的方法就不再有效了, Google会检测你请求的来源,如果我们利用机器频繁爬取Google的搜索结果,不多久就Google会block你的IP,并给你返回503 Error页面。这不是我们想要的结果,于是我们还要继续探索

前面提到利用urllib2我们可以设置URL请求的headers,  伪装我们的user agent。简单的说,user agent就是客户端浏览器等应用程序使用的一种特殊的网络协议, 在每次浏览器(邮件客户端/搜索引擎蜘蛛)进行 HTTP 请求时发送到服务器,服务器就知道了用户是使用什么浏览器(邮件客户端/搜索引擎蜘蛛)来访问的。 有时候为了达到一些目的,我们不得不去善意的欺骗服务器告诉它我不是在用机器访问你。

于是,我们的代码就成了下面这个样子:

user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \
     'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \
     'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \
     (KHTML, like Gecko) Element Browser 5.0', \
     'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \
     'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \
     'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \
     'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \
     Version/6.0 Mobile/10A5355d Safari/8536.25', \
     'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \
     Chrome/28.0.1468.0 Safari/537.36', \
     'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
 def search(self, queryStr):
   queryStr = urllib2.quote(queryStr)
   url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
   request = urllib2.Request(url)
   index = random.randint(0, 9)
   user_agent = user_agents[index]
   request.add_header('User-agent', user_agent)
   response = urllib2.urlopen(request)
   html = response.read()
   results = self.extractSearchResults(html)

不要被user_agents那个list吓到,那其实就是10个user agent 字符串,这么做是让我们伪装的更好一些,如果你需要更多的user agent 请看这里 UserAgentString。

17-19行表示随机选择一个user agent 字符串,然后用request 的add_header方法伪装一个user agent。

通过伪装user agent能够让我们持续抓取搜索引擎结果,如果这样还不行,那我建议在每两次查询间随机休眠一段时间,这样会影响抓取速度,但是能够让你更持续的抓取结果,如果你有多个IP,那抓取的速度也就上来了。

github上有本文所有源代码,需要的同学可从下面的网址下载:

https://github.com/meibenjin/GoogleSearchCrawler

Python 相关文章推荐
编写Python脚本批量下载DesktopNexus壁纸的教程
May 06 Python
Python实现的排列组合计算操作示例
Oct 13 Python
利用python将图片转换成excel文档格式
Dec 30 Python
Python模拟随机游走图形效果示例
Feb 06 Python
利用python库在局域网内传输文件的方法
Jun 04 Python
Python日期时间模块datetime详解与Python 日期时间的比较,计算实例代码
Sep 14 Python
python获取服务器响应cookie的实例
Dec 28 Python
python 同时读取多个文件的例子
Jul 16 Python
django model通过字典更新数据实例
Apr 01 Python
Python爬虫实现vip电影下载的示例代码
Apr 20 Python
Python第三方库安装缓慢的解决方法
Feb 06 Python
python非标准时间的转换
Jul 25 Python
编写Python脚本来实现最简单的FTP下载的教程
May 04 #Python
Python下线程之间的共享和释放示例
May 04 #Python
简单介绍Python中利用生成器实现的并发编程
May 04 #Python
简单分析Python中用fork()函数生成的子进程
May 04 #Python
python实现从字典中删除元素的方法
May 04 #Python
Python中利用原始套接字进行网络编程的示例
May 04 #Python
python通过索引遍历列表的方法
May 04 #Python
You might like
php求两个目录的相对路径示例(php获取相对路径)
2014/03/27 PHP
PHP获取一个字符串中间一部分字符的方法
2014/08/19 PHP
php合并数组中相同元素的方法
2014/11/13 PHP
php模仿asp Application对象在线人数统计实现方法
2015/01/04 PHP
ThinkPHP的SAE开发相关注意事项详解
2016/10/09 PHP
phpcms实现验证码替换及phpcms实现全站搜索功能教程详解
2017/12/13 PHP
php如何获取Http请求
2020/04/30 PHP
Avengerls vs Newbee BO3 第三场2.18
2021/03/10 DOTA
javascript实现左右控制无缝滚动
2014/12/31 Javascript
JS如何判断json是否为空
2016/07/06 Javascript
如何使用Vuex+Vue.js构建单页应用
2016/10/27 Javascript
微信小程序  Mustache语法详细介绍
2016/10/27 Javascript
js实现复选框的全选和取消全选效果
2017/01/03 Javascript
简单实现js拖拽效果
2017/07/25 Javascript
利用JS实现一个同Excel表现的智能填充算法
2018/08/13 Javascript
vue如何解决循环引用组件报错的问题
2018/09/22 Javascript
vue中更改数组中属性,在页面中不生效的解决方法
2019/10/30 Javascript
JS document文档的简单操作完整示例
2020/01/13 Javascript
jquery将信息遍历到界面上实例代码
2020/01/21 jQuery
uni-app实现获取验证码倒计时功能
2020/11/01 Javascript
[41:08]2014 DOTA2国际邀请赛中国区预选赛 HGT VS NE
2014/05/22 DOTA
[08:29]DOTA2每周TOP10 精彩击杀集锦vol.7
2014/06/25 DOTA
python with statement 进行文件操作指南
2014/08/22 Python
Python中声明只包含一个元素的元组数据方法
2014/08/25 Python
查看Python安装路径以及安装包路径小技巧
2015/04/28 Python
在Python的Flask框架中验证注册用户的Email的方法
2015/09/02 Python
Mac 上切换Python多版本
2017/06/17 Python
python去掉空白行的多种实现代码
2018/03/19 Python
python 同时运行多个程序的实例
2019/01/07 Python
python列表插入append(), extend(), insert()用法详解
2019/09/14 Python
python 三种方法提取pdf中的图片
2021/02/07 Python
英国电器零售商:PRC Direct
2018/06/21 全球购物
个人公开承诺书
2014/03/28 职场文书
企业法人授权委托书
2014/04/03 职场文书
流动人口婚育证明范本
2014/09/26 职场文书
党员学习型组织心得体会
2019/06/21 职场文书