使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例


Posted in Python onJanuary 19, 2014

熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。

#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃货 程序员"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
    a_click = result_table.find("a")
    print "-----标题----\n" + a_click.renderContents()#标题
    print "----链接----\n" + str(a_click.get("href"))#链接
    print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
    print
Python 相关文章推荐
Python 文件管理实例详解
Nov 10 Python
浅述python中argsort()函数的实例用法
Mar 30 Python
Python的SimpleHTTPServer模块用处及使用方法简介
Jan 22 Python
TensorFlow的权值更新方法
Jun 14 Python
python实现推箱子游戏
Mar 25 Python
numpy.where() 用法详解
May 27 Python
使用python对多个txt文件中的数据进行筛选的方法
Jul 10 Python
python PyQt5/Pyside2 按钮右击菜单实例代码
Aug 17 Python
Python捕获异常堆栈信息的几种方法(小结)
May 18 Python
python之随机数函数的实现示例
Dec 30 Python
Python 的 f-string 可以连接字符串与数字的原因解析
Feb 20 Python
分享python函数常见关键字
Apr 26 Python
压缩包密码破解示例分享(类似典破解)
Jan 17 #Python
vc6编写python扩展的方法分享
Jan 17 #Python
python的urllib模块显示下载进度示例
Jan 17 #Python
Python中for循环详解
Jan 17 #Python
python在命令行下使用google翻译(带语音)
Jan 16 #Python
python支持断点续传的多线程下载示例
Jan 16 #Python
python获得图片base64编码示例
Jan 16 #Python
You might like
PHP入门速成(2)
2006/10/09 PHP
PHP+DBM的同学录程序(2)
2006/10/09 PHP
php中取得URL的根域名的代码
2011/03/23 PHP
PHP页面间参数传递的四种方法详解
2013/06/09 PHP
php生成短域名函数
2015/03/23 PHP
php自定义函数实现二维数组排序功能
2016/07/20 PHP
PHP获取中国时间(上海时区时间)及美国时间的方法
2017/02/23 PHP
JAVASCRIPT style 中visibility和display之间的区别
2010/01/22 Javascript
Javascript中的window.event.keyCode使用介绍
2011/04/26 Javascript
让图片跳跃起来  javascript图片轮播特效
2016/02/16 Javascript
深入浅析JavaScript中的constructor
2016/04/19 Javascript
ionic2 tabs使用 Modal底部tab弹出框
2016/12/30 Javascript
Angualrjs和bootstrap相结合实现数据表格table
2017/03/30 Javascript
微信小程序实现左滑修改、删除功能
2020/10/19 Javascript
js canvas实现写字动画效果
2018/11/30 Javascript
vue实现分页加载效果
2019/12/24 Javascript
跟老齐学Python之用Python计算
2014/09/12 Python
python使用PIL模块实现给图片打水印的方法
2015/05/22 Python
Python 使用requests模块发送GET和POST请求的实现代码
2016/09/21 Python
Scrapy框架CrawlSpiders的介绍以及使用详解
2017/11/29 Python
python中format()函数的简单使用教程
2018/03/14 Python
浅谈python的深浅拷贝以及fromkeys的用法
2019/03/08 Python
Python实现通过解析域名获取ip地址的方法分析
2019/05/17 Python
python实现中文文本分句的例子
2019/07/15 Python
Win下PyInstaller 安装和使用教程
2019/12/25 Python
python列表推导和生成器表达式知识点总结
2020/01/10 Python
基于TensorBoard中graph模块图结构分析
2020/02/15 Python
详解django使用include无法跳转的解决方法
2020/03/19 Python
服务器端jupyter notebook映射到本地浏览器的操作
2020/04/14 Python
pycharm导入源码的具体步骤
2020/08/04 Python
Linux面试经常问的文件系统操作命令
2016/10/04 面试题
大三预备党员入党思想汇报
2014/01/08 职场文书
超市活动计划书
2014/04/24 职场文书
新员工实习期个人工作总结
2015/10/15 职场文书
2016毕业实习单位评语大全
2015/12/01 职场文书
eclipse创建项目没有dynamic web的解决方法
2021/06/24 Java/Android