Python基于BeautifulSoup和requests实现的爬虫功能示例


Posted in Python onAugust 02, 2019

本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考,具体如下:

爬取的目标网页:http://www.qianlima.com/zb/area_305/

Python基于BeautifulSoup和requests实现的爬虫功能示例

这是一个招投标网站,我们使用python脚本爬取红框中的信息,包括链接网址、链接名称、时间等三项内容。

使用到的Python库:BeautifulSoup、requests

代码如下:

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#连接
content = r.text#获取内容,自动转码unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
 print tag.get('href')
 print tag.string
 print tag.next_element.next_element.string

运行结果如下

Python基于BeautifulSoup和requests实现的爬虫功能示例

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
详解Python中with语句的用法
Apr 15 Python
用Python编写一个基于终端的实现翻译的脚本
Apr 24 Python
在Python中通过threading模块定义和调用线程的方法
Jul 12 Python
windows下Python实现将pdf文件转化为png格式图片的方法
Jul 21 Python
基于Python实现的ID3决策树功能示例
Jan 02 Python
python实现画五角星和螺旋线的示例
Jan 20 Python
如何使用Python自动控制windows桌面
Jul 11 Python
python pillow模块使用方法详解
Aug 30 Python
Python使用random模块生成随机数操作实例详解
Sep 17 Python
Python图片的横坐标汉字实例
Dec 04 Python
python实现俄罗斯方块游戏(改进版)
Mar 13 Python
Django实现翻页的示例代码
May 24 Python
详解pandas DataFrame的查询方法(loc,iloc,at,iat,ix的用法和区别)
Aug 02 #Python
pandas DataFrame创建方法的方式
Aug 02 #Python
django项目环境搭建及在虚拟机本地创建django项目的教程
Aug 02 #Python
Django缓存系统实现过程解析
Aug 02 #Python
tensor和numpy的互相转换的实现示例
Aug 02 #Python
Django文件存储 自己定制存储系统解析
Aug 02 #Python
使用pycharm在本地开发并实时同步到服务器
Aug 02 #Python
You might like
PHP获取MAC地址的函数代码
2011/09/11 PHP
php无限遍历文件夹示例分享
2014/03/04 PHP
Codeigniter购物车类不能添加中文的解决方法
2014/11/29 PHP
php操作(删除,提取,增加)zip文件方法详解
2015/03/12 PHP
php实现数组纵向转横向并过滤重复值的方法分析
2017/05/29 PHP
PHP基于方差和标准差计算学生成绩的稳定性示例
2017/07/04 PHP
PHP 断点续传实例详解
2017/11/11 PHP
ThinkPHP框架整合微信支付之Native 扫码支付模式一图文详解
2019/04/09 PHP
JQuery获取浏览器窗口内容部分高度的代码
2012/02/24 Javascript
Node.js生成HttpStatusCode辅助类发布到npm
2013/04/09 Javascript
JS中怎样判断undefined(比较不错的方法)
2014/03/27 Javascript
Jquery 点击按钮自动高亮实现原理及代码
2014/04/25 Javascript
灵活的理解JavaScript中的this指向
2016/02/25 Javascript
详解Javascript中的原型OOP
2016/10/12 Javascript
Vue.JS入门教程之处理表单
2016/12/01 Javascript
基于Vue的移动端图片裁剪组件功能
2017/11/28 Javascript
Vue cli 引入第三方JS和CSS的常用方法分享
2018/01/20 Javascript
js数组中去除重复值的几种方法
2020/08/03 Javascript
微信小程序抽奖组件的使用步骤
2021/01/11 Javascript
[03:03]DOTA2校园争霸赛 济南城市决赛欢乐发奖活动
2013/10/21 DOTA
python进程管理工具supervisor使用实例
2014/09/17 Python
Python入门篇之字符串
2014/10/17 Python
Python中Continue语句的用法的举例详解
2015/05/14 Python
python 实现对文件夹内的文件排序编号
2018/04/12 Python
django2.0扩展用户字段示例
2019/02/13 Python
python实现字符串完美拆分split()的方法
2019/07/16 Python
python实现网站用户名密码自动登录功能
2019/08/09 Python
django自带的权限管理Permission用法说明
2020/05/13 Python
pytorch随机采样操作SubsetRandomSampler()
2020/07/07 Python
CSS3 实现倒计时效果
2020/11/25 HTML / CSS
一款利用html5和css3动画排列人物头像的实例演示
2014/12/05 HTML / CSS
美国奢侈品购物平台:Orchard Mile
2018/05/02 全球购物
SCDKey德国:全球领先的数字游戏市场
2019/04/09 全球购物
党员公开承诺书内容
2014/05/20 职场文书
党员组织生活会发言材料
2014/10/17 职场文书
教师网络培训心得体会
2016/01/09 职场文书