Python3实现爬虫爬取赶集网列表功能【基于request和BeautifulSoup模块】


Posted in Python onDecember 05, 2018

本文实例讲述了Python3实现爬虫爬取赶集网列表功能。分享给大家供大家参考,具体如下:

python3爬虫之爬取赶集网列表。这几天一直在学习使用python3爬取数据,今天记录一下,代码很简单很容易上手。

首先需要安装python3。如果还没有安装,可参考本站前面关于python3安装与配置相关文章。

首先需要安装request和BeautifulSoup两个模块

request是Python的HTTP网络请求模块,使用Requests可以轻而易举的完成浏览器可有的任何操作

pip install requests

BeautifulSoup是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树

pip install beautifulsoup4

代码:

from urllib import request
from bs4 import BeautifulSoup
#构造头文件,模拟浏览器访问
url="http://xa.ganji.com/meirdjm/o2/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
page = request.Request(url,headers=headers)
# 发送请求,获取内容
page_info = request.urlopen(page).read().decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式,并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser')
# 查找所有a标签中class='list-info-title'
titles = soup.find_all('a',class_="list-info-title")
# 打印抓取到的title
for title in titles:
 print(title.string)

结果:

Python3实现爬虫爬取赶集网列表功能【基于request和BeautifulSoup模块】

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python新手经常遇到的17个错误分析
Jul 30 Python
Python设计足球联赛赛程表程序的思路与简单实现示例
Jun 28 Python
在win和Linux系统中python命令行运行的不同
Jul 03 Python
Python实现登录接口的示例代码
Jul 21 Python
Python实现简单生成验证码功能【基于random模块】
Feb 10 Python
Python3.5文件读与写操作经典实例详解
May 01 Python
python 多线程对post请求服务器测试并发的方法
Jun 13 Python
Python定时发送天气预报邮件代码实例
Sep 09 Python
Python面向对象原理与基础语法详解
Jan 02 Python
python Tensor和Array对比分析
Jan 08 Python
更新升级python和pip版本后不生效的问题解决
Apr 17 Python
Django websocket原理及功能实现代码
Nov 14 Python
对python opencv 添加文字 cv2.putText 的各参数介绍
Dec 05 #Python
Python寻找两个有序数组的中位数实例详解
Dec 05 #Python
解决Python下imread,imwrite不支持中文的问题
Dec 05 #Python
python批量下载网站马拉松照片的完整步骤
Dec 05 #Python
解决python3中cv2读取中文路径的问题
Dec 05 #Python
利用Python求阴影部分的面积实例代码
Dec 05 #Python
python之cv2与图像的载入、显示和保存实例
Dec 05 #Python
You might like
php 常用字符串函数总结
2008/03/15 PHP
注册页面之前先验证用户名是否存在的php代码
2012/07/14 PHP
WordPress特定文章对搜索引擎隐藏或只允许搜索引擎查看
2015/12/31 PHP
简单解析PHP程序的运行流程
2016/06/23 PHP
thinkphp ajaxfileupload实现异步上传图片的示例
2017/08/28 PHP
PHP工厂模式、单例模式与注册树模式实例详解
2019/06/03 PHP
[原创]用javascript实现检测指定目录是否存在的方法
2008/01/12 Javascript
javascript操作html控件实例(javascript添加html)
2013/12/02 Javascript
jquery无刷新验证邮箱地址实现实例
2014/02/19 Javascript
JS获取客户端IP地址、MAC和主机名的7个方法汇总
2014/07/21 Javascript
浅谈javascript中createElement事件
2014/12/05 Javascript
深入理解JavaScript系列(48):对象创建模式(下篇)
2015/03/04 Javascript
JavaScript数据结构与算法之栈与队列
2016/01/29 Javascript
jQuery ajax全局函数处理session过期后的ajax跳转问题
2016/06/03 Javascript
基于JS实现导航条flash导航条
2016/06/17 Javascript
JavaScript实现页面定时刷新(定时器,meta)
2016/10/12 Javascript
vue组件间通信子与父详解(二)
2017/11/07 Javascript
关于vue单文件中引用路径的处理方法
2018/01/08 Javascript
聊聊JS动画库 Velocity.js的使用
2018/03/13 Javascript
浅谈Angularjs中不同类型的双向数据绑定
2018/07/16 Javascript
简单了解vue.js数组的常用操作
2019/06/17 Javascript
浅谈layui 绑定form submit提交表单的注意事项
2019/10/25 Javascript
Jquery 获取相同NAME 或者id删除行操作
2020/08/24 jQuery
Python实现基于权重的随机数2种方法
2015/04/28 Python
python执行子进程实现进程间通信的方法
2015/06/02 Python
Python基础之getpass模块详细介绍
2017/08/10 Python
Python爬虫工程师面试问题总结
2018/03/22 Python
一条命令解决mac版本python IDLE不能输入中文问题
2018/05/15 Python
python实现kmp算法的实例代码
2019/04/03 Python
PyQt QListWidget修改列表项item的行高方法
2019/06/20 Python
在python Numpy中求向量和矩阵的范数实例
2019/08/26 Python
医院竞聘演讲稿
2014/05/16 职场文书
2015年派出所民警工作总结
2015/04/24 职场文书
2016继续教育研修日志
2015/11/13 职场文书
六年级上册《闻官军收河南河北》的教学设计
2019/11/15 职场文书
Redis实现主从复制方式(Master&Slave)
2022/06/21 Redis