用python写爬虫简单吗


Posted in Python onJuly 28, 2020

所谓网络爬虫,通俗的讲,就是通过向我们需要的URL发出http请求,获取该URL对应的http报文主体内容,之后提取该报文主体中我们所需要的信息。

下面是一个简单的爬虫程序

http基本知识

当我们通过浏览器访问指定的URL时,需要遵守http协议。本节将介绍一些关于http的基础知识。

http基本流程

我们打开一个网页的过程,就是一次http请求的过程。这个过程中,我们自己的主机充当着客户机的作用,而充当客户端的是浏览器。我们输入的URL对应着网络中某台服务器上面的资源,服务器接收到客户端发出的http请求之后,会给客户端一个响应,响应的内容就是请求的URL对应的内容,当客户端接收到服务器的响应时,我们就可以在浏览器上看见请求的信息了。

我们可以通过python的requests模块很方便的发起http请求。requests模块是第三方模块,安装完成之后直接import就能使用。下面介绍一些简单的用法

发起请求

import requests
# 请求的首部信息
headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
  Chrome/65.0.3325.146 Safari/537.36'
}
# 例子的url
url = 'https://voice.hupu.com/nba' # 虎扑nba新闻
# 利用requests对象的get方法,对指定的url发起请求
# 该方法会返回一个Response对象
res = requests.get(url, headers=headers)
# 通过Response对象的text方法获取网页的文本信息
print(res.text)

上面的代码中,我们向虎扑的服务器发送了一个get请求,获取虎扑首页的nba新闻。headers参数指的是http请求的首部信息,我们请求的url对应的资源是虎扑nba新闻的首页。获取到对应的网页资源之后,我们需要对其中的信息进行提取。

通过BeautifulSoup提取网页信息

BeautifulSoup库提供了很多解析html的方法,可以帮助我们很方便地提取我们需要的内容。我们这里说的BeautifulSoup指的是bs4。当我们成功抓取网页之后,就可以通过BeautifulSoup对象对网页内容进行解析。在BeautifulSoup中,我们最常用的方法就是find()方法和find_all()方法,借助于这两个方法,可以轻松地获取到我们需要的标签或者标签组。关于其他的方法,可以参考bs4的官方文档:BeautifulSoup

find()方法和find_all()方法的用法如下

find(name , attrs , recursive , string , **kwargs )
# find_all()方法将返回文档中符合条件的所有tag,
find_all(name , attrs , recursive , string , **kwargs )
from bs4 import BeautifulSoup
# BeautifulSoup对象接收html文档字符串
# lxml是html解析器
soup = Beautiful(res.text, 'lxml')
# 下面的方法找出了所有class为hello的span标签
# 并将所有的结果都放入一个list返回
tags = soup.find_all('span', {'class': 'hello'})

实例扩展:

实例一:

#第一种方法
import urllib2 #将urllib2库引用进来
response=urllib2.urlopen("http://www.baidu.com") #调用库中的方法,将请求回应封装到response对象中
html=response.read() #调用response对象的read()方法,将回应字符串赋给hhtml变量
print html #打印出来

实例二:

#第二中方法
import urllib2
req=urllib2.Request("http://ww.baidu.com")
response=urllib2.urlopen(req)
html = response.read()
print html

到此这篇关于用python写爬虫简单吗的文章就介绍到这了,更多相关python写爬虫难吗内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python贪心算法实例小结
Apr 22 Python
python面试题Python2.x和Python3.x的区别
May 28 Python
如何通过python的fabric包完成代码上传部署
Jul 29 Python
Django使用Jinja2模板引擎的示例代码
Aug 09 Python
Python中PyQt5/PySide2的按钮控件使用实例
Aug 17 Python
使用Python实现 学生学籍管理系统
Nov 26 Python
Pytorch实现LSTM和GRU示例
Jan 14 Python
django 外键创建注意事项说明
May 20 Python
python和node.js生成当前时间戳的示例
Sep 29 Python
python实现在列表中查找某个元素的下标示例
Nov 16 Python
python 从list中随机取值的方法
Nov 16 Python
Python pandas读取CSV文件的注意事项(适合新手)
Jun 20 Python
公认8个效率最高的爬虫框架
Jul 28 #Python
python如何爬取网页中的文字
Jul 28 #Python
Python同时处理多个异常的方法
Jul 28 #Python
Python远程方法调用实现过程解析
Jul 28 #Python
Python 实现一个计时器
Jul 28 #Python
python爬虫要用到的库总结
Jul 28 #Python
Python常用类型转换实现代码实例
Jul 28 #Python
You might like
WINDOWS下php5.2.4+mysql6.0+apache2.2.4+ZendOptimizer-3.3.0配置
2008/03/28 PHP
PHP 学习路线与时间表
2010/02/21 PHP
基于MySQL到MongoDB简易对照表的详解
2013/06/03 PHP
PHP 解决session死锁的方法
2013/06/20 PHP
PHP识别二维码的方法(php-zbarcode安装与使用)
2016/07/07 PHP
验证坐标在某坐标区域内php代码
2016/10/08 PHP
php统计数组不同元素的个数的实例方法
2019/09/26 PHP
验证javascript中Object和Function的关系的三段简单代码
2010/06/27 Javascript
将文本输入框内容加入表中的js代码
2013/08/18 Javascript
原生javascript实现无间缝滚动示例
2014/01/28 Javascript
jquery下拉select控件操作方法分享(jquery操作select)
2014/03/25 Javascript
让JavaScript的Alert弹出框失效的方法禁止弹出警告框
2014/09/03 Javascript
javascript函数命名的三种方式及区别介绍
2016/03/22 Javascript
jQuery多个版本和其他js库冲突的解决方法
2016/08/11 Javascript
微信小程序 数据遍历的实现
2017/04/05 Javascript
Vue from-validate 表单验证的示例代码
2017/09/26 Javascript
微信小程序报错:this.setData is not a function的解决办法
2017/09/27 Javascript
vue中的watch监听数据变化及watch中各属性的详解
2018/09/11 Javascript
vue使用el-upload上传文件及Feign服务间传递文件的方法
2019/03/15 Javascript
JS常见内存泄漏及解决方案解析
2020/05/30 Javascript
使用Python的Dataframe取两列时间值相差一年的所有行方法
2018/07/10 Python
Python面向对象进阶学习
2019/05/21 Python
python向字符串中添加元素的实例方法
2019/06/28 Python
ubuntu 18.04 安装opencv3.4.5的教程(图解)
2019/11/04 Python
利用Pytorch实现简单的线性回归算法
2020/01/15 Python
python写文件时覆盖原来的实例方法
2020/07/22 Python
数学专业毕业生自荐信
2013/11/10 职场文书
酒店门卫岗位职责
2013/12/29 职场文书
高中政治教学反思
2014/01/18 职场文书
庆祝教师节活动方案
2014/01/31 职场文书
幼儿园五一活动方案
2014/02/07 职场文书
关爱残疾人演讲稿
2014/05/24 职场文书
督导岗位职责范本
2015/04/10 职场文书
五一晚会主持词
2015/07/01 职场文书
2016党校培训心得体会
2016/01/07 职场文书
Go语言基础知识点介绍
2021/07/04 Golang