10个python爬虫入门实例(小结)


Posted in Python onNovember 01, 2020

昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例

涉及主要知识点:

  1. web是如何交互的
  2. requests库的get、post函数的应用
  3. response对象的相关函数,属性
  4. python文件的打开,保存

代码中给出了注释,并且可以直接运行哦

如何安装requests库(安装好python的朋友可以直接参考,没有的,建议先装一哈python环境)

windows用户,Linux用户几乎一样:

打开cmd输入以下命令即可,如果python的环境在C盘的目录,会提示权限不够,只需以管理员方式运行cmd窗口

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

Linux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

1.爬取强大的BD页面,打印页面信息

# 第一个爬虫示例,爬取百度页面

import requests #导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://www.baidu.com") #生成一个response对象

response.encoding = response.apparent_encoding #设置编码格式

print("状态码:"+ str( response.status_code ) ) #打印状态码

print(response.text)#输出爬取的信息

2.常用方法之get方法实例,下面还有传参实例

# 第二个get方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://httpbin.org/get") #get方法

print( response.status_code ) #状态码

print( response.text )

3. 常用方法之post方法实例,下面还有传参实例

# 第三个 post方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.post("http://httpbin.org/post") #post方法访问

print( response.status_code ) #状态码

print( response.text )

4. put方法实例

# 第四个 put方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.put("http://httpbin.org/put") # put方法访问

print( response.status_code ) #状态码

print( response.text )

5.常用方法之get方法传参实例(1)

如果需要传多个参数只需要用&符号连接即可如下

# 第五个 get传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get传参

print( response.status_code ) #状态码

print( response.text )

6.常用方法之get方法传参实例(2)

params用字典可以传多个

# 第六个 get传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

data = {
	"name":"hezhi",
	"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get传参

print( response.status_code ) #状态码

print( response.text )

7.常用方法之post方法传参实例(2) 和上一个有没有很像

# 第七个 post传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post传参

print( response.status_code ) #状态码

print( response.text )

8.关于绕过反爬机制,以zh爸爸为例

# 第好几个方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get( "http://www.zhihu.com") #第一次访问知乎,不设置头部信息

print( "第一次,不设头部信息,状态码:"+response.status_code )# 没写headers,不能正常爬取,状态码不是 200

#下面是可以正常爬取的区别,更改了User-Agent字段

headers = {

		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

}#设置头部信息,伪装浏览器

response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法访问,传入headers参数,

print( response.status_code ) # 200!访问成功的状态码

print( response.text )

9.爬取信息并保存到本地,因为目录关系,在D盘建立了一个叫做爬虫的文件夹,然后保存信息

注意文件保存时的encoding设置

# 爬取一个html并保存

import requests

url = "http://www.baidu.com"

response = requests.get( url )

response.encoding = "utf-8" #设置接收编码格式

print("\nr的类型" + str( type(response) ) )

print("\n状态码是:" + str( response.status_code ) )

print("\n头部信息:" + str( response.headers ) )

print( "\n响应内容:" )

print( response.text )

#保存文件
file = open("D:\\爬虫\\baidu.html","w",encoding="utf") #打开一个文件,w是文件不存在则新建一个文件,这里不用wb是因为不用保存成二进制

file.write( response.text )

file.close()

10.爬取图片,保存到本地

#保存百度图片到本地

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到图片响应

file = open("D:\\爬虫\\baidu_logo.gif","wb") #打开一个文件,wb表示以二进制格式打开一个文件只用于写入

file.write(response.content) #写入文件

file.close()#关闭操作,运行完毕后去你的目录看一眼有没有保存成功

到此这篇关于10个python爬虫入门实例(小结)的文章就介绍到这了,更多相关python爬虫入门内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python发送邮件的实例代码(支持html、图片、附件)
Mar 04 Python
python通过ElementTree操作XML获取结点读取属性美化XML
Dec 02 Python
python更新列表的方法
Jul 28 Python
批处理与python代码混合编程的方法
May 19 Python
python九九乘法表的实例
Sep 26 Python
Pandas之drop_duplicates:去除重复项方法
Apr 18 Python
Python日志模块logging基本用法分析
Aug 23 Python
解决python字典对值(值为列表)赋值出现重复的问题
Jan 20 Python
python实现可变变量名方法详解
Jul 01 Python
Pytorch中accuracy和loss的计算知识点总结
Sep 10 Python
python海龟绘图之画国旗实例代码
Nov 11 Python
python之pygame模块实现飞机大战完整代码
Nov 29 Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
Nov 01 #Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 #Python
详解Anaconda安装tensorflow报错问题解决方法
Nov 01 #Python
python Cartopy的基础使用详解
Nov 01 #Python
Python中使用aiohttp模拟服务器出现错误问题及解决方法
Oct 31 #Python
关于python中导入文件到list的问题
Oct 31 #Python
python批量检查两个对应的txt文件的行数是否一致的实例代码
Oct 31 #Python
You might like
php中explode与split的区别介绍
2012/10/03 PHP
深入理解curl类,可用于模拟get,post和curl下载
2013/06/08 PHP
基于php常用函数总结(数组,字符串,时间,文件操作)
2013/06/27 PHP
PHP、Python和Javascript的装饰器模式对比
2015/02/03 PHP
php实现图片等比例缩放代码
2015/07/23 PHP
Yii框架弹出框功能示例
2017/01/07 PHP
javascript 面向对象编程 function也是类
2009/09/17 Javascript
jquery ajax 检测用户注册时用户名是否存在
2009/11/03 Javascript
javascript iframe编程相关代码
2009/12/28 Javascript
jquery实现心算练习代码
2010/12/06 Javascript
jquery EasyUI的formatter格式化函数代码
2011/01/12 Javascript
JavaScript实现GriwView单列全选(自写代码)
2013/05/13 Javascript
详解Vue中状态管理Vuex
2017/05/11 Javascript
在vue.js中抽出公共代码的方法示例
2017/06/08 Javascript
浅谈在vue项目中如何定义全局变量和全局函数
2017/10/24 Javascript
React Native基础入门之调试React Native应用的一小步
2018/07/02 Javascript
Layui Form 自定义验证的实例代码
2019/09/14 Javascript
JavaScript 实现HTML DOM增删改查操作的常见方法详解
2020/01/04 Javascript
jquery制作的移动端购物车效果完整示例
2020/02/24 jQuery
基于vue3.0.1beta搭建仿京东的电商H5项目
2020/05/06 Javascript
[02:56]DOTA2矮人直升机 英雄基础教程
2013/11/26 DOTA
Python字符串逐字符或逐词反转方法
2015/05/21 Python
Python使用sklearn实现的各种回归算法示例
2019/07/04 Python
Python pygame绘制文字制作滚动文字过程解析
2019/12/12 Python
python录音并调用百度语音识别接口的示例
2020/12/01 Python
Pycharm plot独立窗口显示的操作
2020/12/11 Python
在 Python 中使用 7zip 备份文件的操作
2020/12/11 Python
英国领先的男士美容护发用品公司:Mankind
2016/08/31 全球购物
大学生实习期自我评价范文
2013/10/03 职场文书
拓展培训心得体会
2014/01/04 职场文书
《雾凇》教学反思
2014/02/17 职场文书
实习协议书范本
2014/04/22 职场文书
体操比赛口号
2014/06/10 职场文书
个人四风问题对照检查材料
2014/09/26 职场文书
邀请函怎么写
2015/01/30 职场文书
投资公司董事长岗位职责
2015/04/16 职场文书