10个python爬虫入门实例(小结)


Posted in Python onNovember 01, 2020

昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例

涉及主要知识点:

  1. web是如何交互的
  2. requests库的get、post函数的应用
  3. response对象的相关函数,属性
  4. python文件的打开,保存

代码中给出了注释,并且可以直接运行哦

如何安装requests库(安装好python的朋友可以直接参考,没有的,建议先装一哈python环境)

windows用户,Linux用户几乎一样:

打开cmd输入以下命令即可,如果python的环境在C盘的目录,会提示权限不够,只需以管理员方式运行cmd窗口

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

Linux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

1.爬取强大的BD页面,打印页面信息

# 第一个爬虫示例,爬取百度页面

import requests #导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://www.baidu.com") #生成一个response对象

response.encoding = response.apparent_encoding #设置编码格式

print("状态码:"+ str( response.status_code ) ) #打印状态码

print(response.text)#输出爬取的信息

2.常用方法之get方法实例,下面还有传参实例

# 第二个get方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://httpbin.org/get") #get方法

print( response.status_code ) #状态码

print( response.text )

3. 常用方法之post方法实例,下面还有传参实例

# 第三个 post方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.post("http://httpbin.org/post") #post方法访问

print( response.status_code ) #状态码

print( response.text )

4. put方法实例

# 第四个 put方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.put("http://httpbin.org/put") # put方法访问

print( response.status_code ) #状态码

print( response.text )

5.常用方法之get方法传参实例(1)

如果需要传多个参数只需要用&符号连接即可如下

# 第五个 get传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get传参

print( response.status_code ) #状态码

print( response.text )

6.常用方法之get方法传参实例(2)

params用字典可以传多个

# 第六个 get传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

data = {
	"name":"hezhi",
	"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get传参

print( response.status_code ) #状态码

print( response.text )

7.常用方法之post方法传参实例(2) 和上一个有没有很像

# 第七个 post传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post传参

print( response.status_code ) #状态码

print( response.text )

8.关于绕过反爬机制,以zh爸爸为例

# 第好几个方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get( "http://www.zhihu.com") #第一次访问知乎,不设置头部信息

print( "第一次,不设头部信息,状态码:"+response.status_code )# 没写headers,不能正常爬取,状态码不是 200

#下面是可以正常爬取的区别,更改了User-Agent字段

headers = {

		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

}#设置头部信息,伪装浏览器

response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法访问,传入headers参数,

print( response.status_code ) # 200!访问成功的状态码

print( response.text )

9.爬取信息并保存到本地,因为目录关系,在D盘建立了一个叫做爬虫的文件夹,然后保存信息

注意文件保存时的encoding设置

# 爬取一个html并保存

import requests

url = "http://www.baidu.com"

response = requests.get( url )

response.encoding = "utf-8" #设置接收编码格式

print("\nr的类型" + str( type(response) ) )

print("\n状态码是:" + str( response.status_code ) )

print("\n头部信息:" + str( response.headers ) )

print( "\n响应内容:" )

print( response.text )

#保存文件
file = open("D:\\爬虫\\baidu.html","w",encoding="utf") #打开一个文件,w是文件不存在则新建一个文件,这里不用wb是因为不用保存成二进制

file.write( response.text )

file.close()

10.爬取图片,保存到本地

#保存百度图片到本地

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到图片响应

file = open("D:\\爬虫\\baidu_logo.gif","wb") #打开一个文件,wb表示以二进制格式打开一个文件只用于写入

file.write(response.content) #写入文件

file.close()#关闭操作,运行完毕后去你的目录看一眼有没有保存成功

到此这篇关于10个python爬虫入门实例(小结)的文章就介绍到这了,更多相关python爬虫入门内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
wxpython中Textctrl回车事件无效的解决方法
Jul 21 Python
Python如何判断数独是否合法
Sep 08 Python
Linux 下 Python 实现按任意键退出的实现方法
Sep 25 Python
Python实现PS滤镜功能之波浪特效示例
Jan 26 Python
python用post访问restful服务接口的方法
Dec 07 Python
Python语言快速上手学习方法
Dec 14 Python
Django web框架使用url path name详解
Apr 29 Python
纯python进行矩阵的相乘运算的方法示例
Jul 17 Python
python GUI库图形界面开发之PyQt5 Qt Designer工具(Qt设计师)详细使用方法及Designer ui文件转py文件方法
Feb 26 Python
Pycharm如何运行.py文件的方法步骤
Mar 03 Python
关于Python 中的时间处理包datetime和arrow的方法详解
Mar 19 Python
浅谈pytorch中的BN层的注意事项
Jun 23 Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
Nov 01 #Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 #Python
详解Anaconda安装tensorflow报错问题解决方法
Nov 01 #Python
python Cartopy的基础使用详解
Nov 01 #Python
Python中使用aiohttp模拟服务器出现错误问题及解决方法
Oct 31 #Python
关于python中导入文件到list的问题
Oct 31 #Python
python批量检查两个对应的txt文件的行数是否一致的实例代码
Oct 31 #Python
You might like
php自动加载的两种实现方法
2010/06/21 PHP
PHP中=赋值操作符对不同数据类型的不同行为
2011/01/02 PHP
关于svn冲突的解决方法
2013/06/21 PHP
PHP使用json_encode函数时不转义中文的解决方法
2014/11/12 PHP
浅析php创建者模式
2014/11/25 PHP
PHP实现求解最长公共子串问题的方法
2017/11/17 PHP
javascript得到XML某节点的子节点个数的脚本
2008/10/11 Javascript
js弹出div并显示遮罩层
2014/02/12 Javascript
html+js实现简单的计算器代码(加减乘除)
2016/07/12 Javascript
JS中动态创建元素的三种方法总结(推荐)
2016/10/20 Javascript
JS实现点击网页判断是否安装app并打开否则跳转app store
2016/11/18 Javascript
JavaScript变量类型以及变量作用域详解
2017/08/14 Javascript
vue router demo详解
2017/10/13 Javascript
Vue进度条progressbar组件功能
2018/04/17 Javascript
vue如何使用async、await实现同步请求
2019/12/09 Javascript
python实现探测socket和web服务示例
2014/03/28 Python
Python实现栈的方法
2015/05/26 Python
Python中flatten( )函数及函数用法详解
2018/11/02 Python
对python cv2批量灰度图片并保存的实例讲解
2018/11/09 Python
Django之模板层的实现代码
2019/09/09 Python
基于python实现语音录入识别代码实例
2020/01/17 Python
Python如何转换字符串大小写
2020/06/04 Python
使用Python实现NBA球员数据查询小程序功能
2020/11/09 Python
Python命令行参数argv和argparse该如何使用
2021/02/08 Python
浅析CSS3 中的 transition,transform,translate之间区别和作用
2020/03/26 HTML / CSS
在weblogic中发布ejb需涉及到哪些配置文件
2012/01/17 面试题
sleep()方法和wait()方法的区别是什么
2012/11/17 面试题
物流管理专业大学生自荐信
2013/10/04 职场文书
服装设计行业个人的自我评价
2013/12/20 职场文书
工作会议欢迎词
2014/01/16 职场文书
怀念母亲教学反思
2014/04/28 职场文书
物业消防安全责任书
2014/07/23 职场文书
党委干部批评与自我批评发言稿
2014/09/28 职场文书
失职检讨书大全
2015/01/26 职场文书
nginx 多个location转发任意请求或访问静态资源文件的实现
2021/03/31 Servers
python 对图片进行简单的处理
2021/06/23 Python