一个入门级python爬虫教程详解


Posted in Python onJanuary 27, 2021

前言

本文目的:根据本人的习惯与理解,用最简洁的表述,介绍爬虫的定义、组成部分、爬取流程,并讲解示例代码。

基础

爬虫的定义:定向抓取互联网内容(大部分为网页)、并进行自动化数据处理的程序。主要用于对松散的海量信息进行收集和结构化处理,为数据分析和挖掘提供原材料。

今日t条就是一只巨大的“爬虫”。

爬虫由URL库、采集器、解析器组成。

流程

如果待爬取的url库不为空,采集器会自动爬取相关内容,并将结果给到解析器,解析器提取目标内容后进行写入文件或入库等操作。

一个入门级python爬虫教程详解

代码

第一步:写一个采集器

如下是一个比较简单的采集器函数。需要用到requests库。
首先,构造一个http的header,里面有浏览器和操作系统等信息。如果没有这个伪造的header,可能会被目标网站的WAF等防护设备识别为机器代码并干掉。

然后,用requests库的get方法获取url内容。如果http响应代码是200 ok,说明页面访问正常,将该函数返回值设置为文本形式的html代码内容。

如果响应代码不是200 ok,说明页面不能正常访问,将函数返回值设置为特殊字符串或代码。

import requests

def get_page(url):
	headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}
	response = requests.get(url, headers= headers)
	if response.status_code == 200:
	  return response.text
	else:
		return 'GET HTML ERROR !'

第二步:解析器

解析器的作用是对采集器返回的html代码进行过滤筛选,提取需要的内容。
作为一个14年忠实用户,当然要用豆瓣举个栗子 _

我们计划爬取豆瓣排名TOP250电影的8个参数:排名、电影url链接、电影名称、导演、上映年份、国家、影片类型、评分。整理成字典并写入文本文件。

待爬取的页面如下,每个页面包括25部电影,共计10个页面。

一个入门级python爬虫教程详解

在这里,必须要表扬豆瓣的前端工程师们,html标签排版非常工整具有层次,非常便于信息提取。

下面是“肖申克的救赎”所对应的html代码:(需要提取的8个参数用红线标注)

一个入门级python爬虫教程详解

根据上面的html编写解析器函数,提取8个字段。该函数返回值是一个可迭代的序列。
我个人喜欢用re(正则表达式)提取内容。8个(.*?)分别对应需要提取的字段。

import re

def parse_page(html):
	pattern = re.compile('<em class="">(.*?)</em>.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" >.*?<span class="title">(.*?)</span>.*?<div class="bd">.*?<p class="">(.*?) .*?<br>(.*?) / (.*?) / (.*?)</p>.*?<span class="rating_num".*?"v:average">(.*?)</span>' , re.S)
	items = re.findall(pattern , html)
	for item in items:
		yield {
		  'rank': item[0],
		  'href': item[1],
		  'name': item[2],
		  'director': item[3].strip()[4:],
		  'year': item[4].strip(),
		  'country': item[5].strip(),
		  'style': item[6].strip(),
		  'score': item[7].strip()
		}

提取后的内容如下:

一个入门级python爬虫教程详解

整理成完整的代码:(暂不考虑容错)

import requests
import re
import json

def get_page(url):
	#采集器函数
	headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}
	response = requests.get(url, headers= headers)
	if response.status_code == 200:
	  return response.text
	else:
		return 'GET HTML ERROR ! '


def parse_page(html):
	#解析器函数
	pattern = re.compile('<em class="">(.*?)</em>.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" >.*?<span class="title">(.*?)</span>.*?<div class="bd">.*?<p class="">(.*?) .*?<br>(.*?) / (.*?) / (.*?)</p>.*?<span class="rating_num".*?"v:average">(.*?)</span>' , re.S)
	items = re.findall(pattern , html)
	for item in items:
		yield {
		  'rank': item[0],
		  'href': item[1],
		  'name': item[2],
		  'director': item[3].strip()[4:],
		  'year': item[4].strip(),
		  'country': item[5].strip(),
		  'style': item[6].strip(),
		  'score': item[7].strip()
		}


def write_to_file(content):
	#写入文件函数
	with open('result.txt' , 'a' , encoding = 'utf-8') as file:
		file.write(json.dumps(content , ensure_ascii = False) + '\n')


if __name__== "__main__":
	# 主程序
	for i in range(10):
		url= 'https://movie.douban.com/top250?start='+ str(i*25)+ '&filter'
		for res in parse_page(get_page(url)):
			write_to_file(res)

非常简洁,非常符合python简单、高效的特点。

说明:

需要掌握待爬取url的规律,才能利用for循环等操作自动化处理。
前25部影片的url是https://movie.douban.com/top250?start=0&filter,第26-50部影片url是https://movie.douban.com/top250?start=25&filter。规律就在start参数,将start依次设置为0、25、50、75。。。225,就能获取所有页面的链接。parse_page函数的返回值是一个可迭代序列,可以理解为字典的集合。运行完成后,会在程序同目录生成result.txt文件。内容如下:

一个入门级python爬虫教程详解 

到此这篇关于一个入门级python爬虫教程详解的文章就介绍到这了,更多相关python爬虫入门教程内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
简单介绍Python中的JSON模块
Apr 08 Python
Python中一些自然语言工具的使用的入门教程
Apr 13 Python
python中实现数组和列表读取一列的方法
Apr 03 Python
django之跨表查询及添加记录的示例代码
Oct 16 Python
python3 爬取图片的实例代码
Nov 06 Python
Python应用领域和就业形势分析总结
May 14 Python
python中的global关键字的使用方法
Aug 20 Python
Flask框架路由和视图用法实例分析
Nov 07 Python
python构建指数平滑预测模型示例
Nov 21 Python
浅谈Python的方法解析顺序(MRO)
Mar 05 Python
python如何安装下载后的模块
Jul 03 Python
Python学习之time模块的基本使用
Jan 17 Python
python+selenium爬取微博热搜存入Mysql的实现方法
Jan 27 #Python
Python实现网络聊天室的示例代码(支持多人聊天与私聊)
Jan 27 #Python
基于Python的接口自动化unittest测试框架和ddt数据驱动详解
Jan 27 #Python
python实现scrapy爬虫每天定时抓取数据的示例代码
Jan 27 #Python
使用bandit对目标python代码进行安全函数扫描的案例分析
Jan 27 #Python
用Python实现定时备份Mongodb数据并上传到FTP服务器
Jan 27 #Python
python re.match()用法相关示例
Jan 27 #Python
You might like
国内咖啡文化
2021/03/03 咖啡文化
由php的call_user_func传reference引发的思考
2010/07/23 PHP
PHP的error_reporting错误级别变量对照表
2014/07/08 PHP
php+jQuery.uploadify实现文件上传教程
2014/12/26 PHP
input+select(multiple) 实现下拉框输入值
2009/05/21 Javascript
javascript xml为数据源的下拉框控件
2009/07/07 Javascript
用js实现的自定义的对话框的实现代码
2010/03/21 Javascript
jQuery中的val()示例应用
2014/02/26 Javascript
jquery分页插件jpaginate在IE中不兼容问题
2014/04/22 Javascript
javascript数组去重方法分析
2016/12/15 Javascript
nodejs入门教程五:连接数据库的方法分析
2017/04/24 NodeJs
JS创建Tag标签的方法详解
2017/06/09 Javascript
JavaScript实现三级联动效果
2017/07/15 Javascript
使用webpack搭建react开发环境的方法
2018/05/15 Javascript
webpack常用配置总览(小结)
2019/11/18 Javascript
js blob类型url的视频下载问题的解决
2019/11/29 Javascript
vue 内联样式style中的background用法说明
2020/08/05 Javascript
Django中针对基于类的视图添加csrf_exempt实例代码
2018/02/11 Python
解决python 输出是省略号的问题
2018/04/19 Python
python 用正则表达式筛选文本信息的实例
2018/06/05 Python
python 调用有道api接口的方法
2019/01/03 Python
python对绑定事件的鼠标、按键的判断实例
2019/07/17 Python
python实现登录密码重置简易操作代码
2019/08/14 Python
基于Python获取城市近7天天气预报
2019/11/26 Python
Pycharm 解决自动格式化冲突的设置操作
2021/01/15 Python
伦敦平价潮流珠宝首饰品牌:Astrid & Miyu
2016/10/10 全球购物
俄罗斯运动、健康和美容产品在线商店:Lactomin.ru
2020/07/23 全球购物
美国轻奢时尚购物网站:REVOLVE(支持中文)
2020/07/18 全球购物
高级电工工作职责
2013/11/21 职场文书
音乐教学案例
2014/01/30 职场文书
离职证明标准格式
2014/09/15 职场文书
幽默导游词开场白
2015/05/29 职场文书
理解深度学习之深度学习简介
2021/04/14 Python
SpringCloud Alibaba 基本开发框架搭建过程
2021/06/13 Java/Android
源码分析Redis中 set 和 sorted set 的使用方法
2022/03/22 Redis
JS前端可扩展的低代码UI框架Sunmao使用详解
2022/07/23 Javascript