python实现简单爬虫功能的示例


Posted in Python onOctober 24, 2016

在我们日常上网浏览网页的时候,经常会看到一些好看的图片,我们就希望把这些图片保存下载,或者用户用来做桌面壁纸,或者用来做设计的素材。

我们最常规的做法就是通过鼠标右键,选择另存为。但有些图片鼠标右键的时候并没有另存为选项,还有办法就通过就是通过截图工具截取下来,但这样就降低图片的清晰度。好吧~!其实你很厉害的,右键查看页面源代码。

我们可以通过python 来实现这样一个简单的爬虫功能,把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。

一,获取整个页面数据

首先我们可以先获取要下载图片的整个页面信息。
getjpg.py

#coding=utf-8
import urllib
def getHtml(url):
  page = urllib.urlopen(url)
  html = page.read()
  return html

html = getHtml("http://tieba.baidu.com/p/2738151262")
print html

Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据。首先,我们定义了一个getHtml()函数:

urllib.urlopen()方法用于打开一个URL地址。

read()方法用于读取URL上的数据,向getHtml()函数传递一个网址,并把整个页面下载下来。执行程序就会把整个网页打印输出。

二,筛选页面中想要的数据
Python 提供了非常强大的正则表达式,我们需要先要了解一点python 正则表达式的知识才行.

假如我们百度贴吧找到了几张漂亮的壁纸,通过到前段查看工具。找到了图片的地址,如:src=”http://imgsrc.baidu.com/forum......jpg”pic_ext=”jpeg”

python实现简单爬虫功能的示例

修改代码如下:

import re
import urllib

def getHtml(url):
  page = urllib.urlopen(url)
  html = page.read()
  return html

def getImg(html):
  reg = r'src="(.+?\.jpg)" pic_ext'
  imgre = re.compile(reg)
  imglist = re.findall(imgre,html)
  return imglist   
  
html = getHtml("http://tieba.baidu.com/p/2460150866")
print getImg(html)

我们又创建了getImg()函数,用于在获取的整个页面中筛选需要的图片连接。re模块主要包含了正则表达式:

re.compile() 可以把正则表达式编译成一个正则表达式对象.

re.findall() 方法读取html 中包含 imgre(正则表达式)的数据。

运行脚本将得到整个页面中包含图片的URL地址。

三,将页面筛选的数据保存到本地

把筛选的图片地址通过for循环遍历并保存到本地,代码如下:

#coding=utf-8
import urllib
import re

def getHtml(url):
  page = urllib.urlopen(url)
  html = page.read()
  return html

def getImg(html):
  reg = r'src="(.+?\.jpg)" pic_ext'
  imgre = re.compile(reg)
  imglist = re.findall(imgre,html)
  x = 0
  for imgurl in imglist:
    urllib.urlretrieve(imgurl,'%s.jpg' % x)
    x+=1


html = getHtml("http://tieba.baidu.com/p/2460150866")

print getImg(html)

这里的核心是用到了urllib.urlretrieve()方法,直接将远程数据下载到本地。

通过一个for循环对获取的图片连接进行遍历,为了使图片的文件名看上去更规范,对其进行重命名,命名规则通过x变量加1。保存的位置默认为程序的存放目录。

程序运行完成,将在目录下看到下载到本地的文件。

python实现简单爬虫功能的示例

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 Python
使用Python编写一个简单的tic-tac-toe游戏的教程
Apr 16 Python
Python正则表达式完全指南
May 25 Python
详解django中自定义标签和过滤器
Jul 03 Python
Python Socket编程之多线程聊天室
Jul 28 Python
使用Python进行目录的对比方法
Nov 01 Python
Python实现RGB与HSI颜色空间的互换方式
Nov 27 Python
keras自定义损失函数并且模型加载的写法介绍
Jun 15 Python
Python+Dlib+Opencv实现人脸采集并表情判别功能的代码
Jul 01 Python
Selenium及python实现滚动操作多种方法
Jul 21 Python
使用python对excel表格处理的一些小功能
Jan 25 Python
python实现图片转字符画
Feb 19 Python
简单谈谈Python中的反转字符串问题
Oct 24 #Python
Python 内置函数complex详解
Oct 23 #Python
Python检测生僻字的实现方法
Oct 23 #Python
python 写入csv乱码问题解决方法
Oct 23 #Python
解决Python中字符串和数字拼接报错的方法
Oct 23 #Python
python 读写txt文件 json文件的实现方法
Oct 22 #Python
Python类属性的延迟计算
Oct 22 #Python
You might like
奇怪的PHP引用效率问题分析
2012/03/23 PHP
MySQL 日期时间函数常用总结
2012/06/12 PHP
PHP自毁程序(慎用)
2015/07/09 PHP
php随机显示指定文件夹下图片的方法
2015/07/13 PHP
php7基于递归实现删除空文件夹的方法示例
2017/06/15 PHP
php调用云片网接口发送短信的实现方法
2017/10/25 PHP
filemanage功能中用到的lib.js
2007/04/08 Javascript
JavaScript 基础知识 被自己遗忘的
2009/10/15 Javascript
JavaScript 内置对象属性及方法集合
2010/07/04 Javascript
js DOM 元素ID就是全局变量
2012/09/20 Javascript
javascript ajax 仿百度分页函数
2013/10/29 Javascript
jQuery实现首页顶部可伸缩广告特效代码
2015/04/15 Javascript
javascript检测flash插件是否被禁用的方法
2016/01/14 Javascript
深入解析JavaScript中的立即执行函数
2016/05/21 Javascript
js图片放大镜实例讲解(必看篇)
2017/07/17 Javascript
JS学习笔记之闭包小案例分析
2019/05/29 Javascript
Swiper.js实现移动端元素左右滑动
2019/09/08 Javascript
解决layui动态加载复选框无法选中的问题
2019/09/20 Javascript
微信小程序iOS下拉白屏晃动问题解决方案
2019/10/12 Javascript
Vue 实现对quill-editor组件中的工具栏添加title
2020/08/03 Javascript
[03:39]DOTA2英雄梦之声_第05期_幽鬼
2014/06/23 DOTA
python的id()函数解密过程
2012/12/25 Python
python基础教程之自定义函数介绍
2014/08/29 Python
python使用webbrowser浏览指定url的方法
2015/04/04 Python
python各类经纬度转换的实例代码
2019/08/08 Python
python自动循环定时开关机(非重启)测试
2019/08/26 Python
使用Python快速打开一个百万行级别的超大Excel文件的方法
2021/03/02 Python
在数据文件自动增长时,自动增长是否会阻塞对文件的更新
2014/05/01 面试题
教师求职自荐书
2014/06/14 职场文书
2015年幼儿园卫生保健工作总结
2015/05/12 职场文书
2015年七夕情人节感言
2015/08/03 职场文书
职场新人刚入职工作总结该怎么写?
2019/05/15 职场文书
MongoDB数据库常用的10条操作命令
2021/06/18 MongoDB
vue实现滑动解锁功能
2022/03/03 Vue.js
一起来学习Python的元组和列表
2022/03/13 Python
python中数组和列表的简单实例
2022/03/25 Python