Python爬虫:通过关键字爬取百度图片


Posted in Python onFebruary 17, 2017

使用工具:Python2.7 点我下载

scrapy框架

sublime text3

一。搭建python(Windows版本)

 1.安装python2.7 ---然后在cmd当中输入python,界面如下则安装成功

Python爬虫:通过关键字爬取百度图片

 2.集成Scrapy框架----输入命令行:pip install Scrapy

Python爬虫:通过关键字爬取百度图片

安装成功界面如下:

Python爬虫:通过关键字爬取百度图片

失败的情况很多,举例一种:

Python爬虫:通过关键字爬取百度图片

解决方案:

其余错误可百度搜索。

二。开始编程。

1.爬取无反爬虫措施的静态网站。例如百度贴吧,豆瓣读书。

例如-《桌面吧》的一个帖子https://tieba.baidu.com/p/2460150866?red_tag=3569129009

python代码如下:

Python爬虫:通过关键字爬取百度图片

代码注释:引入了两个模块urllib,re。定义两个函数,第一个函数是获取整个目标网页数据,第二个函数是在目标网页中获取目标图片,遍历网页,并且给获取的图片按照0开始排序。

注:re模块知识点:

Python爬虫:通过关键字爬取百度图片

爬取图片效果图:

Python爬虫:通过关键字爬取百度图片

图片保存路径默认在建立的.py同目录文件下。

2.爬取有反爬虫措施的百度图片。如百度图片等。

例如关键字搜索“表情包”https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0%FC&fr=ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=111111

图片采用滚动式加载,先爬取最优先的30张。

代码如下:

Python爬虫:通过关键字爬取百度图片

代码注释:导入4个模块,os模块用于指定保存路径。前两个函数同上。第三个函数使用了if语句,并tryException异常。

爬取过程如下:

Python爬虫:通过关键字爬取百度图片

爬取结果:

Python爬虫:通过关键字爬取百度图片

注:编写python代码注重对齐,and不能混用Tab和空格,易报错。

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,同时也希望多多支持三水点靠木!

Python 相关文章推荐
在Python的Django框架中获取单个对象数据的简单方法
Jul 17 Python
Python外星人入侵游戏编程完整版
Mar 30 Python
详解分布式任务队列Celery使用说明
Nov 29 Python
使用pandas实现连续数据的离散化处理方式(分箱操作)
Nov 22 Python
pytorch构建多模型实例
Jan 15 Python
浅谈Python 参数与变量
Jun 20 Python
树莓派升级python的具体步骤
Jul 05 Python
Python 如何对文件目录操作
Jul 10 Python
解析python 类方法、对象方法、静态方法
Aug 15 Python
pandas统计重复值次数的方法实现
Feb 20 Python
python爬虫利用代理池更换IP的方法步骤
Feb 21 Python
Python进阶学习之带你探寻Python类的鼻祖-元类
May 08 Python
Python 遍历列表里面序号和值的方法(三种)
Feb 17 #Python
浅谈python中的实例方法、类方法和静态方法
Feb 17 #Python
Python之日期与时间处理模块(date和datetime)
Feb 16 #Python
python字符串中的单双引
Feb 16 #Python
使用PyV8在Python爬虫中执行js代码
Feb 16 #Python
Python错误提示:[Errno 24] Too many open files的分析与解决
Feb 16 #Python
Python变量和数据类型详解
Feb 15 #Python
You might like
关于PHP的相似度计算函数:levenshtein的使用介绍
2013/04/15 PHP
与文件上传有关的php配置参数总结
2013/06/14 PHP
PHP判断json格式是否正确的实现代码
2017/09/20 PHP
PHP给前端返回一个JSON对象的实例讲解
2018/05/31 PHP
浅谈laravel-admin form中的数据,在提交后,保存前,获取并进行编辑
2019/10/21 PHP
Locate a File Using a File Open Dialog Box
2007/06/18 Javascript
jQuery Validation插件remote验证方式的Bug解决
2010/07/01 Javascript
JavaScript window.document的属性、方法和事件小结
2012/10/24 Javascript
Nodejs实现的一个静态服务器实例
2014/12/06 NodeJs
js使用setTimeout实现定时炸弹的方法
2015/04/10 Javascript
JavaScript事件委托实例分析
2015/05/26 Javascript
举例讲解Node.js中的Writable对象
2015/07/29 Javascript
jquery实现漫天雪花飞舞的圣诞祝福雪花效果代码分享
2015/08/20 Javascript
基于javascript html5实现3D翻书特效
2016/03/14 Javascript
AngularJs 指令详解及示例代码
2016/09/01 Javascript
javascript入门之window对象【新手必看】
2016/11/22 Javascript
基于iscroll.js实现下拉刷新和上拉加载效果
2016/11/28 Javascript
Vue 2.X的状态管理vuex记录详解
2017/03/23 Javascript
jQuery插件FusionCharts绘制的2D双面积图效果示例【附demo源码】
2017/04/11 jQuery
Angular.js中控制器之间的传值详解
2017/04/24 Javascript
JavaScript实现计算多边形质心的方法示例
2018/01/31 Javascript
JS实现随机抽选获奖者
2019/11/07 Javascript
vue组件创建的三种方式小结
2020/02/03 Javascript
[04:02]DOTA2上海特锦赛小组赛第二日recap精彩回顾
2016/02/28 DOTA
[01:06]欢迎来到上海,TI9
2018/08/26 DOTA
理解Python中的绝对路径和相对路径
2017/08/30 Python
python学生信息管理系统
2018/03/13 Python
Python标准库json模块和pickle模块使用详解
2020/03/10 Python
Python ORM框架Peewee用法详解
2020/04/29 Python
python实现学生成绩测评系统
2020/06/22 Python
解决virtualenv -p python3 venv报错的问题
2021/02/05 Python
详解CSS3中nth-child与nth-of-type的区别
2017/01/05 HTML / CSS
文明社区申报材料
2014/08/21 职场文书
2014年保管员工作总结
2014/11/18 职场文书
Python控制台输出俄罗斯方块的方法实例
2021/04/17 Python
使用Navicat Premium工具将oracle数据库迁移到MySQL
2021/05/27 Oracle