python爬虫爬取某站上海租房图片


Posted in Python onFebruary 04, 2018

对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python 版本:python3.6 ,IDE :pycharm。其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。

第三方库首先安装

我是用的pycharm所以另为的脚本安装我这就不介绍了。

python爬虫爬取某站上海租房图片

如上图打开默认设置选择Project Interprecter,双击pip或者点击加号,搜索要安装的第三方库。其中如果建立的项目多记得Project Interprecter要选择正确的安装位置不然无法导入。

Requests库

requests库的官方定义:Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。其实他就是请求网络获取网页数据的。

import requests
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://sh.58.com/zufang/',headers=header)
try:
  print(res.text);
except ConnectionError:
  print('访问被拒绝!!!')

结果如下:

python爬虫爬取某站上海租房图片

其中Request Headers的参数如下:

python爬虫爬取某站上海租房图片

#headers的一些属性:
#Accept:指定客户端能够接收的内容类型,内容类型的先后次序表示客户都接收的先后次序
#Accept-Lanuage:指定HTTP客户端浏览器用来展示返回信息优先选择的语言
#Accept-Encoding指定客户端浏览器可以支持的web服务器返回内容压缩编码类型。表示允许服务器在将输出内容发送到客户端以前进行压缩,以节约带宽。而这里设置的就是客户端浏览器所能够支持的返回压缩格式。
#Accept-Charset:HTTP客户端浏览器可以接受的字符编码集
# User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
# Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
# application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
# application/json : 在 JSON RPC 调用时使用
# application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
# 在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

BeautifulSoup库

BeautifulSoup可以轻松的解析Requests库请求的页面,并把页面源代码解析为Soup文档,一边过滤提取数据。这是bs4.2的文档。

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,其中lxml 据说是相对而言比较强大的我下面的暗示是python 标准库的。

python爬虫爬取某站上海租房图片

选择器select

# 选择所有div标签
soup.select("div")
# 选择所有p标签中的第三个标签
soup.select("p:nth-of-type(3)")
相当于soup.select(p)[2]
# 选择div标签下的所有img标签
soup.select("div img")
# 选择div标签下的直接a子标签
soup.select("div > a")
# 选择id=link1后的所有兄弟节点标签
soup.select("#link1 ~ .mybro")
# 选择id=link1后的下一个兄弟节点标签
soup.select("#link1 + .mybro")
# 选择a标签,其类属性为className的标签
soup.select("a .className")
# 选择a标签,其id属性为idName的标签
soup.select("a #idName")
# 选择a标签,其属性中存在attrName的所有标签
soup.select("a[attrName]")
# 选择a标签,其属性href=http://wangyanling.com的所有标签
soup.select("a[href='http://wangyanling.com']")
# 选择a标签,其href属性以http开头
soup.select('a[href^="http"]')
# 选择a标签,其href属性以lacie结尾
soup.select('a[href$="lacie"]')
# 选择a标签,其href属性包含.com
soup.select('a[href*=".com"]')
# 从html中排除某标签,此时soup中不再有script标签
[s.extract() for s in soup('script')]
# 如果想排除多个呢
[s.extract() for s in soup(['script','fram']

BeautifulSoup库需要学习的知识点,请参考bs4.2的文档。在这不再过多叙述。

import requests
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://cd.58.com/zufang/',headers=header)
soup=BeautifulSoup(res.text,'html.parser')
print(soup.prettify())

案例:爬取上海租房图片

import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分页抓取
adminCout=6
for arurl in url:
  adminCout=adminCout+1
  res=requests.get(arurl,headers=header)
  soup=BeautifulSoup(res.text,'html.parser')
  arryImg=soup.select('.img_list img')
  print(arryImg)
  count = 0;
  for img in arryImg:
    print(img['lazy_src'])
    _url = img['lazy_src']
    pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg" # 设置路径和文件名
    result = urllib.request.urlopen(_url) # 打开链接,和python2.x不同请注意了
    data = result.read() # 否则开始下载到本地
    with open(pathName, "wb") as code:
      code.write(data)
      code.close()
      count = count + 1 # 计数+1
      print("正在下载第:", count)
    time.sleep(30)

只是实现功能,至于代码结果如下:

python爬虫爬取某站上海租房图片

结语:

对于python并非为了从net跳出来,学习python只是感兴趣,但是通过这段时间的学习确实有些思想从net的思路中跳了出来,接下来一年的业余时间应该都会花在学习python上,还希望自己能坚持下去。这应该是2017年最后一篇文章,在这给大家拜个早年。

Python 相关文章推荐
python实现2014火车票查询代码分享
Jan 10 Python
python执行等待程序直到第二天零点的方法
Apr 23 Python
Python数据类型详解(三)元祖:tuple
May 08 Python
Python学习笔记之While循环用法分析
Aug 14 Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 Python
用Python去除图像的黑色或白色背景实例
Dec 12 Python
python十进制转二进制的详解
Feb 07 Python
关于多元线性回归分析——Python&SPSS
Feb 24 Python
python统计函数库scipy.stats的用法解析
Feb 25 Python
在 Pycharm 安装使用black的方法详解
Apr 02 Python
浅谈JupyterNotebook导出pdf解决中文的问题
Apr 22 Python
python绘制汉诺塔
Mar 01 Python
Python爬虫实现百度图片自动下载
Feb 04 #Python
Python中的defaultdict与__missing__()使用介绍
Feb 03 #Python
Python网络爬虫神器PyQuery的基本使用教程
Feb 03 #Python
numpy.random.seed()的使用实例解析
Feb 03 #Python
Python网络爬虫中的同步与异步示例详解
Feb 03 #Python
Python模块文件结构代码详解
Feb 03 #Python
Python处理文本换行符实例代码
Feb 03 #Python
You might like
PHP中::、->、self、$this几种操作符的区别介绍
2013/04/24 PHP
PHP实现图片压缩的两则实例
2014/07/19 PHP
Codeigniter实现发送带附件的邮件
2015/03/19 PHP
php 下 html5 XHR2 + FormData + File API 上传文件操作实例分析
2020/02/28 PHP
取键盘键位ASCII码的网页
2007/07/30 Javascript
javascript 关于# 和 void的区别分析
2009/10/26 Javascript
js实现双向链表互联网机顶盒实战应用实现
2011/10/28 Javascript
jQuery实现点击该行即可删除HTML表格行
2014/10/17 Javascript
基于MVC+EasyUI的web开发框架之使用云打印控件C-Lodop打印页面或套打报关运单信息
2016/08/29 Javascript
BootStrap实现带关闭按钮功能
2017/02/15 Javascript
封装运动框架实战左右与上下滑动的焦点轮播图(实例)
2017/10/17 Javascript
javascript Function函数理解与实战
2017/12/01 Javascript
图片文字识别(OCR)插件Ocrad.js教程
2018/11/26 Javascript
js回溯法计算最佳旅行线路代码实例
2019/09/11 Javascript
vue 父组件通过v-model接收子组件的值的代码
2019/10/27 Javascript
[02:31]2018年度DOTA2最具人气选手-完美盛典
2018/12/16 DOTA
[01:54]TI珍贵瞬间系列(五):压力
2020/08/29 DOTA
Python解决鸡兔同笼问题的方法
2014/12/20 Python
Python中的descriptor描述器简明使用指南
2016/06/02 Python
在python中利用GDAL对tif文件进行读写的方法
2018/11/29 Python
django框架自定义模板标签(template tag)操作示例
2019/06/24 Python
python3 xpath和requests应用详解
2020/03/06 Python
使用Keras预训练好的模型进行目标类别预测详解
2020/06/27 Python
用canvas实现图片滤镜效果附演示
2013/11/05 HTML / CSS
德国专业木制品经销商:Holz-Direkt24
2019/12/26 全球购物
波兰家居饰品和厨房配件网上商店:Maleomi
2020/12/15 全球购物
公共机构节能宣传周活动总结
2014/07/09 职场文书
岗位说明书标准范本
2014/07/30 职场文书
优秀工作者事迹材料
2014/12/26 职场文书
个人年终总结怎么写
2015/03/09 职场文书
敬老院活动感想
2015/08/07 职场文书
丧事酒宴答谢词
2015/09/30 职场文书
解决redis sentinel 频繁主备切换的问题
2021/04/12 Redis
IDEA使用SpringAssistant插件创建SpringCloud项目
2021/06/23 Java/Android
Spring Boot 实现敏感词及特殊字符过滤处理
2021/06/29 Java/Android
opencv用VS2013调试时用Image Watch插件查看图片
2021/07/26 Python