python爬虫爬取某站上海租房图片


Posted in Python onFebruary 04, 2018

对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python 版本:python3.6 ,IDE :pycharm。其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。

第三方库首先安装

我是用的pycharm所以另为的脚本安装我这就不介绍了。

python爬虫爬取某站上海租房图片

如上图打开默认设置选择Project Interprecter,双击pip或者点击加号,搜索要安装的第三方库。其中如果建立的项目多记得Project Interprecter要选择正确的安装位置不然无法导入。

Requests库

requests库的官方定义:Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。其实他就是请求网络获取网页数据的。

import requests
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://sh.58.com/zufang/',headers=header)
try:
  print(res.text);
except ConnectionError:
  print('访问被拒绝!!!')

结果如下:

python爬虫爬取某站上海租房图片

其中Request Headers的参数如下:

python爬虫爬取某站上海租房图片

#headers的一些属性:
#Accept:指定客户端能够接收的内容类型,内容类型的先后次序表示客户都接收的先后次序
#Accept-Lanuage:指定HTTP客户端浏览器用来展示返回信息优先选择的语言
#Accept-Encoding指定客户端浏览器可以支持的web服务器返回内容压缩编码类型。表示允许服务器在将输出内容发送到客户端以前进行压缩,以节约带宽。而这里设置的就是客户端浏览器所能够支持的返回压缩格式。
#Accept-Charset:HTTP客户端浏览器可以接受的字符编码集
# User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
# Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
# application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
# application/json : 在 JSON RPC 调用时使用
# application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
# 在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

BeautifulSoup库

BeautifulSoup可以轻松的解析Requests库请求的页面,并把页面源代码解析为Soup文档,一边过滤提取数据。这是bs4.2的文档。

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,其中lxml 据说是相对而言比较强大的我下面的暗示是python 标准库的。

python爬虫爬取某站上海租房图片

选择器select

# 选择所有div标签
soup.select("div")
# 选择所有p标签中的第三个标签
soup.select("p:nth-of-type(3)")
相当于soup.select(p)[2]
# 选择div标签下的所有img标签
soup.select("div img")
# 选择div标签下的直接a子标签
soup.select("div > a")
# 选择id=link1后的所有兄弟节点标签
soup.select("#link1 ~ .mybro")
# 选择id=link1后的下一个兄弟节点标签
soup.select("#link1 + .mybro")
# 选择a标签,其类属性为className的标签
soup.select("a .className")
# 选择a标签,其id属性为idName的标签
soup.select("a #idName")
# 选择a标签,其属性中存在attrName的所有标签
soup.select("a[attrName]")
# 选择a标签,其属性href=http://wangyanling.com的所有标签
soup.select("a[href='http://wangyanling.com']")
# 选择a标签,其href属性以http开头
soup.select('a[href^="http"]')
# 选择a标签,其href属性以lacie结尾
soup.select('a[href$="lacie"]')
# 选择a标签,其href属性包含.com
soup.select('a[href*=".com"]')
# 从html中排除某标签,此时soup中不再有script标签
[s.extract() for s in soup('script')]
# 如果想排除多个呢
[s.extract() for s in soup(['script','fram']

BeautifulSoup库需要学习的知识点,请参考bs4.2的文档。在这不再过多叙述。

import requests
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://cd.58.com/zufang/',headers=header)
soup=BeautifulSoup(res.text,'html.parser')
print(soup.prettify())

案例:爬取上海租房图片

import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分页抓取
adminCout=6
for arurl in url:
  adminCout=adminCout+1
  res=requests.get(arurl,headers=header)
  soup=BeautifulSoup(res.text,'html.parser')
  arryImg=soup.select('.img_list img')
  print(arryImg)
  count = 0;
  for img in arryImg:
    print(img['lazy_src'])
    _url = img['lazy_src']
    pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg" # 设置路径和文件名
    result = urllib.request.urlopen(_url) # 打开链接,和python2.x不同请注意了
    data = result.read() # 否则开始下载到本地
    with open(pathName, "wb") as code:
      code.write(data)
      code.close()
      count = count + 1 # 计数+1
      print("正在下载第:", count)
    time.sleep(30)

只是实现功能,至于代码结果如下:

python爬虫爬取某站上海租房图片

结语:

对于python并非为了从net跳出来,学习python只是感兴趣,但是通过这段时间的学习确实有些思想从net的思路中跳了出来,接下来一年的业余时间应该都会花在学习python上,还希望自己能坚持下去。这应该是2017年最后一篇文章,在这给大家拜个早年。

Python 相关文章推荐
python中readline判断文件读取结束的方法
Nov 08 Python
简单的抓取淘宝图片的Python爬虫
Dec 25 Python
在python中使用正则表达式查找可嵌套字符串组
Oct 24 Python
python中for用来遍历range函数的方法
Jun 08 Python
用Python将结果保存为xlsx的方法
Jan 28 Python
浅谈python的深浅拷贝以及fromkeys的用法
Mar 08 Python
Python实现账号密码输错三次即锁定功能简单示例
Mar 29 Python
利用python list完成最简单的DB连接池方法
Aug 09 Python
Python TCPServer 多线程多客户端通信的实现
Dec 31 Python
Python内置方法和属性应用:反射和单例(推荐)
Jun 19 Python
浅谈Selenium 控制浏览器的常用方法
Dec 04 Python
详解Open Folder as PyCharm Project怎么添加的方法
Dec 29 Python
Python爬虫实现百度图片自动下载
Feb 04 #Python
Python中的defaultdict与__missing__()使用介绍
Feb 03 #Python
Python网络爬虫神器PyQuery的基本使用教程
Feb 03 #Python
numpy.random.seed()的使用实例解析
Feb 03 #Python
Python网络爬虫中的同步与异步示例详解
Feb 03 #Python
Python模块文件结构代码详解
Feb 03 #Python
Python处理文本换行符实例代码
Feb 03 #Python
You might like
个人站长制做网页常用的php代码
2007/03/03 PHP
生成静态页面的php函数,php爱好者站推荐
2007/03/19 PHP
PHP 设计模式之观察者模式介绍
2012/02/22 PHP
php把session写入数据库示例
2014/02/26 PHP
ThinkPHP3.2框架使用addAll()批量插入数据的方法
2017/03/16 PHP
php实现的pdo公共类定义与用法示例
2017/07/19 PHP
google地图的路线实现代码
2009/08/20 Javascript
jQuery图片的展开和收缩实现代码
2013/04/16 Javascript
JS中表单的使用小结
2014/01/11 Javascript
jquery、js操作checkbox全选反选
2014/03/12 Javascript
jQuery中position()方法用法实例
2015/01/16 Javascript
JS实现可关闭的对联广告效果代码
2015/09/14 Javascript
JS+CSS实现鼠标经过弹出一个DIV框完整实例(带缓冲动画渐变效果)
2016/03/25 Javascript
Node.js操作mysql数据库增删改查
2016/03/30 Javascript
RequireJS使用注意细节
2016/05/15 Javascript
jquery radio的取值_radio的选中_radio的重置方法
2016/09/20 Javascript
基于jQuery实现表格的排序
2016/12/02 Javascript
vue vuex vue-rouert后台项目——权限路由(适合初学)
2017/12/29 Javascript
微信小程序图片轮播组件gallery slider使用方法详解
2018/01/31 Javascript
vue里面使用mui的弹出日期选择插件实例
2018/09/16 Javascript
深入理解Node内建模块和对象
2019/03/12 Javascript
微信小程序实现星级评价
2019/11/20 Javascript
微信小程序中限制激励式视频广告位显示次数(实现思路)
2019/12/06 Javascript
vue组件内部引入外部js文件的方法
2020/01/18 Javascript
Angular 多模块项目构建过程
2020/02/13 Javascript
JS制作简易计算器的实例代码
2020/07/04 Javascript
[05:09]第二届DOTA2亚洲邀请赛决赛日比赛集锦:iG 3:0 OG夺冠
2017/04/05 DOTA
关于Python中异常(Exception)的汇总
2017/01/18 Python
对python 判断数字是否小于0的方法详解
2019/01/26 Python
python networkx 包绘制复杂网络关系图的实现
2019/07/10 Python
pytorch对梯度进行可视化进行梯度检查教程
2020/02/04 Python
Pycharm无法打开双击没反应的问题及解决方案
2020/08/17 Python
草莓网化妆品加拿大网站:Strawberrynet Canada
2016/09/20 全球购物
流行文化收藏品:Sideshow(DC漫画,星球大战,漫威)
2019/03/17 全球购物
澳大利亚和新西兰最大的在线旅行社之一:Aunt Betty
2019/08/07 全球购物
银行员工犯错检讨书
2014/09/16 职场文书