python用BeautifulSoup库简单爬虫实例分析


Posted in Python onJuly 30, 2018

会用到的功能的简单介绍

1、from bs4 import BeautifulSoup

#导入库

2、请求头herders

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36','referer':"www.mmjpg.com" }
all_url = 'http://www.mmjpg.com/' 
'User-Agent':请求方式 
'referer':从哪个链接跳转进来的

3、建立连接

start_html = requests.get(all_url, headers=headers)
all_url:起始的地址,也就是访问的第一个页面
headers:请求头,告诉服务器是谁来了。
requests.get:一个方法能获取all_url的页面内容并且返回内容。

4、解析获取的页面

Soup = BeautifulSoup(start_html.text, 'lxml')
BeautifulSoup:解析页面
lxml:解析器
start_html.text:页面的内容

5、处理获取的页面

all_a = Soup.find('div', class_='pic').find_all('a')[-2]
Soup.find()查找某一个
find_all()查找所有的,返回一个列表
.find('img')['src']  :获取img的src链接属性  
class__:获取目标的类名
div/a:类型条件为div/a的
[-2]可以用来去掉最后多匹配的标签,这里表示去掉最后两个a标签

6、获取目标内容

<a href =# >内容</a>
a[i]/get_text():获取第i个a标签里面的内容

7、可能用到的其他功能介绍:

1、文件夹创建与切换

os.makedirs(os.path.join("E:\name", filename))
#在目录E:\name下创建名为filename的文件夹
os.chdir("E:\name\\" + filename)
#切换工作路径到E:\name\filename下

2、文件保存

f = open(name+'.jpg', 'ab')##写入多媒体文件必须要 b 这个参数!
f.write(img.content) ##多媒体文件要是用conctent!
f.close()

案例:爬取妹纸图

import requests
from bs4 import BeautifulSoup
import os
#导入所需要的模块
class mzitu():
  def all_url(self, url):
    html = self.request(url)##
    all_a = BeautifulSoup(html.text, 'lxml').find('div', class_='all').find_all('a')
    for a in all_a:
      title = a.get_text()
      print('------开始保存:', title) 
      path = str(title).replace("?", '_') ##替换掉带有的?
      self.mkdir(path) ##调用mkdir函数创建文件夹!这儿path代表的是标题title
      href = a['href']
      self.html(href) 

  def html(self, href):  ##获得图片的页面地址
    html = self.request(href)
    max_span = BeautifulSoup(html.text, 'lxml').find('div', class_='pagenavi').find_all('span')[-2].get_text()
    #这个上面有提到
    for page in range(1, int(max_span) + 1):
      page_url = href + '/' + str(page)
      self.img(page_url) ##调用img函数

  def img(self, page_url): ##处理图片页面地址获得图片的实际地址
    img_html = self.request(page_url)
    img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']
    self.save(img_url)

  def save(self, img_url): ##保存图片
    name = img_url[-9:-4]
    img = self.request(img_url)
    f = open(name + '.jpg', 'ab')
    f.write(img.content)
    f.close()

  def mkdir(self, path): ##创建文件夹
    path = path.strip()
    isExists = os.path.exists(os.path.join("E:\mzitu2", path))
    if not isExists:
      print('建了一个名字叫做', path, '的文件夹!')
      os.makedirs(os.path.join("E:\mzitu2", path))
      os.chdir(os.path.join("E:\mzitu2", path)) ##切换到目录
      return True
    else:
      print( path, '文件夹已经存在了!')
      return False

  def request(self, url): ##这个函数获取网页的response 然后返回
    headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36',
      'referer':#伪造一个访问来源 "http://www.mzitu.com/100260/2"
    }
    content = requests.get(url, headers=headers)
    return content
#设置启动函数
def main():
  Mzitu = mzitu() ##实例化
  Mzitu.all_url('http://www.mzitu.com/all') ##给函数all_url传入参数 

main()
Python 相关文章推荐
python读取注册表中值的方法
Apr 08 Python
Python实现翻转数组功能示例
Jan 12 Python
Python GUI Tkinter简单实现个性签名设计
Jun 19 Python
TensorFlow Session会话控制&amp;Variable变量详解
Jul 30 Python
Python不同目录间进行模块调用的实现方法
Jan 29 Python
Python小进度条显示代码
Mar 05 Python
Python collections模块使用方法详解
Aug 28 Python
Django项目中使用JWT的实现代码
Nov 04 Python
Python3-异步进程回调函数(callback())介绍
May 02 Python
Tensorflow之MNIST CNN实现并保存、加载模型
Jun 17 Python
Python 如何在字符串中插入变量
Aug 01 Python
python 如何对logging日志封装
Dec 02 Python
对TensorFlow的assign赋值用法详解
Jul 30 #Python
Python双向循环链表实现方法分析
Jul 30 #Python
tensorflow更改变量的值实例
Jul 30 #Python
Python使用分布式锁的代码演示示例
Jul 30 #Python
利用Python如何批量修改数据库执行Sql文件
Jul 29 #Python
利用Python如何批量更新服务器文件
Jul 29 #Python
python高阶爬虫实战分析
Jul 29 #Python
You might like
用文本文件实现的动态实时发布新闻的程序
2006/10/09 PHP
PHP实现根据设备类型自动跳转相应页面的方法
2014/07/24 PHP
php页面缓存方法小结
2015/01/10 PHP
php实现的一个简单json rpc框架实例
2015/03/30 PHP
javascript 命名空间以提高代码重用性
2008/11/13 Javascript
单击浏览器右上角的X关闭窗口弹出提示的小例子
2013/06/12 Javascript
js实现网页标题栏闪烁提示效果实例分析
2014/11/20 Javascript
js实现从右向左缓缓浮出网页浮动层广告的方法
2015/05/09 Javascript
在WordPress中加入Google搜索功能的简单步骤讲解
2016/01/04 Javascript
Bootstrap进度条组件知识详解
2016/05/01 Javascript
bootstrap下拉列表与输入框组结合的样式调整
2016/10/08 Javascript
BootStrap Table对前台页面表格的支持实例讲解
2016/12/22 Javascript
利用vueJs实现图片轮播实例代码
2017/06/03 Javascript
详解Vue打包优化之code spliting
2018/04/09 Javascript
angular实现页面打印局部功能的思考与方法
2018/04/13 Javascript
vue编写简单的购物车功能
2021/01/08 Vue.js
使用Python来开发Markdown脚本扩展的实例分享
2016/03/04 Python
详解Python中的from..import绝对导入语句
2016/06/21 Python
Python使用email模块对邮件进行编码和解码的实例教程
2016/07/01 Python
基于python OpenCV实现动态人脸检测
2018/05/25 Python
pyqt远程批量执行Linux命令程序的方法
2019/02/14 Python
Python使用微信itchat接口实现查看自己微信的信息功能详解
2019/08/22 Python
python通过nmap扫描在线设备并尝试AAA登录(实例代码)
2019/12/30 Python
瑞典廉价机票预订网站:Seat24
2018/06/19 全球购物
全球在线商店:BerryLook
2019/04/14 全球购物
几道Java和数据库的面试题
2013/05/30 面试题
总经理的岗位职责
2014/02/23 职场文书
外语系大学生自荐信范文
2014/03/01 职场文书
彩色的翅膀教学反思
2014/04/25 职场文书
公司采购主管岗位职责
2014/06/17 职场文书
工作检讨书范文
2015/01/23 职场文书
借条格式范本
2015/05/25 职场文书
2016关于军训的心得体会
2016/01/11 职场文书
56句经典英文座右铭
2019/08/09 职场文书
react如何快速设置文件路径别名
2021/04/28 Javascript
AJAX学习笔记
2021/05/18 Javascript