python requests抓取one推送文字和图片代码实例


Posted in Python onNovember 04, 2019

这篇文章主要介绍了python requests抓取one推送文字和图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

requests是Python中一个第三方库,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。接下来将记录一下requests的使用:

from bs4 import BeautifulSoup
from lxml import html
import xml
import requests

#下载图片函数
def download_img(url,name):
  """"
  下载指定url的图片
  url:图片的url;
  name:保存图片的名字
  """
  try:
    respone = requests.get(url)
    f_img = respone.content
    path = r'C:\Users\86131\Desktop\itchat\send_file\images\\%s.jpg'%(name)
    with open(path, "wb")as f:
        f.write(f_img)
  except Exception as e:
    print("---------地址出错------------")

url_list = []

f = requests.get("http://wufazhuce.com/")

# #打印网页内容
# print(f.content.decode())

soup = BeautifulSoup(f.content,"lxml")

try:
  first_div = soup.find("div",attrs={'id':'main-container'}).find('div',attrs={'class':'carousel-inner'})
  a_all = first_div.find_all('a')

  for i in a_all:
    url_list.append(i.attrs['href'])

except Exception as e:
    print("---------出错------------")

#得到one的首页推荐页面
f_1 = requests.get(url_list[0])

#打印网页内容
# print(f_1.content.decode())

soup_1 = BeautifulSoup(f_1.content,"lxml")

try:
  second_div = soup_1.find("div",attrs={'id':'main-container'}).find('div',attrs={'class':'one-cita-wrapper'})
  third_div = soup_1.find("div",attrs={'id':'main-container'}).find('div',attrs={'class':'one-imagen'})

  #获得时期值
  now_month = second_div.find('p',attrs={'class':'may'}).text
  now_one_day = second_div.find('p',attrs={'class':'dom'}).text

  #获得图片的url
  img_url = third_div.find('img').attrs['src']

  #获得一段话并去除开头的空格
  one_text = second_div.find("div",attrs={'class':'one-cita'}).text.strip()

  #将获得日期拼接
  now_day = now_one_day +' '+ now_month

  #调用函数下载图片

  download_img(img_url, now_day)

except Exception as e:
    print("---------出错------------")

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python代码解决RenderView窗口not found问题
Aug 28 Python
Python3实现并发检验代理池地址的方法
Sep 18 Python
python 采集中文乱码问题的完美解决方法
Sep 27 Python
Python实现批量读取图片并存入mongodb数据库的方法示例
Apr 02 Python
django Serializer序列化使用方法详解
Oct 16 Python
在numpy矩阵中令小于0的元素改为0的实例
Jan 26 Python
在python中,使用scatter绘制散点图的实例
Jul 03 Python
Python 进程之间共享数据(全局变量)的方法
Jul 16 Python
python安装读取grib库总结(推荐)
Jun 24 Python
python按顺序重命名文件并分类转移到各个文件夹中的实现代码
Jul 21 Python
如何在scrapy中捕获并处理各种异常
Sep 28 Python
关于Python错误重试方法总结
Jan 03 Python
python 五子棋如何获得鼠标点击坐标
Nov 04 #Python
Pandas 缺失数据处理的实现
Nov 04 #Python
python tkinter canvas使用实例
Nov 04 #Python
python matplotlib饼状图参数及用法解析
Nov 04 #Python
python制作朋友圈九宫格图片
Nov 03 #Python
python使用yield压平嵌套字典的超简单方法
Nov 02 #Python
基于python实现从尾到头打印链表
Nov 02 #Python
You might like
解密ThinkPHP3.1.2版本之模板继承
2014/06/19 PHP
PHP中常用的数组操作方法笔记整理
2016/05/16 PHP
PHP使用preg_split和explode分割textarea存放内容的方法分析
2017/07/03 PHP
JQuery中的$.getJSON 使用说明
2011/03/10 Javascript
javascript学习笔记(十九) 节点的操作实现代码
2012/06/20 Javascript
jquery 面包屑导航 具体实现
2013/06/05 Javascript
JavaScript实现向OL列表内动态添加LI元素的方法
2015/03/21 Javascript
数据分析软件之FineReport教程:[5]参数界面JS(全)
2015/08/13 Javascript
你不知道的高性能JAVASCRIPT
2016/01/18 Javascript
老生常谈遮罩层 滚动条的问题
2016/04/29 Javascript
微信小程序入门教程
2016/11/18 Javascript
js微信分享实现代码
2020/10/11 Javascript
vue插件实现v-model功能
2018/09/10 Javascript
使用koa-log4管理nodeJs日志笔记的使用方法
2018/11/30 NodeJs
记一次vue去除#问题处理经过小结
2019/01/24 Javascript
vue点击自增和求和的实例代码
2019/11/06 Javascript
JavaScript 装逼指南(js另类写法)
2020/05/10 Javascript
python概率计算器实例分析
2015/03/25 Python
Python时间模块datetime、time、calendar的使用方法
2016/01/13 Python
说说如何遍历Python列表的方法示例
2019/02/11 Python
Python实现获取系统临时目录及临时文件的方法示例
2019/06/26 Python
Python搭建Spark分布式集群环境
2019/07/05 Python
Numpy对数组的操作:创建、变形(升降维等)、计算、取值、复制、分割、合并
2019/08/28 Python
Html5剪切板功能的实现代码
2018/06/29 HTML / CSS
html5 Canvas画图教程(9)—canvas中画出矩形和圆形
2013/01/09 HTML / CSS
Bally巴利中国官网:经典瑞士鞋履、手袋及配饰奢侈品牌
2018/10/09 全球购物
营销与策划应届生求职信
2013/11/04 职场文书
小型女装店的创业计划书
2014/01/09 职场文书
2014新年寄语
2014/01/20 职场文书
大班上学期幼儿评语
2014/04/30 职场文书
教师职位说明书
2014/07/29 职场文书
委托书格式
2014/08/01 职场文书
学校安全工作汇报材料
2014/08/16 职场文书
民主生活会意见
2015/06/05 职场文书
新闻稿格式范文
2015/07/18 职场文书
网吧管理制度范本
2015/08/05 职场文书