Python爬取知乎图片代码实现解析


Posted in Python onSeptember 17, 2019

首先,需要获取任意知乎的问题,只需要你输入问题的ID,就可以获取相关的页面信息,比如最重要的合计有多少人回答问题。

问题ID为如下标红数字

编写代码,下面的代码用来检测用户输入的是否是正确的ID,并且通过拼接URL去获取该问题下面合计有多少答案。

import requests
import re
import pymongo
import time
DATABASE_IP = '127.0.0.1'
DATABASE_PORT = 27017
DATABASE_NAME = 'sun'
client = pymongo.MongoClient(DATABASE_IP,DATABASE_PORT)
db = client.sun
db.authenticate("dba", "dba")
collection = db.zhihuone # 准备插入数据
BASE_URL = "https://www.zhihu.com/question/{}"
def get_totle_answers(article_id):
  headers = {
    "user-agent": "需要自己补全 Mozilla/5.0 (Windows NT 10.0; WOW64)"
  }
  with requests.Session() as s:
    with s.get(BASE_URL.format(article_id),headers=headers,timeout=3) as rep:
      html = rep.text
      pattern =re.compile( '<meta itemProp="answerCount" content="(\d*?)"/>')
      s = pattern.search(html)
      print("查找到{}条数据".format(s.groups()[0]))
      return s.groups()[0]
if __name__ == '__main__':
  # 用死循环判断用户输入的是否是数字
  article_id = ""
  while not article_id.isdigit():
    article_id = input("请输入文章ID:")
  totle = get_totle_answers(article_id)
  if int(totle)>0:
    zhi = ZhihuOne(article_id,totle)
    zhi.run()
  else:
    print("没有任何数据!")

完善图片下载部分,图片下载地址在查阅过程中发现,存在json字段的content中,我们采用简单的正则表达式将他匹配出来。细节如下图展示

Python爬取知乎图片代码实现解析

编写代码吧,下面的代码注释请仔细阅读,中间有一个小BUG,需要手动把pic3修改为pic2这个地方目前原因不明确,可能是我本地网络的原因,还有请在项目根目录先创建一个imgs的文件夹,用来存储图片

def download_img(self,data):
    ## 下载图片
    for item in data["data"]:
      content = item["content"]
      pattern = re.compile('<noscript>(.*?)</noscript>')
      imgs = pattern.findall(content)
      if len(imgs) > 0:
        for img in imgs:
          match = re.search('<img src="(.*?)"', img)
          download = match.groups()[0]
          download = download.replace("pic3", "pic2") # 小BUG,pic3的下载不到
          print("正在下载{}".format(download), end="")
          try:
            with requests.Session() as s:
              with s.get(download) as img_down:
                # 获取文件名称
                file = download[download.rindex("/") + 1:]
                content = img_down.content
                with open("imgs/{}".format(file), "wb+") as f: # 这个地方进行了硬编码
                  f.write(content)

                print("图片下载完成", end="\n")
          except Exception as e:
            print(e.args)
      else:
        pass

运行结果为

Python爬取知乎图片代码实现解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的飞速中文网小说下载脚本
Apr 23 Python
浅析Python中MySQLdb的事务处理功能
Sep 21 Python
彻底理解Python list切片原理
Oct 27 Python
利用Tkinter和matplotlib两种方式画饼状图的实例
Nov 06 Python
Python实现基本数据结构中栈的操作示例
Dec 04 Python
python3.x+pyqt5实现主窗口状态栏里(嵌入)显示进度条功能
Jul 04 Python
如何在python中实现随机选择
Nov 02 Python
详解mac python+selenium+Chrome 简单案例
Nov 08 Python
python数字类型math库原理解析
Mar 02 Python
Python通过两个dataframe用for循环求笛卡尔积
Apr 29 Python
Keras自动下载的数据集/模型存放位置介绍
Jun 19 Python
Python读取文件夹下的所有文件实例代码
Apr 02 Python
Python读写文件模式和文件对象方法实例详解
Sep 17 #Python
Python爬取破解无线网络wifi密码过程解析
Sep 17 #Python
Python使用random模块生成随机数操作实例详解
Sep 17 #Python
python同时替换多个字符串方法示例
Sep 17 #Python
python 函数的缺省参数使用注意事项分析
Sep 17 #Python
Python 字符串、列表、元组的截取与切片操作示例
Sep 17 #Python
Python 实现大整数乘法算法的示例代码
Sep 17 #Python
You might like
用php实现的下载css文件中的图片的代码
2010/02/08 PHP
PHP调试函数和日志记录函数分享
2015/01/31 PHP
php建立Ftp连接的方法
2015/03/07 PHP
PHP 500报错的快速解决方法
2016/12/14 PHP
js中单引号与双引号冲突问题解决方法
2013/10/04 Javascript
javascript实现table表格隔行变色的方法
2015/05/13 Javascript
基于jQuery实现点击弹出层实例代码
2016/01/01 Javascript
基于BootStrap实现局部刷新分页实例代码
2016/08/08 Javascript
详解webpack打包vue时提取css
2017/05/26 Javascript
详解JSON Web Token 入门教程
2018/07/30 Javascript
基于Vue组件化的日期联动选择器功能的实现代码
2018/11/30 Javascript
用JS实现一个简单的打砖块游戏
2019/12/11 Javascript
[02:42]DOTA2英雄基础教程 杰奇洛
2013/12/23 DOTA
跟老齐学Python之从格式化表达式到方法
2014/09/28 Python
PyQt5实现拖放功能
2018/04/25 Python
python3+requests接口自动化session操作方法
2018/10/13 Python
pygame游戏之旅 添加碰撞效果的方法
2018/11/20 Python
Django异步任务之Celery的基本使用
2019/03/23 Python
Python基于OpenCV实现人脸检测并保存
2019/07/23 Python
python sorted函数的小练习及解答
2019/09/18 Python
在python中利用dict转json按输入顺序输出内容方式
2020/02/27 Python
python GUI库图形界面开发之PyQt5多线程中信号与槽的详细使用方法与实例
2020/03/08 Python
Python不支持 i ++ 语法的原因解析
2020/07/22 Python
matplotlib 画双轴子图无法显示x轴的解决方法
2020/07/27 Python
欧舒丹比利时官网:L’OCCITANE比利时
2017/04/25 全球购物
Lacoste(法国鳄鱼)加拿大官网:以标志性的POLO衫而闻名
2019/05/15 全球购物
土木工程毕业生自荐信
2013/09/21 职场文书
北大自主招生自荐信
2013/10/19 职场文书
机电职业生涯规划书范文
2014/03/08 职场文书
社区交通安全实施方案
2014/03/22 职场文书
节约用水标语
2014/06/11 职场文书
优秀团员事迹材料1000字
2014/08/20 职场文书
孩子教育的心得体会
2014/09/01 职场文书
党的群众路线教育实践活动制度建设计划方案
2014/10/31 职场文书
写给纪委的违纪检讨书
2015/05/05 职场文书
企业战略合作意向书
2015/05/08 职场文书