Python爬虫爬取新浪微博内容示例【基于代理IP】


Posted in Python onAugust 03, 2018

本文实例讲述了Python爬虫爬取新浪微博内容。分享给大家供大家参考,具体如下:

用Python编写爬虫,爬取微博大V的微博内容,本文以女神的微博为例(爬新浪m站:https://m.weibo.cn/u/1259110474

一般做爬虫爬取网站,首选的都是m站,其次是wap站,最后考虑PC站。当然,这不是绝对的,有的时候PC站的信息最全,而你又恰好需要全部的信息,那么PC站是你的首选。一般m站都以m开头后接域名, 所以本文开搞的网址就是 m.weibo.cn。

前期准备

1.代理IP

网上有很多免费代理ip,如西刺免费代理IPhttp://www.xicidaili.com/,自己可找一个可以使用的进行测试;

2.抓包分析

通过抓包获取微博内容地址,这里不再细说,不明白的小伙伴可以自行百度查找相关资料,下面直接上完整的代码

完整代码:

# -*- coding: utf-8 -*-
import urllib.request
import json
#定义要爬取的微博大V的微博ID
id='1259110474'
#设置代理IP
proxy_addr="122.241.72.191:808"
#定义页面打开函数
def use_proxy(url,proxy_addr):
  req=urllib.request.Request(url)
  req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
  proxy=urllib.request.ProxyHandler({'http':proxy_addr})
  opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
  urllib.request.install_opener(opener)
  data=urllib.request.urlopen(req).read().decode('utf-8','ignore')
  return data
#获取微博主页的containerid,爬取微博内容时需要此id
def get_containerid(url):
  data=use_proxy(url,proxy_addr)
  content=json.loads(data).get('data')
  for data in content.get('tabsInfo').get('tabs'):
    if(data.get('tab_type')=='weibo'):
      containerid=data.get('containerid')
  return containerid
#获取微博大V账号的用户基本信息,如:微博昵称、微博地址、微博头像、关注人数、粉丝数、性别、等级等
def get_userInfo(id):
  url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id
  data=use_proxy(url,proxy_addr)
  content=json.loads(data).get('data')
  profile_image_url=content.get('userInfo').get('profile_image_url')
  description=content.get('userInfo').get('description')
  profile_url=content.get('userInfo').get('profile_url')
  verified=content.get('userInfo').get('verified')
  guanzhu=content.get('userInfo').get('follow_count')
  name=content.get('userInfo').get('screen_name')
  fensi=content.get('userInfo').get('followers_count')
  gender=content.get('userInfo').get('gender')
  urank=content.get('userInfo').get('urank')
  print("微博昵称:"+name+"\n"+"微博主页地址:"+profile_url+"\n"+"微博头像地址:"+profile_image_url+"\n"+"是否认证:"+str(verified)+"\n"+"微博说明:"+description+"\n"+"关注人数:"+str(guanzhu)+"\n"+"粉丝数:"+str(fensi)+"\n"+"性别:"+gender+"\n"+"微博等级:"+str(urank)+"\n")
#获取微博内容信息,并保存到文本中,内容包括:每条微博的内容、微博详情页面地址、点赞数、评论数、转发数等
def get_weibo(id,file):
  i=1
  while True:
    url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id
    weibo_url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id+'&containerid='+get_containerid(url)+'&page='+str(i)
    try:
      data=use_proxy(weibo_url,proxy_addr)
      content=json.loads(data).get('data')
      cards=content.get('cards')
      if(len(cards)>0):
        for j in range(len(cards)):
          print("-----正在爬取第"+str(i)+"页,第"+str(j)+"条微博------")
          card_type=cards[j].get('card_type')
          if(card_type==9):
            mblog=cards[j].get('mblog')
            attitudes_count=mblog.get('attitudes_count')
            comments_count=mblog.get('comments_count')
            created_at=mblog.get('created_at')
            reposts_count=mblog.get('reposts_count')
            scheme=cards[j].get('scheme')
            text=mblog.get('text')
            with open(file,'a',encoding='utf-8') as fh:
              fh.write("----第"+str(i)+"页,第"+str(j)+"条微博----"+"\n")
              fh.write("微博地址:"+str(scheme)+"\n"+"发布时间:"+str(created_at)+"\n"+"微博内容:"+text+"\n"+"点赞数:"+str(attitudes_count)+"\n"+"评论数:"+str(comments_count)+"\n"+"转发数:"+str(reposts_count)+"\n")
        i+=1
      else:
        break
    except Exception as e:
      print(e)
      pass
if __name__=="__main__":
  file=id+".txt"
  get_userInfo(id)
  get_weibo(id,file)

爬取结果

Python爬虫爬取新浪微博内容示例【基于代理IP】

Python爬虫爬取新浪微博内容示例【基于代理IP】

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python数据类型详解(四)字典:dict
May 12 Python
python直接访问私有属性的简单方法
Jul 25 Python
Python 将RGB图像转换为Pytho灰度图像的实例
Nov 14 Python
解决python3运行selenium下HTMLTestRunner报错的问题
Dec 27 Python
selenium获取当前页面的url、源码、title的方法
Jun 12 Python
python xlwt如何设置单元格的自定义背景颜色
Sep 03 Python
opencv3/python 鼠标响应操作详解
Dec 11 Python
django实现HttpResponse返回json数据为中文
Mar 27 Python
调整Jupyter notebook的启动目录操作
Apr 10 Python
python文件操作seek()偏移量,读取指正到指定位置操作
Jul 05 Python
Python爬虫中urllib3与urllib的区别是什么
Jul 21 Python
Python 避免字典和元组的多重嵌套问题
Jul 15 Python
OpenCV+python手势识别框架和实例讲解
Aug 03 #Python
Windows下将Python文件打包成.EXE可执行文件的方法
Aug 03 #Python
Python测试网络连通性示例【基于ping】
Aug 03 #Python
python版opencv摄像头人脸实时检测方法
Aug 03 #Python
python 读取摄像头数据并保存的实例
Aug 03 #Python
python+opencv+caffe+摄像头做目标检测的实例代码
Aug 03 #Python
python调用摄像头显示图像的实例
Aug 03 #Python
You might like
JavaScript中对象属性的添加和删除示例
2014/05/12 Javascript
再谈javascript注入 黑客必备!
2016/09/14 Javascript
浅谈AngularJs指令之scope属性详解
2016/10/24 Javascript
Node.js中process模块常用的属性和方法
2016/12/13 Javascript
JavaScript实现简易的天数计算器实例【附demo源码下载】
2017/01/18 Javascript
vue.js开发环境安装教程
2017/03/17 Javascript
H5实现仿flash效果的实现代码
2017/09/29 Javascript
vue 子组件向父组件传值方法
2018/02/26 Javascript
浅谈Vue网络请求之interceptors实际应用
2018/02/28 Javascript
JS面向对象之多选框实现
2020/01/17 Javascript
JS+CSS实现3D切割轮播图
2020/03/21 Javascript
js编写简易的计算器
2020/07/29 Javascript
详解ES6 扩展运算符的使用与注意事项
2020/11/12 Javascript
vue+Element-ui前端实现分页效果
2020/11/15 Javascript
Python实现约瑟夫环问题的方法
2016/05/03 Python
Python进阶之全面解读高级特性之切片
2019/02/19 Python
Python帮你微信头像任意添加装饰别再@微信官方了
2019/09/25 Python
Python Django模板之模板过滤器与自定义模板过滤器示例
2019/10/18 Python
Python中SQLite如何使用
2020/05/27 Python
Python自定义sorted排序实现方法详解
2020/09/18 Python
python解决OpenCV在读取显示图片的时候闪退的问题
2021/02/23 Python
Kivari官网:在线购买波西米亚服装
2018/10/29 全球购物
网络安全类面试题
2015/08/01 面试题
养殖行业的创业计划书
2014/01/05 职场文书
技术总监管理职责范本
2014/03/06 职场文书
市场营销专业毕业生求职信
2014/03/26 职场文书
党员干部群众路线个人整改措施
2014/09/18 职场文书
党的作风建设心得体会
2014/10/22 职场文书
初中作文评语
2014/12/25 职场文书
学生评语集锦
2015/01/04 职场文书
幼儿园重阳节活动总结
2015/05/05 职场文书
恰同学少年观后感
2015/06/08 职场文书
2016教师校本研修心得体会
2016/01/08 职场文书
职工的安全责任书范文!
2019/07/02 职场文书
申论不会写怎么办?教您掌握这6点思维和原则
2019/07/17 职场文书
java多态注意项小结
2021/10/16 Java/Android