Python selenium抓取微博内容的示例代码


Posted in Python onMay 17, 2018

Selenium简介与安装

Selenium是什么?

Selenium也是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。

安装

直接使用pip命令安装即可!

pip install selenium

Python抓取微博有两种方式,一是通过selenium自动登录后从页面直接爬取,二是通过api。

这里采用selenium的方式。

程序:

from selenium import webdriver
import time
import re
#全局变量
driver = webdriver.Chrome("C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")

def loginWeibo(username, password):
  driver.get('https://passport.weibo.cn/signin/login')
  time.sleep(1)

  driver.find_element_by_id("loginName").send_keys("haishu_zheng@163.com")
  driver.find_element_by_id("loginPassword").send_keys("Weibo01061122")

  time.sleep(1)
  driver.find_element_by_id("loginAction").click()

  #driver.close()
  
def visitUserPage(userId):
  driver.get('http://weibo.cn/' + userId)

  print('********************')  
  print('用户资料')
  
  # 1.用户id
  print('用户id:' + userId)
  
  # 2.用户昵称
  strName = driver.find_element_by_xpath("//div[@class='ut']")
  strlist = strName.text.split(' ')
  nickname = strlist[0]
  print('昵称:' + nickname)
  
  # 3.微博数、粉丝数、关注数
  strCnt = driver.find_element_by_xpath("//div[@class='tip2']")
  pattern = r"\d+\.?\d*" # 匹配数字,包含整数和小数
  cntArr = re.findall(pattern, strCnt.text)
  print(strCnt.text)
  print("微博数:" + str(cntArr[0]))
  print("关注数:" + str(cntArr[1]))
  print("粉丝数:" + str(cntArr[2]))
  
  print('\n********************')
  # 4.将用户信息写到文件里
  with open("weibo.txt", "w", encoding = "gb18030") as file:
    file.write("用户ID:" + userId + '\r\n')
    file.write("昵称:" + nickname + '\r\n')
    file.write("微博数:" + str(cntArr[0]) + '\r\n')
    file.write("关注数:" + str(cntArr[1]) + '\r\n')
    file.write("粉丝数:" + str(cntArr[2]) + '\r\n')
    
  # 5.获取微博内容
  # http://weibo.cn/ + userId + ? filter=0&page=1
  # filter为0表示全部,为1表示原创
  print("微博内容")
  
  pageList = driver.find_element_by_xpath("//div[@class='pa']")
  print(pageList.text)
  pattern = r"\d+\d*"     # 匹配数字,只包含整数
  pageArr = re.findall(pattern, pageList.text)
  totalPages = pageArr[1]   # 总共有多少页微博
  print(totalPages)
  
  pageNum = 1     # 第几页
  numInCurPage = 1      # 当前页的第几条微博内容
  contentPath = "//div[@class='c'][{0}]"
  while(pageNum <= 3):  
  #while(pageNum <= int(totalPages)):
    contentUrl = "http://weibo.cn/" + userId + "?filter=0&page=" + str(pageNum)
    driver.get(contentUrl)
    content = driver.find_element_by_xpath(contentPath.format(numInCurPage)).text
    # print("\n" + content) # 微博内容,包含原创和转发
    if "设置:皮肤.图片.条数.隐私" not in content:
      numInCurPage += 1
      with open("weibo.txt", "a", encoding = "gb18030") as file:
        file.write("\r\n" + "\r\n" + content)  # 将微博内容逐条写到weibo.txt中
    else:
      pageNum += 1            # 抓取新一页的内容
      numInCurPage = 1          # 每一页都是从第1条开始抓    
    
if __name__ == '__main__':
  username = 'haishu_zheng@163.com'  # 输入微博账号
  password = 'Weibo01061122'     # 输入密码
  loginWeibo(username, password)   # 要先登录,否则抓取不了微博内容
  time.sleep(3)
  uid = 'xywyw'            # 寻医问药
  visitUserPage(uid)

运行结果:

Python selenium抓取微博内容的示例代码

同时还生成了weibo.txt文件,内容如下

Python selenium抓取微博内容的示例代码

这种方法有个缺陷,就是爬取较多内容会被封IP:

Python selenium抓取微博内容的示例代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python有序字典简单实现方法示例
Sep 28 Python
pandas修改DataFrame列名的方法
Apr 08 Python
python实现txt文件格式转换为arff格式
May 31 Python
浅谈python 读excel数值为浮点型的问题
Dec 25 Python
django2.0扩展用户字段示例
Feb 13 Python
python中的&amp;&amp;及||的实现示例
Aug 07 Python
Python3.7 pyodbc完美配置访问access数据库
Oct 03 Python
Python 中@property的用法详解
Jan 15 Python
使用Jupyter notebooks上传文件夹或大量数据到服务器
Apr 14 Python
Python3 socket即时通讯脚本实现代码实例(threading多线程)
Jun 01 Python
Python列表嵌套常见坑点及解决方案
Sep 30 Python
python for循环赋值问题
Jun 03 Python
Python实现的查询mysql数据库并通过邮件发送信息功能
May 17 #Python
Python实现读取txt文件并转换为excel的方法示例
May 17 #Python
cmd运行python文件时对结果进行保存的方法
May 16 #Python
Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能示例
May 16 #Python
Python使用Dijkstra算法实现求解图中最短路径距离问题详解
May 16 #Python
Python基于Floyd算法求解最短路径距离问题实例详解
May 16 #Python
Python使用selenium实现网页用户名 密码 验证码自动登录功能
May 16 #Python
You might like
PHP 编程请选择正确的文本编辑软件
2006/12/21 PHP
PHP实现的封装验证码类详解
2013/06/18 PHP
PHP通过串口实现发送短信
2015/07/08 PHP
php数字每三位加逗号的功能函数
2015/10/22 PHP
YII2框架中excel表格导出的方法详解
2017/07/21 PHP
深入理解Yii2.0乐观锁与悲观锁的原理与使用
2017/07/26 PHP
jQuery 开发者应该注意的9个错误
2012/05/03 Javascript
jquery焦点图片切换(数字标注/手动/自动播放/横向滚动)
2013/01/24 Javascript
javascript中创建对象的几种方法总结
2013/11/01 Javascript
JS实现闪动的title消息提醒效果
2014/06/20 Javascript
jQuery中dequeue()方法用法实例
2014/12/29 Javascript
KnockoutJS 3.X API 第四章之事件event绑定
2016/10/10 Javascript
Node调用Java的示例代码
2017/09/20 Javascript
React Native使用fetch实现图片上传的示例代码
2018/03/07 Javascript
vue中使用heatmapjs的示例代码(结合百度地图)
2018/09/05 Javascript
nuxt.js中间件实现拦截权限判断的方法
2018/11/21 Javascript
说说Vue.js中的functional函数化组件的使用
2019/02/12 Javascript
详解小程序退出页面时清除定时器
2019/04/28 Javascript
一文搞懂ES6中的Map和Set
2019/05/20 Javascript
微信小程序用户授权、位置授权及获取微信绑定手机号
2019/07/18 Javascript
vue router 传参获取不到的解决方式
2019/11/13 Javascript
微信小程序实现吸顶特效
2020/01/08 Javascript
《javascript设计模式》学习笔记五:Javascript面向对象程序设计工厂模式实例分析
2020/04/08 Javascript
Python中的包和模块实例
2014/11/22 Python
Python连接DB2数据库
2016/08/27 Python
Pandas 数据处理,数据清洗详解
2018/07/10 Python
基于CSS3实现的黑色个性导航菜单效果
2015/09/14 HTML / CSS
goodhealth官方海外旗舰店:新西兰国民营养师
2017/12/15 全球购物
白俄罗斯大卖场:21vek.by
2019/07/25 全球购物
工程专业毕业生自荐信范文
2013/12/25 职场文书
拾金不昧的表扬信
2014/01/16 职场文书
医学生个人求职信范文
2014/02/07 职场文书
人力资源部门的主要职能
2014/02/22 职场文书
篝火晚会策划方案
2014/05/16 职场文书
商品陈列协议书
2014/09/29 职场文书
2015年幼儿园个人工作总结
2015/04/25 职场文书