python3简单实现微信爬虫


Posted in Python onApril 09, 2015

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")
 
from ghost import Ghost
ghost = Ghost(wait_timeout=20)
 
url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")
 
from bs4 import BeautifulSoup
c=0
while True:
  if c>=30:
    break
 
  soup = BeautifulSoup(ghost.content)
 
  for wx in soup.find_all("h4"):
    print wx
 
  page, resources = ghost.evaluate(
    """
    var div1 = document.getElementById("wxbox");
    div1.innerHTML = '';
    """)
  ghost.click("#wxmore a")
  result, resources = ghost.wait_for_selector(".wx-rb3")
 
  c=c+1
  pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

Python 相关文章推荐
python多线程编程中的join函数使用心得
Sep 02 Python
提升Python程序运行效率的6个方法
Mar 31 Python
MySQL适配器PyMySQL详解
Sep 20 Python
python 读取竖线分隔符的文本方法
Dec 20 Python
详解爬虫被封的问题
Apr 23 Python
FFrpc python客户端lib使用解析
Aug 24 Python
PyQt5中多线程模块QThread使用方法的实现
Jan 31 Python
python requests包的request()函数中的参数-params和data的区别介绍
May 05 Python
Django Model中字段(field)的各种选项说明
May 19 Python
Django自带用户认证系统使用方法解析
Nov 12 Python
python实现图片九宫格分割的示例
Apr 25 Python
将Python代码打包成.exe可执行文件的完整步骤
May 12 Python
初步理解Python进程的信号通讯
Apr 09 #Python
详解Python中的多线程编程
Apr 09 #Python
用Python解析XML的几种常见方法的介绍
Apr 09 #Python
在Python中使用pngquant压缩png图片的教程
Apr 09 #Python
python optparse模块使用实例
Apr 09 #Python
Python中处理时间的几种方法小结
Apr 09 #Python
Python CSV模块使用实例
Apr 09 #Python
You might like
咖啡豆分级制度 咖啡豆等级分类 咖啡豆是按口感分类的吗?
2021/03/05 新手入门
PHP程序员必须清楚的问题汇总
2014/12/18 PHP
[原创]php实现 data url的图片生成与保存
2016/12/04 PHP
javascript的事件描述
2006/09/08 Javascript
Javascript实现重力弹跳拖拽运动效果示例
2013/06/28 Javascript
js实现页面转发功能示例代码
2013/08/05 Javascript
jquery鼠标滑过提示title具体实现代码
2013/08/06 Javascript
js判读浏览器是否支持html5的canvas的代码
2013/11/18 Javascript
js Array操作的最简短最容易理解方法
2013/12/09 Javascript
JavaScript极简入门教程(二):对象和函数
2014/10/25 Javascript
原生javascript实现解析XML文档与字符串
2016/03/01 Javascript
学JavaScript七大注意事项【必看】
2016/05/04 Javascript
详解AngularJS 模块化
2017/06/14 Javascript
Javascript中 toFixed四舍六入方法
2017/08/21 Javascript
浅谈Angular4中常用管道
2017/09/27 Javascript
微信小程序之GET请求的实例详解
2017/09/29 Javascript
微信小程序使用toast消息对话框提示用户忘记输入用户名或密码功能【附源码下载】
2017/12/09 Javascript
VUE 实现滚动监听 导航栏置顶的方法
2018/09/11 Javascript
vue中$nextTick的用法讲解
2019/01/17 Javascript
javascript跳转与返回和刷新页面的实例代码
2019/11/20 Javascript
JQuery常用简单动画操作方法回顾与总结
2019/12/07 jQuery
js绘制一条直线并旋转45度
2020/08/21 Javascript
Python实现获取操作系统版本信息方法
2015/04/08 Python
python从入门到精通(DAY 3)
2015/12/20 Python
Python数据分析之获取双色球历史信息的方法示例
2018/02/03 Python
python lxml中etree的简单应用
2019/05/10 Python
python使用itchat模块给心爱的人每天发天气预报
2019/11/25 Python
Python基础类继承重写实现原理解析
2020/04/03 Python
Python  Asyncio模块实现的生产消费者模型的方法
2021/03/01 Python
2014国庆黄金周超市促销活动方案
2014/09/21 职场文书
教师个人教学总结
2015/02/11 职场文书
同事欢送会致辞
2015/07/31 职场文书
2016毕业实习单位评语大全
2015/12/01 职场文书
教师师德承诺书2016
2016/03/25 职场文书
关于党风廉政建设宣传教育月的活动总结!
2019/08/08 职场文书
python多次执行绘制条形图
2022/04/20 Python