python3简单实现微信爬虫


Posted in Python onApril 09, 2015

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")
 
from ghost import Ghost
ghost = Ghost(wait_timeout=20)
 
url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")
 
from bs4 import BeautifulSoup
c=0
while True:
  if c>=30:
    break
 
  soup = BeautifulSoup(ghost.content)
 
  for wx in soup.find_all("h4"):
    print wx
 
  page, resources = ghost.evaluate(
    """
    var div1 = document.getElementById("wxbox");
    div1.innerHTML = '';
    """)
  ghost.click("#wxmore a")
  result, resources = ghost.wait_for_selector(".wx-rb3")
 
  c=c+1
  pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

Python 相关文章推荐
Python实现批量检测HTTP服务的状态
Oct 27 Python
Python操作SQLite数据库的方法详解
Jun 16 Python
Python简单定义与使用字典dict的方法示例
Jul 25 Python
Python实现字典按照value进行排序的方法分析
Dec 23 Python
python爬虫使用cookie登录详解
Dec 27 Python
pandas.DataFrame.to_json按行转json的方法
Jun 05 Python
python 实现将字典dict、列表list中的中文正常显示方法
Jul 06 Python
对python:print打印时加u的含义详解
Dec 15 Python
pandas实现将日期转换成timestamp
Dec 07 Python
使用Bazel编译TensorBoard教程
Feb 15 Python
Python3自动生成MySQL数据字典的markdown文本的实现
May 07 Python
Python必备技巧之字符数据操作详解
Mar 23 Python
初步理解Python进程的信号通讯
Apr 09 #Python
详解Python中的多线程编程
Apr 09 #Python
用Python解析XML的几种常见方法的介绍
Apr 09 #Python
在Python中使用pngquant压缩png图片的教程
Apr 09 #Python
python optparse模块使用实例
Apr 09 #Python
Python中处理时间的几种方法小结
Apr 09 #Python
Python CSV模块使用实例
Apr 09 #Python
You might like
php中通过curl smtp发送邮件
2012/06/05 PHP
ThinkPHP 404页面的设置方法
2015/01/14 PHP
如何解决PHP使用mysql_query查询超大结果集超内存问题
2016/03/14 PHP
PHP添加PNG图片背景透明水印操作类定义与用法示例
2019/03/12 PHP
JS解密入门 最终变量劫持
2008/06/25 Javascript
cookie丢失问题(认证失效) Authentication (用户验证信息)也会丢失
2009/06/04 Javascript
js实现网页抽奖实例
2015/08/05 Javascript
javascript函数式编程程序员的工具集
2015/10/11 Javascript
使用CoffeeScrip优美方式编写javascript代码
2015/10/28 Javascript
javascript简单进制转换实现方法
2016/11/24 Javascript
jQuery无刷新上传之uploadify简单代码
2017/01/17 Javascript
详解vue移动端项目的适配(以mint-ui为例)
2018/08/17 Javascript
Vue2.0 v-for filter列表过滤功能的实现
2018/09/07 Javascript
nodejs中用npm初始化来创建package.json的实例讲解
2018/10/10 NodeJs
在 Vue 应用中使用 Netlify 表单功能的方法详解
2019/06/03 Javascript
JS实现页面跳转与刷新的方法汇总
2019/08/30 Javascript
vue实现表格过滤功能
2019/09/27 Javascript
封装一下vue中的axios示例代码详解
2020/02/16 Javascript
vue 中的动态传参和query传参操作
2020/11/09 Javascript
[01:02:02]DOTA2上海特级锦标赛A组败者赛 EHOME VS CDEC第二局
2016/02/25 DOTA
跟老齐学Python之一个免费的实验室
2014/09/14 Python
Python中的fileinput模块的简单实用示例
2015/07/09 Python
python制作企业邮箱的爆破脚本
2016/10/05 Python
Python复数属性和方法运算操作示例
2017/07/21 Python
Python实现PS滤镜的万花筒效果示例
2018/01/23 Python
Python中对数组集进行按行打乱shuffle的方法
2018/11/08 Python
python如何实现代码检查
2019/06/28 Python
python 梯度法求解函数极值的实例
2019/07/10 Python
pip 安装库比较慢的解决方法(国内镜像)
2019/10/06 Python
基于Python检测动态物体颜色过程解析
2019/12/04 Python
Python try except else使用详解
2021/01/12 Python
Math.round(11.5)等於多少? Math.round(-11.5)等於多少?
2015/01/27 面试题
论文指导教师评语
2014/04/28 职场文书
八一建军节演讲稿
2014/09/10 职场文书
党员评议个人总结
2014/10/20 职场文书
MySQL中VARCHAR与CHAR格式数据的区别
2021/05/26 MySQL