python3简单实现微信爬虫


Posted in Python onApril 09, 2015

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")
 
from ghost import Ghost
ghost = Ghost(wait_timeout=20)
 
url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")
 
from bs4 import BeautifulSoup
c=0
while True:
  if c>=30:
    break
 
  soup = BeautifulSoup(ghost.content)
 
  for wx in soup.find_all("h4"):
    print wx
 
  page, resources = ghost.evaluate(
    """
    var div1 = document.getElementById("wxbox");
    div1.innerHTML = '';
    """)
  ghost.click("#wxmore a")
  result, resources = ghost.wait_for_selector(".wx-rb3")
 
  c=c+1
  pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

Python 相关文章推荐
python实现html转ubb代码(html2ubb)
Jul 03 Python
web.py获取上传文件名的正确方法
Aug 26 Python
在Python中处理时间之clock()方法的使用
May 22 Python
python实现m3u8格式转换为mp4视频格式
Feb 28 Python
使用Python机器学习降低静态日志噪声
Sep 29 Python
Python树莓派学习笔记之UDP传输视频帧操作详解
Nov 15 Python
scrapy数据存储在mysql数据库的两种方式(同步和异步)
Feb 18 Python
python中for in的用法详解
Apr 17 Python
Python3自定义json逐层解析器代码
May 11 Python
Python 发送邮件方法总结
Aug 10 Python
详解python with 上下文管理器
Sep 02 Python
Python .py生成.pyd文件并打包.exe 的注意事项说明
Mar 04 Python
初步理解Python进程的信号通讯
Apr 09 #Python
详解Python中的多线程编程
Apr 09 #Python
用Python解析XML的几种常见方法的介绍
Apr 09 #Python
在Python中使用pngquant压缩png图片的教程
Apr 09 #Python
python optparse模块使用实例
Apr 09 #Python
Python中处理时间的几种方法小结
Apr 09 #Python
Python CSV模块使用实例
Apr 09 #Python
You might like
php获得网站访问统计信息类Compete API用法实例
2015/04/02 PHP
js一组验证函数
2008/12/20 Javascript
filters.revealTrans.Transition使用方法小结
2010/08/19 Javascript
jquery 读取页面load get post ajax 四种方式代码写法
2011/04/02 Javascript
JavaScript显示当然日期和时间即年月日星期和时间
2013/10/29 Javascript
Vue.js基础知识汇总
2016/04/27 Javascript
利用JS提交表单的几种方法和验证(必看篇)
2016/09/17 Javascript
详解Node.js中的事件机制
2016/09/22 Javascript
jQuery中库的引用方法
2018/01/06 jQuery
使用Node搭建reactSSR服务端渲染架构
2018/08/30 Javascript
详解在Node.js中发起HTTP请求的5种方法
2019/01/10 Javascript
浅谈react-router@4.0 使用方法和源码分析
2019/06/04 Javascript
微信小程序实现侧边栏分类
2019/10/21 Javascript
vue表单中遍历表单操作按钮的显示隐藏示例
2019/10/30 Javascript
javascript设计模式 ? 职责链模式原理与用法实例分析
2020/04/16 Javascript
vue用ant design中table表格,点击某行时触发的事件操作
2020/10/28 Javascript
Python的pycurl包用法简介
2015/11/13 Python
Python入门_浅谈字符串的分片与索引、字符串的方法
2017/05/16 Python
Python使用flask框架操作sqlite3的两种方式
2018/01/31 Python
Python调用服务接口的实例
2019/01/03 Python
Python关于excel和shp的使用在matplotlib
2019/01/03 Python
Python3安装Pillow与PIL的方法
2019/04/03 Python
爱淘宝:淘宝网购物分享平台
2017/04/28 全球购物
Cecil Mode法国在线商店:女性时尚
2021/01/08 全球购物
教师实习自我鉴定
2013/12/13 职场文书
英语生日邀请函
2014/01/23 职场文书
工作过失检讨书
2014/02/23 职场文书
保护环境建议书100字
2014/05/13 职场文书
装配出错检讨书
2014/09/23 职场文书
写给同学的新学期寄语
2015/02/27 职场文书
2015年收银工作总结范文
2015/04/01 职场文书
硕士论文致谢范文
2015/05/14 职场文书
全国劳模先进事迹材料(2016精选版)
2016/02/25 职场文书
80后创业总结的9条职场用人思想,记得收藏
2019/08/13 职场文书
Windows7下FTP搭建图文教程
2022/08/05 Servers
Redis实战之Lettuce的使用技巧详解
2022/12/24 Redis