python3简单实现微信爬虫


Posted in Python onApril 09, 2015

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")
 
from ghost import Ghost
ghost = Ghost(wait_timeout=20)
 
url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")
 
from bs4 import BeautifulSoup
c=0
while True:
  if c>=30:
    break
 
  soup = BeautifulSoup(ghost.content)
 
  for wx in soup.find_all("h4"):
    print wx
 
  page, resources = ghost.evaluate(
    """
    var div1 = document.getElementById("wxbox");
    div1.innerHTML = '';
    """)
  ghost.click("#wxmore a")
  result, resources = ghost.wait_for_selector(".wx-rb3")
 
  c=c+1
  pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

Python 相关文章推荐
MySQLdb ImportError: libmysqlclient.so.18解决方法
Aug 21 Python
Python实现单词拼写检查
Apr 25 Python
python3学习笔记之多进程分布式小例子
Feb 13 Python
Python cookbook(数据结构与算法)筛选及提取序列中元素的方法
Mar 19 Python
详解Python if-elif-else知识点
Jun 11 Python
Windows 8.1 64bit下搭建 Scrapy 0.22 环境
Nov 18 Python
python添加模块搜索路径和包的导入方法
Jan 19 Python
Python实现打砖块小游戏代码实例
May 18 Python
python使用ctypes调用扩展模块的实例方法
Jan 28 Python
python的dict判断key是否存在的方法
Dec 09 Python
全网最详细的PyCharm+Anaconda的安装过程图解
Jan 25 Python
Python中第三方库Faker的使用详解
Apr 02 Python
初步理解Python进程的信号通讯
Apr 09 #Python
详解Python中的多线程编程
Apr 09 #Python
用Python解析XML的几种常见方法的介绍
Apr 09 #Python
在Python中使用pngquant压缩png图片的教程
Apr 09 #Python
python optparse模块使用实例
Apr 09 #Python
Python中处理时间的几种方法小结
Apr 09 #Python
Python CSV模块使用实例
Apr 09 #Python
You might like
玩转图像函数库―常见图形操作
2006/09/03 PHP
php获取远程文件内容的函数
2015/11/02 PHP
php生成4位数字验证码的实现代码
2015/11/23 PHP
PHP7导出Excel报ERR_EMPTY_RESPONSE解决方法
2019/04/16 PHP
屏蔽鼠标右键、Ctrl+n、shift+F10、F5刷新、退格键 的javascript代码
2007/04/01 Javascript
JSON 学习之JSON in JavaScript详细使用说明
2010/02/23 Javascript
关于jquery append() html时的小问题的解决方法
2010/12/16 Javascript
javascript 模拟坦克大战游戏(html5版)附源码下载
2014/04/08 Javascript
JavaScript模块随意拖动示例代码
2014/05/27 Javascript
JavaScript中合并数组的N种方法
2014/09/16 Javascript
JavaScript中提前声明变量或函数例子
2014/11/12 Javascript
Angular中的Promise对象($q介绍)
2015/03/03 Javascript
JavaScript定时器和优化的取消定时器方法
2015/07/03 Javascript
JavaScript保留关键字汇总
2015/12/01 Javascript
javascript运动效果实例总结(放大缩小、滑动淡入、滚动)
2016/01/08 Javascript
浅谈react 同构之样式直出
2017/11/07 Javascript
使用express+multer实现node中的图片上传功能
2018/02/02 Javascript
Javascript格式化并高亮xml字符串的方法及注意事项
2018/08/13 Javascript
js中获取URL参数的共用方法getRequest()方法实例详解
2018/10/24 Javascript
35个最好用的Vue开源库(史上最全)
2019/01/03 Javascript
vue.js指令v-for使用以及下标索引的获取
2019/01/31 Javascript
微信小程序新手教程之启动页的重要性
2019/03/03 Javascript
关于微信小程序map组件z-index的层级问题分析
2019/07/09 Javascript
微信公众号获取用户地理位置并列出附近的门店的示例代码
2019/07/25 Javascript
vue 通过base64实现图片下载功能
2020/12/19 Vue.js
three.js如何实现3D动态文字效果
2021/03/03 Javascript
[51:30]OG vs LGD 2018国际邀请赛淘汰赛BO3 第二场 8.26
2018/08/30 DOTA
Pycharm运行加载文本出现错误的解决方法
2019/06/27 Python
python函数调用,循环,列表复制实例
2020/05/03 Python
解决Pycharm双击图标启动不了的问题(JetBrains全家桶通用)
2020/08/07 Python
Made in Design意大利:现代家具、名家灯具和装饰
2020/10/27 全球购物
运动会400米加油稿(8篇)
2014/09/22 职场文书
工程项目经理岗位职责
2015/02/02 职场文书
乡镇团代会开幕词
2016/03/04 职场文书
Nginx反爬虫策略,防止UA抓取网站
2021/03/31 Servers
多台电脑共享文件怎么设置?多台电脑共享文件操作教程
2022/04/08 数码科技