python3简单实现微信爬虫


Posted in Python onApril 09, 2015

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")
 
from ghost import Ghost
ghost = Ghost(wait_timeout=20)
 
url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")
 
from bs4 import BeautifulSoup
c=0
while True:
  if c>=30:
    break
 
  soup = BeautifulSoup(ghost.content)
 
  for wx in soup.find_all("h4"):
    print wx
 
  page, resources = ghost.evaluate(
    """
    var div1 = document.getElementById("wxbox");
    div1.innerHTML = '';
    """)
  ghost.click("#wxmore a")
  result, resources = ghost.wait_for_selector(".wx-rb3")
 
  c=c+1
  pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

Python 相关文章推荐
pycharm 在windows上编辑代码用linux执行配置的方法
Oct 27 Python
在python中bool函数的取值方法
Nov 01 Python
使用python将请求的requests headers参数格式化方法
Jan 02 Python
Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】
Mar 18 Python
python仿抖音表白神器
Apr 08 Python
Pyqt5 实现跳转界面并关闭当前界面的方法
Jun 19 Python
python 内置函数汇总详解
Sep 16 Python
Python Sphinx使用实例及问题解决
Jan 17 Python
浅谈在django中使用redirect重定向数据传输的问题
Mar 13 Python
Python实现猜年龄游戏代码实例
Mar 25 Python
django项目中使用云片网发送短信验证码的实现
Jan 19 Python
python 通过使用Yolact训练数据集
Apr 06 Python
初步理解Python进程的信号通讯
Apr 09 #Python
详解Python中的多线程编程
Apr 09 #Python
用Python解析XML的几种常见方法的介绍
Apr 09 #Python
在Python中使用pngquant压缩png图片的教程
Apr 09 #Python
python optparse模块使用实例
Apr 09 #Python
Python中处理时间的几种方法小结
Apr 09 #Python
Python CSV模块使用实例
Apr 09 #Python
You might like
php不用内置函数对数组排序的两个算法代码
2010/02/08 PHP
php 读取文件乱码问题
2010/02/20 PHP
ThinkPHP与PHPExcel冲突解决方法
2011/08/08 PHP
浅析ThinkPHP中execute和query方法的区别
2014/06/13 PHP
php提交表单发送邮件的方法
2015/03/20 PHP
Thinkphp 框架配置操作之配置加载与读取配置实例分析
2020/05/15 PHP
IE DOM实现存在的部分问题及解决方法
2009/07/25 Javascript
jQuery开发者都需要知道的5个小技巧
2010/01/08 Javascript
javascript AOP 实现ajax回调函数使用比较方便
2010/11/20 Javascript
基于jQuery实现文本框缩放以及上下移动功能
2014/11/24 Javascript
Jquery 效果使用详解
2015/11/23 Javascript
js中的面向对象入门
2017/03/06 Javascript
react-native使用react-navigation进行页面跳转导航的示例
2017/09/07 Javascript
three.js中文文档学习之如何本地运行详解
2017/11/20 Javascript
jQuery AJAX与jQuery事件的分析讲解
2019/02/18 jQuery
layui radio单选限制下一个radio单选的实例
2019/09/03 Javascript
浅谈layui使用模板引擎动态渲染元素要注意的问题
2019/09/14 Javascript
js实现秒表计时器
2019/12/16 Javascript
python网络编程学习笔记(八):XML生成与解析(DOM、ElementTree)
2014/06/09 Python
Python3基础之基本运算符概述
2014/08/13 Python
跟老齐学Python之Python安装
2014/09/12 Python
详解用python写网络爬虫-爬取新浪微博评论
2019/05/10 Python
Django Rest framework三种分页方式详解
2019/07/26 Python
Python获取一个用户名的组ID过程解析
2019/09/03 Python
Python使用Pandas库常见操作详解
2020/01/16 Python
Python 列表反转显示的四种方法
2020/11/16 Python
如何用用Python将地址标记在地图上
2021/02/07 Python
CSS Grid布局教程之网格单元格布局
2014/12/30 HTML / CSS
来自Ocado的宠物商店:Fetch
2018/07/10 全球购物
大型会议接待方案
2014/03/01 职场文书
小学老师寄语大全
2014/04/04 职场文书
中文专业毕业生自荐信
2014/05/24 职场文书
暑期家教宣传单
2015/07/14 职场文书
2016秋季幼儿园开学寄语
2015/12/03 职场文书
分析SQL窗口函数之取值窗口函数
2022/04/21 Oracle
Python软件包安装的三种常见方法
2022/07/07 Python