Python抓取Discuz!用户名脚本代码


Posted in Python onDecember 30, 2013

最近学习Python,于是就用Python写了一个抓取Discuz!用户名的脚本,代码很少但是很搓。思路很简单,就是正则匹配title然后提取用户名写入文本文档。程序以百度站长社区为例(一共有40多万用户),挂在VPS上就没管了,虽然用了延时但是后来发现一共只抓取了50000多个用户名就被封了。。。
代码如下:

# -*- coding: utf-8 -*-
# Author: 天一
# Blog: http://www.90blog.org
# Version: 1.0
# 功能: Python抓取百度站长平台用户名脚本import urllib
import urllib2  
import re
import time
def BiduSpider():
     pattern = re.compile(r'<title>(.*)的个人资料  百度站长社区 </title>')
     uid=1
     thedatas = []
     while uid <400000:
         theUrl = "http://bbs.zhanzhang.baidu.com/home.php?mod=space&uid="+str(uid)
         uid +=1
         theResponse  = urllib2.urlopen(theUrl)
         thePage = theResponse.read()
         #正则匹配用户名
         theFindall = re.findall(pattern,thePage)
         #等待0.5秒,以防频繁访问被禁止
         time.sleep(0.5)
         if theFindall :
              #中文编码防止乱码输出
              thedatas = theFindall[0].decode('utf-8').encode('gbk')
              #写入txt文本文档
              f = open('theUid.txt','a')
              f.writelines(thedatas+'\n')
              f.close()
if __name__ == '__main__':
     BiduSpider()

最终成果如下:

Python抓取Discuz!用户名脚本代码

Python 相关文章推荐
Python中有趣在__call__函数
Jun 21 Python
Python实现将xml导入至excel
Nov 20 Python
Python生成器定义与简单用法实例分析
Apr 30 Python
python执行CMD指令,并获取返回的方法
Dec 19 Python
python ddt数据驱动最简实例代码
Feb 22 Python
python调试神器PySnooper的使用
Jul 03 Python
简单了解python元组tuple相关原理
Dec 02 Python
基于python实现上传文件到OSS代码实例
May 09 Python
Python命名空间namespace及作用域原理解析
Jun 05 Python
Numpy中ndim、shape、dtype、astype的用法详解
Jun 14 Python
python给视频添加背景音乐并改变音量的具体方法
Jul 19 Python
Python Socket多线程并发原理及实现
Dec 11 Python
python之模拟鼠标键盘动作具体实现
Dec 30 #Python
python多线程http下载实现示例
Dec 30 #Python
python正则匹配查询港澳通行证办理进度示例分享
Dec 27 #Python
python模拟登录百度代码分享(获取百度贴吧等级)
Dec 27 #Python
python读文件逐行处理的示例代码分享
Dec 27 #Python
python调用cmd复制文件代码分享
Dec 27 #Python
win7安装python生成随机数代码分享
Dec 27 #Python
You might like
第九节--绑定
2006/11/16 PHP
用PHP实现读取和编写XML DOM代码
2010/04/07 PHP
PHP 作用域解析运算符(::)
2010/07/27 PHP
PHP 字符串正则替换函数preg_replace使用说明
2011/07/15 PHP
thinkphp特殊标签用法概述
2014/11/24 PHP
浅谈php7的重大新特性
2015/10/23 PHP
Javascript 日期处理之时区问题
2009/10/08 Javascript
Jquery数独游戏解析(一)-页面布局
2010/11/05 Javascript
javascript时区函数介绍
2012/09/14 Javascript
jquery ajax跨域解决方法(json方式)
2014/02/04 Javascript
JavaScript常用脚本汇总(三)
2015/03/04 Javascript
jQuery插件实现适用于移动端的地址选择器
2016/02/18 Javascript
基于jquery实现智能提示控件intellSeach.js
2016/03/17 Javascript
js/jq仿window文件夹移动/剪切/复制等操作代码
2017/03/08 Javascript
vue.js删除动态绑定的radio的指定项
2017/06/02 Javascript
vue项目关闭eslint校验
2018/03/21 Javascript
微信小程序之onLaunch与onload异步问题详解
2019/03/28 Javascript
layui使用form表单实现post请求页面跳转的方法
2019/09/14 Javascript
[01:34:42]NAVI vs EG 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/17 DOTA
[01:09:19]DOTA2-DPC中国联赛 正赛 VG vs Aster BO3 第二场 2月28日
2021/03/11 DOTA
5个很好的Python面试题问题答案及分析
2018/01/19 Python
python3如何将docx转换成pdf文件
2018/03/23 Python
Python中的整除和取模实例
2020/06/03 Python
Lenox官网:精美的瓷器&独特的礼品
2017/02/12 全球购物
将时尚融入珠宝:Adornmonde
2019/10/17 全球购物
介绍一下grep命令的使用
2015/06/12 面试题
介绍一些UNIX常用简单命令
2014/11/11 面试题
2014自荐信的写作技巧
2014/01/28 职场文书
九年级英语教学反思
2014/01/31 职场文书
教师对学生的寄语
2014/04/03 职场文书
《猴子种果树》教学反思
2014/04/26 职场文书
党员干部四风问题整改措施思想汇报
2014/10/12 职场文书
酒店办公室主任岗位职责
2015/04/01 职场文书
银行资信证明
2015/06/17 职场文书
修辞手法有哪些?
2019/08/29 职场文书
带你学习MySQL执行计划
2021/05/31 MySQL