python实现爬虫统计学校BBS男女比例(一)


Posted in Python onDecember 31, 2015

一、项目需求

前言:BBS上每个id对应一个用户,他们注册时候会填写性别(男、女、保密三选一)。

经过检查,BBS注册用户的id对应1-300000,大概是30万的用户

笔者想用Python统计BBS上有多少注册用户,以及这些用户的性别分布

顺带可以统计最近活动用户是多少,其中男、女、保密各占多少

活动用户的限定为“上次活动时间”为 2015年

二、最终结果

性别信息保存在文本里,一行表示一个用户的信息,各列分别表示
【行数,id(涂掉了),性别,最后活跃时间】

python实现爬虫统计学校BBS男女比例(一)

python实现爬虫统计学校BBS男女比例(一)

python实现爬虫统计学校BBS男女比例(一)

三、实现思路

用户性别信息在哪个页面?

得到下面个人主页

python实现爬虫统计学校BBS男女比例(一)

把后面的uid=256730数字改成其他数字,就可以得到其他人的主页。

另外,如果上面的链接无法得到性别,可以再通过这个链接,也是修改uid可以访问其他人主页。

http://rs.xidian.edu.cn/home.php?mod=space&uid=256730&do=profile

python实现爬虫统计学校BBS男女比例(一)

四、数据如何存储?

用数据库还是其他方案?

为了阅读方便,我们考虑用文本文件存储。

30万的用户存储在一个文本里会导致文本过大。如果程序被意外终止,30 万的用户数据需要重新爬取。

我们我们考虑一个文本里存放1000条记录,理论上可以用30个文本来存放30万条数据。

文本名称为correct1-1001.txt correct47001-48001.txt,注意:1-1001是[1,1001),包含1,不包含1001

1、使用正则匹配找出性别

查看网页源代码

<!-- 找出性别这一栏-->
<li><em>性别</em>女</li>

还可以找到活动时间-->
<li><em>上次发表时间</em>2015-11-4 20:04</li>

<!-- 有些id不存在相应的用户,会有这样的提示-->
<p>抱歉,您指定的用户空间不存在</p>

python实现爬虫统计学校BBS男女比例(一)

我们可以利用re模块来进行正则匹配

sexRe = re.compile(u'em>\u6027\u522b</em>(.*?)</li')
timeRe = re.compile(u'em>\u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4</em>(.*?)</li')
notexistRe = re.compile(u'(p>)\u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728<')

因为中文的原因,需要Unicode 转换 中文工具,可以用站长工具 Unicode 转换 ASCII,ASCII 转换 Unicode,比如下面这个链接: http://tool.chinaz.com/Tools/Unicode.aspx

  • 性别的Unicode 是 \u6027\u522b
  • 上次活动时间 \u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4
  • 抱歉,您指定的用户空间不存在
  • \u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728

这儿是简单获取性别的源代码,通过urllib2对链接myurl发送一个get请求,将得到的html保存下来。注意编码问题unicode(html, 'utf-8'),然后对html正则匹配seWord。

如果该用户有性别信息,返回对应的性别;否则,返回None

#对myurl页面进行seWord匹配查找
#seWord是用unicode表示
def getInfo(myurl, seWord):
  headers = {
    'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
  }
  req = urllib2.Request(
    url=myurl,
    headers=headers
  )
  time.sleep(0.3)
  response = urllib2.urlopen(req)
  html = response.read()
  html = unicode(html, 'utf-8') #需要进行编码,否则找不到信息
  timeMatch = seWord.search(html) #因为seWord是用unicode表示
  if timeMatch:
    s = timeMatch.groups()
    return s[0]
  else:
    return None

五、错误处理

1、断网情况(热修复方案)

  • 总共爬虫需要几天时间,用的校园网,中间可能有断网的可能。
  • 如果发现断网,我们可以重新连上互联网,这中间有些用户的性别没有获取到。
  • 程序运行时间较长,断一次网就重新从id=1开始跑是不科学的。而且你也不能保证这次就网一直是好的。
  • 为了不让程序重头开始跑,所以我们是记录下断网中漏掉的用户id。
  • 等一次程序跑完了(这需要几天的时间),我们再跑记录下来的id重新跑一次。

2、无法获取性别

  • 这种有两种情况:
  • 一是真的没有性别(用户没有填写)
  • 二是服务器抽了,咱们请求网页失败了。
  • 这种咱们也是和上面类似,记录下失败的id,后面再重新跑。

知识点小结

对于这种错误,SyntaxError: Non-ASCII character '\xe5' in file

需要在文件开头加上# -*- coding: UTF-8 -*-

因为 python 的默认编码文件是用的 ANSCII 码

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
BBS网页源代码使用utf-8进行编码的。

本项目设计到中文字符,自然会遇到编码问题。

import sys
print sys.getdefaultencoding()

输出 ascii
从上面的代码可以看出 sys.defaultencoding 是 ANSCII,ANSCII是无法对中文字符进行编码的。UTF-8是Unicode的实现方式之一,可以对中文字符进行编码。遇到中文字符,我们需要加上这行代码

reload(sys)
# sys.setdefaultencoding('utf-8')

更改 sys.defaultencoding 为'utf-8'

后期整理的时候发现了自己一个小问题,因为正则表达式当时用unicode来表示的,所以需要把html进行unicode转换进行查找。
后来发现可以直接用汉字对原来的html进行查找。

# -*- coding: UTF-8 -*-
  html = response.read()
  sexRe = re.compile('em>性别</em>(.*?)</li')

  timeMatch = sexRe.search(html)
  if timeMatch:
    s = timeMatch.groups()
    print "字符串 "+s[0]


  html = unicode(html, 'utf-8')
  sexRe = re.compile(u'em>\u6027\u522b</em>(.*?)</li')
  timeMatch = sexRe.search(html)
  if timeMatch:
    s = timeMatch.groups()
    print "unicode " +s[0]

输出

字符串 女
unicode 女

  html = response.read()
  print len(html)
  html = unicode(html, 'utf-8') #
  print len(html)

输出 

html = response.read()
  print len(html)
  html = unicode(html, 'utf-8') #
  print len(html)

输出

35423
33658

以上就是python实现爬虫统计学校BBS男女比例的前期准备和方案分析,希望对大家的学习有所帮助。

Python 相关文章推荐
python中ConfigParse模块的用法
Sep 29 Python
Python实现二分查找算法实例
May 26 Python
Django框架下在URLconf中指定视图缓存的方法
Jul 23 Python
python2.7读取文件夹下所有文件名称及内容的方法
Feb 24 Python
python 读取DICOM头文件的实例
May 07 Python
Python 忽略warning的输出方法
Oct 18 Python
python 判断矩阵中每行非零个数的方法
Jan 26 Python
pytest中文文档之编写断言
Sep 12 Python
jupyter lab文件导出/下载方式
Apr 22 Python
浅谈numpy中np.array()与np.asarray的区别以及.tolist
Jun 03 Python
解决Keras自带数据集与预训练model下载太慢问题
Jun 12 Python
10个示例带你掌握python中的元组
Nov 23 Python
Python 功能和特点(新手必学)
Dec 30 #Python
python实现文本文件合并
Dec 29 #Python
Python验证码识别处理实例
Dec 28 #Python
在Windows系统上搭建Nginx+Python+MySQL环境的教程
Dec 25 #Python
Windows系统下使用flup搭建Nginx和Python环境的方法
Dec 25 #Python
在Linux系统上通过uWSGI配置Nginx+Python环境的教程
Dec 25 #Python
Linux系统上Nginx+Python的web.py与Django框架环境
Dec 25 #Python
You might like
用sql命令修改数据表中的一个字段为非空(not null)的语句
2010/06/04 PHP
php _autoload自动加载类与机制分析
2012/02/10 PHP
关于php正则匹配汉字的方法介绍
2013/04/25 PHP
两种设置php载入页面时编码的方法
2014/07/29 PHP
PHP生成(支持多模板)二维码海报代码
2018/04/30 PHP
php设计模式之策略模式实例分析【星际争霸游戏案例】
2020/03/26 PHP
jQuery 树形结构的选择器
2010/02/15 Javascript
基于jquery的时间段实现代码
2012/08/02 Javascript
仿新浪微博返回顶部的jquery实现代码
2012/10/01 Javascript
javascipt基础内容--需要注意的细节
2013/04/10 Javascript
JavaScript打印iframe内容示例代码
2013/08/20 Javascript
js四舍五入数学函数round使用实例
2014/05/09 Javascript
实例讲解jquery与json的结合
2016/01/07 Javascript
AngularJS入门教程之双向绑定详解
2016/08/18 Javascript
JS自定义函数对web前端上传的文件进行类型大小判断
2016/10/19 Javascript
基于Javascript倒计时效果
2016/12/22 Javascript
jquery图片放大镜效果
2017/06/23 jQuery
Thinkjs3新手入门之如何使用静态资源目录
2017/12/06 Javascript
JavaScript时间戳与时间日期间相互转换
2017/12/11 Javascript
自定义PC微信扫码登录样式写法
2017/12/12 Javascript
JS集合set类的实现与使用方法示例
2019/02/01 Javascript
解决pyqt中ui编译成窗体.py中文乱码的问题
2016/12/23 Python
Ubuntu 16.04 LTS中源码安装Python 3.6.0的方法教程
2016/12/27 Python
python 遍历字符串(含汉字)实例详解
2017/04/04 Python
使用sklearn进行对数据标准化、归一化以及将数据还原的方法
2018/07/11 Python
Python Des加密解密如何实现软件注册码机器码
2020/01/08 Python
Django choices下拉列表绑定实例
2020/03/13 Python
HTML5: Web 标准最巨大的飞跃
2008/10/17 HTML / CSS
谈一谈HTML5本地存储技术
2016/03/02 HTML / CSS
新加坡网上化妆品店:Best Buy World
2018/05/18 全球购物
新娘父亲婚礼致辞
2014/01/16 职场文书
区优秀教师事迹材料
2014/02/10 职场文书
员工工作自我评价
2014/09/26 职场文书
公司保洁员管理制度
2015/08/04 职场文书
廉洁自律心得体会2016
2016/01/13 职场文书
总结几个非常实用的Python库
2021/06/26 Python