用Python编写简单的微博爬虫


Posted in Python onMarch 04, 2016

先说点题外话,我一开始想使用Sina Weibo API来获取微博内容,但后来发现新浪微博的API限制实在太多,大家感受一下:

用Python编写简单的微博爬虫

只能获取当前授权的用户(就是自己),而且只能返回最新的5条,WTF!
所以果断放弃掉这条路,改为『生爬』,因为PC端的微博是Ajax的动态加载,爬取起来有些困难,我果断知难而退,改为对移动端的微博进行爬取,因为移动端的微博可以通过分页爬取的方式来一次性爬取所有微博内容,这样工作就简化了不少。

最后实现的功能:

1、输入要爬取的微博用户的user_id,获得该用户的所有微博
2、文字内容保存到以%user_id命名文本文件中,所有高清原图保存在weibo_image文件夹中
具体操作:
首先我们要获得自己的cookie,这里只说chrome的获取方法。

1、用chrome打开新浪微博移动端
2、option+command+i调出开发者工具
3、点开Network,将Preserve log选项选中
4、输入账号密码,登录新浪微博

用Python编写简单的微博爬虫

5、找到m.weibo.cn->Headers->Cookie,把cookie复制到代码中的#your cookie处

用Python编写简单的微博爬虫

然后再获取你想爬取的用户的user_id,这个我不用多说啥了吧,点开用户主页,地址栏里面那个号码就是user_id

用Python编写简单的微博爬虫

将python代码保存到weibo_spider.py文件中
定位到当前目录下后,命令行执行python weibo_spider.py user_id
当然如果你忘记在后面加user_id,执行的时候命令行也会提示你输入

最后执行结束

用Python编写简单的微博爬虫

用Python编写简单的微博爬虫

用Python编写简单的微博爬虫

小问题:在我的测试中,有的时候会出现图片下载失败的问题,具体原因还不是很清楚,可能是网速问题,因为我宿舍的网速实在太不稳定了,当然也有可能是别的问题,所以在程序根目录下面,我还生成了一个userid_imageurls的文本文件,里面存储了爬取的所有图片的下载链接,如果出现大片的图片下载失败,可以将该链接群一股脑导进迅雷等下载工具进行下载。

另外,我的系统是OSX EI Capitan10.11.2,Python的版本是2.7,依赖库用sudo pip install XXXX就可以安装,具体配置问题可以自行stackoverflow,这里就不展开讲了。

下面我就给出实现代码

#-*-coding:utf8-*-

import re
import string
import sys
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
import requests
from lxml import etree

reload(sys) 
sys.setdefaultencoding('utf-8')
if(len(sys.argv)>=2):
  user_id = (int)(sys.argv[1])
else:
  user_id = (int)(raw_input(u"请输入user_id: "))

cookie = {"Cookie": "#your cookie"}
url = 'http://weibo.cn/u/%d?filter=1&page=1'%user_id

html = requests.get(url, cookies = cookie).content
selector = etree.HTML(html)
pageNum = (int)(selector.xpath('//input[@name="mp"]')[0].attrib['value'])

result = "" 
urllist_set = set()
word_count = 1
image_count = 1

print u'爬虫准备就绪...'

for page in range(1,pageNum+1):

 #获取lxml页面
 url = 'http://weibo.cn/u/%d?filter=1&page=%d'%(user_id,page) 
 lxml = requests.get(url, cookies = cookie).content

 #文字爬取
 selector = etree.HTML(lxml)
 content = selector.xpath('//span[@class="ctt"]')
 for each in content:
  text = each.xpath('string(.)')
  if word_count>=4:
   text = "%d :"%(word_count-3) +text+"\n\n"
  else :
   text = text+"\n\n"
  result = result + text
  word_count += 1

 #图片爬取
 soup = BeautifulSoup(lxml, "lxml")
 urllist = soup.find_all('a',href=re.compile(r'^http://weibo.cn/mblog/oripic',re.I))
 first = 0
 for imgurl in urllist:
  urllist_set.add(requests.get(imgurl['href'], cookies = cookie).url)
  image_count +=1

fo = open("/Users/Personals/%s"%user_id, "wb")
fo.write(result)
word_path=os.getcwd()+'/%d'%user_id
print u'文字微博爬取完毕'

link = ""
fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")
for eachlink in urllist_set:
 link = link + eachlink +"\n"
fo2.write(link)
print u'图片链接爬取完毕'


if not urllist_set:
 print u'该页面中不存在图片'
else:
 #下载图片,保存在当前目录的pythonimg文件夹下
 image_path=os.getcwd()+'/weibo_image'
 if os.path.exists(image_path) is False:
  os.mkdir(image_path)
 x=1
 for imgurl in urllist_set:
  temp= image_path + '/%s.jpg' % x
  print u'正在下载第%s张图片' % x
  try:
   urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)
  except:
   print u"该图片下载失败:%s"%imgurl
  x+=1

print u'原创微博爬取完毕,共%d条,保存路径%s'%(word_count-4,word_path)
print u'微博图片爬取完毕,共%d张,保存路径%s'%(image_count-1,image_path)

一个简单的微博爬虫就完成了,希望对大家的学习有所帮助。

Python 相关文章推荐
一个简单的python程序实例(通讯录)
Nov 29 Python
深入理解Python变量与常量
Jun 02 Python
用python找出那些被“标记”的照片
Apr 20 Python
python flask实现分页效果
Jun 27 Python
linux环境下的python安装过程图解(含setuptools)
Nov 22 Python
TensorFlow 滑动平均的示例代码
Jun 19 Python
python找出一个列表中相同元素的多个索引实例
Jun 11 Python
pandas如何处理缺失值
Jul 31 Python
Python3使用PySynth制作音乐的方法
Sep 09 Python
基于梯度爆炸的解决方法:clip gradient
Feb 04 Python
Django项目配置Memcached和Redis, 缓存选择哪个更有优势
Apr 06 Python
python可视化之颜色映射详解
Sep 15 Python
python相似模块用例
Mar 04 #Python
Python程序中用csv模块来操作csv文件的基本使用教程
Mar 03 #Python
举例简单讲解Python中的数据存储模块shelve的用法
Mar 03 #Python
Python中的数据对象持久化存储模块pickle的使用示例
Mar 03 #Python
Python和Perl绘制中国北京跑步地图的方法
Mar 03 #Python
python套接字流重定向实例汇总
Mar 03 #Python
Python设计模式中单例模式的实现及在Tornado中的应用
Mar 02 #Python
You might like
ThinkPHP连接数据库的方式汇总
2014/12/05 PHP
js 调用本地exe的例子(支持IE内核的浏览器)
2012/12/26 Javascript
JQuery设置文本框和密码框得到焦点时的样式
2013/08/30 Javascript
Nodejs中调用系统命令、Shell脚本和Python脚本的方法和实例
2015/01/01 NodeJs
angularjs表格分页功能详解
2016/01/21 Javascript
js获取新浪天气接口的实现代码
2016/06/06 Javascript
浅谈js中字符和数组一些基本算法题
2016/08/15 Javascript
Bootstrap基本组件学习笔记之下拉菜单(7)
2016/12/07 Javascript
微信小程序实现漂亮的弹窗效果
2020/05/26 Javascript
vue 组件间的通信之子组件向父组件传值的方式
2020/07/29 Javascript
vue自定义组件实现双向绑定
2021/01/13 Vue.js
Python中的类与对象之描述符详解
2015/03/27 Python
使用70行Python代码实现一个递归下降解析器的教程
2015/04/17 Python
浅谈Django REST Framework限速
2017/12/12 Python
用PyInstaller把Python代码打包成单个独立的exe可执行文件
2018/05/26 Python
python检索特定内容的文本文件实例
2018/06/05 Python
Python 使用PIL中的resize进行缩放的实例讲解
2018/08/03 Python
深入了解Django View(视图系统)
2019/07/23 Python
python并发编程 Process对象的其他属性方法join方法详解
2019/08/20 Python
pytorch-RNN进行回归曲线预测方式
2020/01/14 Python
Python实现密钥密码(加解密)实例详解
2020/04/26 Python
Django ORM判断查询结果是否为空,判断django中的orm为空实例
2020/07/09 Python
python获取系统内存占用信息的实例方法
2020/07/17 Python
美国知名玩具品牌:Melissa & Doug
2016/08/16 全球购物
美国开幕式潮店:Opening Ceremony
2018/02/10 全球购物
施华洛世奇意大利官网:SWAROVSKI意大利
2018/07/23 全球购物
eBay奥地利站:eBay.at
2019/07/24 全球购物
大唐面试试题(CPU,UNIX等等)
2012/01/11 面试题
九年级语文教学反思
2014/02/04 职场文书
2014年民主评议党员工作总结
2014/12/02 职场文书
初中同学会致辞
2015/08/01 职场文书
高一语文教学反思
2016/02/16 职场文书
python 常用的异步框架汇总整理
2021/06/18 Python
Spring Data JPA的Audit功能审计数据库的变更
2021/06/26 Java/Android
Oracle配置dblink访问PostgreSQL的操作方法
2022/03/21 PostgreSQL
MySQL的存储过程和相关函数
2022/04/26 MySQL