python3制作捧腹网段子页爬虫


Posted in Python onFebruary 12, 2017

0x01

春节闲着没事(是有多闲),就写了个简单的程序,来爬点笑话看,顺带记录下写程序的过程。第一次接触爬虫是看了这么一个帖子,一个逗逼,爬取煎蛋网上妹子的照片,简直不要太方便。于是乎就自己照猫画虎,抓了点图片。

科技启迪未来,身为一个程序员,怎么能干这种事呢,还是爬点笑话比较有益于身心健康。

python3制作捧腹网段子页爬虫

0x02

在我们撸起袖子开始搞之前,先来普及点理论知识。

简单地说,我们要把网页上特定位置的内容,扒拉下来,具体怎么扒拉,我们得先分析这个网页,看那块内容是我们需要的。比如,这次爬取的是捧腹网上的笑话,打开 捧腹网段子页我们可以看到一大堆笑话,我们的目的就是获取这些内容。看完回来冷静一下,你这样一直笑,我们没办法写代码。在 chrome 中,我们打开 审查元素 然后一级一级的展开 HTML 标签,或者点击那个小鼠标,定位我们所需要的元素。

python3制作捧腹网段子页爬虫

最后可以发现 <div> 中的内容就是我们所需要的笑话,在看第二条笑话,也是这样。于是乎,我们就可以把这个网页中所有的 <div> 找到,然后把里边的内容提取出来,就完成了。

0x03

好了,现在我们知道我们的目的了,就可以撸起袖子开始干了。这里我用的 python3,关于 python2 和 python3 的选用,大家可以自行决定,功能都可以实现,只是有些许不同。但还是建议用 python3。
我们要扒拉下我们需要的内容,首先我们得把这个网页扒拉下来,怎么扒拉呢,这里我们要用到一个库,叫 urllib,我们用这个库提供的方法,来获取整个网页。
首先,我们导入 urllib

 import urllib.request as request

然后,我们就可以使用 request 来获取网页了,

def getHTML(url): 

return request.urlopen(url).read()

人生苦短,我用 python,一行代码,下载网页,你说,还有什么理由不用 python。
下载完网页后,我们就得解析这个网页了来获取我们所需要的元素。为了解析元素,我们需要使用另外一个工具,叫做 Beautiful Soup,使用它,可以快速解析 HTML 和 XML并获取我们所需要的元素。

soup = BeautifulSoup(getHTML("http://www.pengfu.com/xiaohua_1.html"))

用 BeautifulSoup 来解析网页也就一句话,但当你运行代码的时候,会出现这么一个警告,提示要指定一个解析器,不然,可能会在其他平台或者系统上报错。

/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/bs4/__init__.py:181: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.
The code that caused this warning is on line 64 of the file joke.py. To get rid of this warning, change code that looks like this:
 BeautifulSoup([your markup])
to this:
 BeautifulSoup([your markup], "lxml")
  markup_type=markup_type))

解析器的种类 和 不同解析器之间的区别 官方文档有详细的说明,目前来说,还是用 lxml 解析比较靠谱。
修改之后

soup = BeautifulSoup(getHTML("http://www.pengfu.com/xiaohua_1.html", 'lxml'))

这样,就没有上述警告了。

div_array = soup.find_all('div', {'class':"content-img clearfix pt10 relative"})

利用 find_all 函数,来找到所有 class = content-img clearfix pt10 relative 的 div 标签 然后遍历这个数组

for x in div_array: content = x.string

这样,我们就取到了目的 div 的内容。至此,我们已经达到了我们的目的,爬到了我们的笑话。
但当以同样的方式去爬取糗百的时候,会报这样一个错误

raise RemoteDisconnected("Remote end closed connection without" http.client.RemoteDisconnected: Remote end closed connection without response

说远端无响应,关闭了链接,看了下网络也没有问题,这是什么情况导致的呢?莫非是我姿势不对?
打开 charles 抓包,果然也没反应。唉,这就奇怪了,好好的一个网站,怎么浏览器可以访问,python 无法访问呢,是不是 UA 的问题呢?看了下 charles,发现,利用 urllib 发起的请求,UA 默认是 Python-urllib/3.5 而在 chrome 中访问 UA 则是 User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36,那会不会是因为服务器根据 UA 来判断拒绝了 python 爬虫。我们来伪装下试试看行不行

def getHTML(url):

    headers = {'User-Agent': 'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}

    req = request.Request(url, headers=headers)

    return request.urlopen(req).read()

这样就把 python 伪装成 chrome 去获取糗百的网页,可以顺利的得到数据。

至此,利用 python 爬取糗百和捧腹网的笑话已经结束,我们只需要分析相应的网页,找到我们感兴趣的元素,利用 python 强大的功能,就可以达到我们的目的,不管是 XXOO 的图,还是内涵段子,都可以一键搞定,不说了,我去找点妹子图看看。

# -*- coding: utf-8 -*-
import sys
import urllib.request as request
from bs4 import BeautifulSoup

def getHTML(url):
  headers = {'User-Agent': 'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
  req = request.Request(url, headers=headers)
  return request.urlopen(req).read()

def get_pengfu_results(url):
  soup = BeautifulSoup(getHTML(url), 'lxml')
  return soup.find_all('div', {'class':"content-img clearfix pt10 relative"})

def get_pengfu_joke():
  for x in range(1, 2):
    url = 'http://www.pengfu.com/xiaohua_%d.html' % x
    for x in get_pengfu_results(url):
      content = x.string
      try:
        string = content.lstrip()
        print(string + '\n\n')
      except:
        continue
  return

def get_qiubai_results(url):
  soup = BeautifulSoup(getHTML(url), 'lxml')
  contents = soup.find_all('div', {'class':'content'})
  restlus = []
  for x in contents:
    str = x.find('span').getText('\n','<br/>')
    restlus.append(str)
  return restlus

def get_qiubai_joke():
  for x in range(1, 2):
    url = 'http://www.qiushibaike.com/8hr/page/%d/?s=4952526' % x
    for x in get_qiubai_results(url):
      print(x + '\n\n')
  return

if __name__ == '__main__':
  get_pengfu_joke()
  get_qiubai_joke()
Python 相关文章推荐
python网络编程实例简析
Sep 26 Python
Python函数式编程指南(三):迭代器详解
Jun 24 Python
Python微信企业号开发之回调模式接收微信端客户端发送消息及被动返回消息示例
Aug 21 Python
Python WXPY实现微信监控报警功能的代码
Oct 20 Python
Python数据分析中Groupby用法之通过字典或Series进行分组的实例
Dec 08 Python
python实现下载pop3邮件保存到本地
Jun 19 Python
Falsk 与 Django 过滤器的使用与区别详解
Jun 04 Python
python2 对excel表格操作完整示例
Feb 23 Python
python中使用you-get库批量在线下载bilibili视频的教程
Mar 10 Python
jupyter notebook 增加kernel教程
Apr 10 Python
Pandas实现一列数据分隔为两列
May 18 Python
Tensorflow使用Anaconda、pycharm安装记录
Jul 29 Python
python日志记录模块实例及改进
Feb 12 #Python
Windows下Python2与Python3两个版本共存的方法详解
Feb 12 #Python
使用Python绘制图表大全总结
Feb 11 #Python
Python 绘图和可视化详细介绍
Feb 11 #Python
Python实现多线程HTTP下载器示例
Feb 11 #Python
Python  pip安装lxml出错的问题解决办法
Feb 10 #Python
使用Python脚本和ADB命令实现卸载App
Feb 10 #Python
You might like
AJAX for PHP简单表数据查询实例
2007/01/02 PHP
基于OpenCV的PHP图像人脸识别技术
2009/10/11 PHP
PHP无刷新上传文件实现代码
2011/09/19 PHP
解析php开发中的中文编码问题
2013/08/08 PHP
php生成缩略图示例代码分享(使用gd库实现)
2014/01/20 PHP
Yii把CGridView文本框换成下拉框的方法
2014/12/03 PHP
php实现utf-8转unicode函数分享
2015/01/06 PHP
php+ajax注册实时验证功能
2016/07/20 PHP
Laravel框架文件上传功能实现方法示例
2019/04/16 PHP
你需要知道的10个最佳javascript开发实践小结
2012/04/15 Javascript
Javascript学习指南
2014/12/01 Javascript
node.js中的console.info方法使用说明
2014/12/09 Javascript
chrome调试javascript详解
2015/10/21 Javascript
javascript动态添加checkbox复选框的方法
2015/12/23 Javascript
微信小程序 loading(加载中提示框)实例
2016/10/28 Javascript
jQuery实现的背景颜色渐变动画效果示例
2017/03/24 jQuery
es7学习教程之fetch解决异步嵌套问题的方法示例
2017/07/21 Javascript
electron + vue项目实现打印小票功能及实现代码
2018/11/25 Javascript
微信小程序使用GoEasy实现websocket实时通讯
2020/05/19 Javascript
js简单粗暴的发布订阅示例代码
2021/01/23 Javascript
[04:15]DOTA2-DPC中国联赛 正赛 Ehome vs Aster 选手采访
2021/03/11 DOTA
python之virtualenv的简单使用方法(必看篇)
2017/11/25 Python
Python爬虫动态ip代理防止被封的方法
2019/07/07 Python
tensorflow 实现数据类型转换
2020/02/17 Python
Django利用elasticsearch(搜索引擎)实现搜索功能
2020/11/26 Python
结合CSS3的布局新特征谈谈常见布局方法
2016/01/22 HTML / CSS
PHP如何调用MYSQL存储过程
2014/05/30 面试题
C面试题
2015/10/08 面试题
CSS代码检查工具stylelint的使用方法详解
2021/03/27 HTML / CSS
中专生自我鉴定范文
2013/12/19 职场文书
优秀大专毕业生求职信
2014/08/04 职场文书
招商引资工作汇报
2014/10/28 职场文书
2015年父亲节寄语
2015/03/23 职场文书
工程技术员岗位职责
2015/04/11 职场文书
nginx内存池源码解析
2021/11/20 Servers
Java十分钟精通进阶适配器模式
2022/04/06 Java/Android