Python爬虫爬取美剧网站的实现代码


Posted in Python onSeptember 03, 2016

一直有爱看美剧的习惯,一方面锻炼一下英语听力,一方面打发一下时间。之前是能在视频网站上面在线看的,可是自从广电总局的限制令之后,进口的美剧英剧等貌似就不在像以前一样同步更新了。但是,作为一个宅diao的我又怎甘心没剧追呢,所以网上随便查了一下就找到一个能用迅雷下载的美剧下载网站【天天美剧】,各种资源随便下载,最近迷上的BBC的高清纪录片,大自然美得不要不要的。

Python爬虫爬取美剧网站的实现代码

虽说找到了资源网站可以下载了,但是每次都要打开浏览器,输入网址,找到该美剧,然后点击链接才能下载。时间长了就觉得过程好繁琐,而且有时候网站链接还会打不开,会有点麻烦。正好一直在学习Python爬虫,所以今天就心血来潮来写了个爬虫,抓取该网站上所有美剧链接,并保存在文本文档中,想要哪部剧就直接打开复制链接到迅雷就可以下载啦。

Python爬虫爬取美剧网站的实现代码

其实一开始打算写那种发现一个url,使用requests打开抓取下载链接,从主页开始爬完全站。但是,好多重复链接,还有其网站的url不是我想的那么规则,写了半天也没有写出我想要的那种发散式的爬虫,也许是自己火候还不到吧,继续努力。。。

后来发现,其电视剧链接都是在文章里面,然后文章url后面有个数字编号,就像这样的http://cn163.net/archives/24016/,所以机智的我又用了之前写过的爬虫经验,解决方法就是自动生成url,其后面的数字不是可以变的吗,而且每部剧的都是唯一的,所以尝试了一下大概有多少篇文章,然后用range函数直接连续生成数来构造url。

但是很多url是不存在的,所以会直接挂掉,别担心,我们用的可是requests,其自带的status_code就是用来判断请求返回的状态的,所以只要是返回的状态码是404的我们都把它跳过,其他的都进去爬取链接,这就解决了url的问题了。

以下就是上述步骤的实现代码。

def get_urls(self):
  try:
    for i in range(2015,25000):
      base_url='http://cn163.net/archives/'
      url=base_url+str(i)+'/'
      if requests.get(url).status_code == 404:
        continue
      else:
        self.save_links(url)
  except Exception,e:
    pass

其余的就进行的很顺利了,网上找到前人写的类似的爬虫,但是只是爬取一篇文章的,所以借鉴了一下其正则表达式。自己用了BeautifulSoup还没有正则效果好,所以果断弃了,学海无涯啊。但是效果也不是那么理想,有一半左右的链接不能正确抓取,还需继续优化。

# -*- coding:utf-8 -*-
import requests 
import re
import sys
import threading
import time
reload(sys)
sys.setdefaultencoding('utf-8')
class Archives(object):

  def save_links(self,url):
    try:

      data=requests.get(url,timeout=3)
      content=data.text
      link_pat='"(ed2k://\|file\|[^"]+?\.(S\d+)(E\d+)[^"]+?1024X\d{3}[^"]+?)"'
      name_pat=re.compile(r'<h2 class="entry_title">(.*?)</h2>',re.S)
      links = set(re.findall(link_pat,content))
      name=re.findall(name_pat,content)
      links_dict = {}
      count=len(links)
    except Exception,e:
      pass
    for i in links:
      links_dict[int(i[1][1:3]) * 100 + int(i[2][1:3])] = i#把剧集按s和e提取编号
    try:
      with open(name[0].replace('/',' ')+'.txt','w') as f:
        print name[0]
        for i in sorted(list(links_dict.keys())):#按季数+集数排序顺序写入
          f.write(links_dict[i][0] + '\n')
      print "Get links ... ", name[0], count
    except Exception,e:
      pass

  def get_urls(self):
    try:
      for i in range(2015,25000):
        base_url='http://cn163.net/archives/'
        url=base_url+str(i)+'/'
        if requests.get(url).status_code == 404:
          continue
        else:
          self.save_links(url)
    except Exception,e:
      pass
  def main(self):
    thread1=threading.Thread(target=self.get_urls())
    thread1.start()
    thread1.join()
  if __name__ == '__main__':
  start=time.time()
  a=Archives()
  a.main()
  end=time.time()
  print end-start

完整版代码,其中还用到了多线程,但是感觉没什么用,因为Python的GIL的缘故吧,看似有两万多部剧,本以为要很长时间才能抓取完成,但是除去url错误的和没匹配到的,总共抓取时间20分钟不到。搞得我本来还想使用Redis在两台Linux上爬取,但是折腾了一番之后感觉没必要,所以就这样吧,后面需要更大数据的时候再去弄。

还有过程中遇到一个很折磨我的问题是文件名的保存,必须在此抱怨一下,txt文本格式的文件名能有空格,但是不能有斜线、反斜线、括号等。就是这个问题,一早上的时间都花在这上面的,一开始我以为是抓取数据的错误,后面查了半天才发现是爬取的剧名中带有斜杠,这可把我坑苦了。

本文作者:码农网 ? 肖豪

Python 相关文章推荐
Python实现线程池代码分享
Jun 21 Python
Python中内置数据类型list,tuple,dict,set的区别和用法
Dec 14 Python
利用Python获取操作系统信息实例
Sep 02 Python
Python中文件I/O高效操作处理的技巧分享
Feb 04 Python
django一对多模型以及如何在前端实现详解
Jul 24 Python
Python3 集合set入门基础
Feb 10 Python
python离线安装外部依赖包的实现
Feb 13 Python
python输出pdf文档的实例
Feb 13 Python
基于Python爬取fofa网页端数据过程解析
Jul 13 Python
Python爬虫设置ip代理过程解析
Jul 20 Python
Python 捕获代码中所有异常的方法
Aug 03 Python
python解析json数据
Apr 29 Python
Python选课系统开发程序
Sep 02 #Python
简单谈谈Python中函数的可变参数
Sep 02 #Python
Python实现自动添加脚本头信息的示例代码
Sep 02 #Python
利用Python获取操作系统信息实例
Sep 02 #Python
好用的Python编辑器WingIDE的使用经验总结
Aug 31 #Python
Linux下为不同版本python安装第三方库
Aug 31 #Python
Python中的左斜杠、右斜杠(正斜杠和反斜杠)
Aug 30 #Python
You might like
php 随机数的产生、页面跳转、件读写、文件重命名、switch语句
2009/08/07 PHP
Linux环境下搭建php开发环境的操作步骤
2013/06/17 PHP
PHP实现自动对图片进行滚动显示的方法
2015/03/12 PHP
php 截取utf-8格式的字符串实例代码
2016/10/30 PHP
javascript tips提示框组件实现代码
2010/11/19 Javascript
jQuery写的日历(包括日历的样式及功能)
2013/04/23 Javascript
动态加载iframe时get请求传递中文参数乱码解决方法
2014/05/07 Javascript
JS合并数组的几种方法及优劣比较
2014/09/19 Javascript
js实现同一个页面多个渐变效果的方法
2015/04/10 Javascript
Vue.js创建Calendar日历效果
2016/11/03 Javascript
js中document.referrer实现移动端返回上一页
2017/02/22 Javascript
BootStrap中jQuery插件Carousel实现轮播广告效果
2017/03/27 jQuery
React入门教程之Hello World以及环境搭建详解
2017/07/11 Javascript
web前端vue实现插值文本和输出原始html
2018/01/19 Javascript
详解Axios 如何取消已发送的请求
2018/10/20 Javascript
Webpack4 使用Babel处理ES6语法的方法示例
2019/03/07 Javascript
Vue源码之关于vm.$delete()/Vue.use()内部原理详解
2019/05/01 Javascript
vue中获取滚动table的可视页面宽度调整表头与列对齐(每列宽度不都相同)
2019/08/17 Javascript
基于JS实现简单滑块拼图游戏
2019/10/12 Javascript
JavaScript中数组去重的5种方法
2020/07/04 Javascript
Python生成随机数的方法
2014/01/14 Python
python中global用法实例分析
2015/04/30 Python
Python的Flask框架中集成CKeditor富文本编辑器的教程
2016/06/13 Python
浅谈python内置变量-reversed(seq)
2017/06/21 Python
Python import与from import使用及区别介绍
2018/09/06 Python
python读取ini配置文件过程示范
2019/12/23 Python
用python制作个视频下载器
2021/02/01 Python
结合CSS3的新特性来总结垂直居中的实现方法
2016/05/30 HTML / CSS
Hotels.com越南:酒店预订
2019/10/29 全球购物
办公室前台岗位职责
2014/01/04 职场文书
快餐店的创业计划书范文
2014/01/29 职场文书
音乐教师求职信
2014/06/28 职场文书
公司职员入党自传书
2015/06/26 职场文书
网吧温馨提示
2015/07/17 职场文书
企业年会祝酒词
2015/08/11 职场文书
请假条应该怎么写?
2019/06/24 职场文书