使用Python多线程爬虫爬取电影天堂资源


Posted in Python onSeptember 23, 2016

最近花些时间学习了一下Python,并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址,代码已经上传到GitHub上了,需要的同学可以自行下载。刚开始学习python希望可以获得宝贵的意见。

先来简单介绍一下,网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点,所以需要精心选取一些URL作为起点,然后我们的爬虫从这些起点出发,抓取并解析所抓取到的页面,将所需要的信息提取出来,同时获得的新的URL插入到队列中作为下一次爬取的起点。这样不断地循环,一直到获得你想得到的所有的信息爬虫的任务就算结束了。我们通过一张图片来看一下。

使用Python多线程爬虫爬取电影天堂资源

好的 下面进入正题,来讲解下程序的实现。

首先要分析一下电影天堂网站的首页结构。

使用Python多线程爬虫爬取电影天堂资源

从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类,将每一个分类地址作为爬虫的起点。

①解析首页地址 提取分类信息

#解析首页
def CrawIndexPage(starturl):
print "正在爬取首页"
page = __getpage(starturl)
if page=="error":
return
page = page.decode('gbk', 'ignore')
tree = etree.HTML(page)
Nodes = tree.xpath("//div[@id='menu']//a")
print "首页解析出地址",len(Nodes),"条"
for node in Nodes:
CrawledURLs = []
CrawledURLs.append(starturl)
url=node.xpath("@href")[0]
if re.match(r'/html/[A-Za-z0-9_/]+/index.html', url):
if __isexit(host + url,CrawledURLs):
pass
else:
try:
catalog = node.xpath("text()")[0].encode("utf-8")
newdir = "E:/电影资源/" + catalog
os.makedirs(newdir.decode("utf-8"))
print "创建分类目录成功------"+newdir
thread = myThread(host + url, newdir,CrawledURLs)
thread.start()
except:
pass

在这个函数中,首先将网页的源码下载下来,通过XPath解析出其中的菜单分类信息。并创建相应的文件目录。有一个需要注意的地方就是编码问题,但是也是被这个编码纠缠了好久,通过查看网页的源代码,我们可以发现,网页的编码采用的是GB2312,这里通过XPath构造Tree对象是需要对文本信息进行解码操作,将gb2312变成Unicode编码,这样DOM树结构才是正确的,要不然在后面解析的时候就会出现问题。

②解析每个分类的主页

# 解析分类文件
def CrawListPage(indexurl,filedir,CrawledURLs):
print "正在解析分类主页资源"
print indexurl
page = __getpage(indexurl)
if page=="error":
return
CrawledURLs.append(indexurl)
page = page.decode('gbk', 'ignore')
tree = etree.HTML(page)
Nodes = tree.xpath("//div[@class='co_content8']//a")
for node in Nodes:
url=node.xpath("@href")[0]
if re.match(r'/', url):
# 非分页地址 可以从中解析出视频资源地址
if __isexit(host + url,CrawledURLs):
pass
else:
#文件命名是不能出现以下特殊符号
filename=node.xpath("text()")[0].encode("utf-8").replace("/"," ")\
.replace("\\"," ")\
.replace(":"," ")\
.replace("*"," ")\
.replace("?"," ")\
.replace("\""," ")\
.replace("<", " ") \
.replace(">", " ")\
.replace("|", " ")
CrawlSourcePage(host + url,filedir,filename,CrawledURLs)
pass
else:
# 分页地址 从中嵌套再次解析
print "分页地址 从中嵌套再次解析",url
index = indexurl.rfind("/")
baseurl = indexurl[0:index + 1]
pageurl = baseurl + url
if __isexit(pageurl,CrawledURLs):
pass
else:
print "分页地址 从中嵌套再次解析", pageurl
CrawListPage(pageurl,filedir,CrawledURLs)
pass
pass

打开每一个分类的首页会发现都有一个相同的结构(点击打开示例)首先解析出包含资源URL的节点,然后将名称和URL提取出来。这一部分有两个需要注意的地方。一是因为最终想要把资源保存到一个txt文件中,但是在命名时不能出现一些特殊符号,所以需要处理掉。二是一定要对分页进行处理,网站中的数据都是通过分页这种形式展示的,所以如何识别并抓取分页也是很重要的。通过观察发现,分页的地址前面没有“/”,所以只需要通过正则表达式找出分页地址链接,然后嵌套调用即可解决分页问题。

③解析资源地址保存到文件中

#处理资源页面 爬取资源地址
def CrawlSourcePage(url,filedir,filename,CrawledURLs):
print url
page = __getpage(url)
if page=="error":
return
CrawledURLs.append(url)
page = page.decode('gbk', 'ignore')
tree = etree.HTML(page)
Nodes = tree.xpath("//div[@align='left']//table//a")
try:
source = filedir + "/" + filename + ".txt"
f = open(source.decode("utf-8"), 'w')
for node in Nodes:
sourceurl = node.xpath("text()")[0]
f.write(sourceurl.encode("utf-8")+"\n")
f.close()
except:
print "!!!!!!!!!!!!!!!!!"

这段就比较简单了,将提取出来的内容写到一个文件中就行了

为了能够提高程序的运行效率,使用了多线程进行抓取,在这里我是为每一个分类的主页都开辟了一个线程,这样极大地加快了爬虫的效率。想当初,只是用单线程去跑,结果等了一下午最后因为一个异常没处理到结果一下午都白跑了!!!!心累

class myThread (threading.Thread): #继承父类threading.Thread
def __init__(self, url, newdir,CrawledURLs):
threading.Thread.__init__(self)
self.url = url
self.newdir = newdir
self.CrawledURLs=CrawledURLs
def run(self): #把要执行的代码写到run函数里面 线程在创建后会直接运行run函数
CrawListPage(self.url, self.newdir,self.CrawledURLs)

以上只是部分代码,全部代码可以到GitHub上面去下载(点我跳转)

最后爬取的结果如下。

使用Python多线程爬虫爬取电影天堂资源

使用Python多线程爬虫爬取电影天堂资源

使用Python多线程爬虫爬取电影天堂资源

以上所述是小编给大家介绍的使用Python多线程爬虫爬取电影天堂资源 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
深入理解Python变量与常量
Jun 02 Python
tensorflow创建变量以及根据名称查找变量
Mar 10 Python
python验证码识别教程之利用滴水算法分割图片
Jun 05 Python
python实现对指定字符串补足固定长度倍数截断输出的方法
Nov 15 Python
使用coverage统计python web项目代码覆盖率的方法详解
Aug 05 Python
使用python去除图片白色像素的实例
Dec 12 Python
使用遗传算法求二元函数的最小值
Feb 11 Python
解决Tensorboard可视化错误:不显示数据 No scalar data was found
Feb 15 Python
python 解压、复制、删除 文件的实例代码
Feb 26 Python
django orm模块中的 is_delete用法
May 20 Python
浅谈keras中的keras.utils.to_categorical用法
Jul 02 Python
python字典按照value排序方法
Dec 28 Python
Python 爬虫模拟登陆知乎
Sep 23 #Python
python 自动化将markdown文件转成html文件的方法
Sep 23 #Python
Python增量循环删除MySQL表数据的方法
Sep 23 #Python
教你用Python脚本快速为iOS10生成图标和截屏
Sep 22 #Python
Python 制作糗事百科爬虫实例
Sep 22 #Python
Python 使用SMTP发送邮件的代码小结
Sep 21 #Python
Python 使用requests模块发送GET和POST请求的实现代码
Sep 21 #Python
You might like
与数据库连接
2006/10/09 PHP
PHP中mysql_field_type()函数用法
2014/11/24 PHP
Laravel 5框架学习之Eloquent 关系
2015/04/09 PHP
php使用curl并发减少后端访问时间的方法分析
2016/05/12 PHP
解决laravel(5.5)访问public报错的问题
2019/10/12 PHP
php文件上传原理与实现方法详解
2019/12/20 PHP
Iframe 自适应高度并实时监控高度变化的js代码
2009/10/30 Javascript
window.navigate 与 window.location.href 的使用区别介绍
2013/09/21 Javascript
innerText 使用示例
2014/01/23 Javascript
js获取和设置属性的方法
2014/02/20 Javascript
原生js和jquery分别实现横向导航菜单效果
2016/05/13 Javascript
D3.js实现散点图和气泡图的方法详解
2016/09/21 Javascript
关于react-router/react-router-dom v4 history不能访问问题的解决
2018/01/08 Javascript
微信小程序实现折叠面板
2018/01/31 Javascript
基于Vue2实现简易的省市区县三级联动组件效果
2018/11/05 Javascript
vue里的data要用return返回的原因浅析
2019/05/28 Javascript
jQuery实现鼠标滑动切换图片
2020/05/27 jQuery
vue 监听 Treeselect 选择项的改变操作
2020/08/31 Javascript
js正则表达式简单校验方法
2021/01/03 Javascript
基于循环神经网络(RNN)实现影评情感分类
2018/03/26 Python
Python利用正则表达式实现计算器算法思路解析
2018/04/25 Python
pycharm在调试python时执行其他语句的方法
2018/11/29 Python
解决Pandas的DataFrame输出截断和省略的问题
2019/02/08 Python
Django 实现前端图片压缩功能的方法
2019/08/07 Python
python进行参数传递的方法
2020/05/12 Python
日本最新流行服饰网购:Nissen
2016/07/24 全球购物
马来西亚最大的在线隐形眼镜商店:MrLens
2019/03/27 全球购物
网络编程中设计并发服务器,使用多进程与多线程,请问有什么区别?
2016/03/27 面试题
软件缺陷的分类都有哪些
2014/08/22 面试题
开学季活动策划方案
2014/02/28 职场文书
优质服务活动实施方案
2014/05/02 职场文书
岗位安全生产责任书
2014/07/28 职场文书
学校运动会广播稿100条
2014/09/14 职场文书
2015年成本会计工作总结
2015/10/14 职场文书
使用Redis做预定库存缓存功能
2022/04/02 Redis
《黑岩★★射手 DAWN FALL》BD发售宣传CM公开
2022/04/04 日漫