使用Python抓取模板之家的CSS模板


Posted in Python onMarch 16, 2015

Python版本是2.7.9,在win8上测试成功,就是抓取有点慢,本来想用多线程的,有事就罢了。模板之家的网站上的url参数与页数不匹配,懒得去做分析了,就自己改代码中的url吧。大神勿喷!

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# by ustcwq

# 2015-03-15

 

import urllib,urllib2,os,time

from bs4 import BeautifulSoup

 

start = time.clock()

path = os.getcwd()+u'/模板之家抓取的模板/'

if not os.path.isdir(path):

    os.mkdir(path)

 

url = "http://www.cssmoban.com/cssthemes/index_80.shtml"    # 源网站中的index后面数字怎么编排的?

theme_url ='http://www.cssmoban.com/cssthemes/'

response = urllib2.urlopen(url)

soup = BeautifulSoup(response) 

result = soup.select('p[class="title"] a')

print result

 

for item in result:

    link = item['href']

    # down_name = item.text   # 文件名称

    new_url = theme_url+link.split('/')[-1]

    response = urllib2.urlopen(new_url)

    soup = BeautifulSoup(response) 

    result = soup.select('.btn a')

    down_url = result[1]['href']    # 文件链接

 

    local = path+time.strftime('%Y%m%d%H%M%S',time.localtime(time.time()))+'.zip' 

    urllib.urlretrieve(down_url, local) # 远程保存函数

 

end = time.clock()

print u'模板抓取完成!'

print u'一共用时:',end-start,u'秒'

使用Python抓取模板之家的CSS模板

使用Python抓取模板之家的CSS模板

以上所述就是本文的全部内容了,希望大家能够喜欢。

Python 相关文章推荐
用python代码做configure文件
Jul 20 Python
python 迭代器和iter()函数详解及实例
Mar 21 Python
Python实现获取磁盘剩余空间的2种方法
Jun 07 Python
Python学习pygal绘制线图代码分享
Dec 09 Python
Python实现分段线性插值
Dec 17 Python
详解Python:面向对象编程
Apr 10 Python
梅尔频率倒谱系数(mfcc)及Python实现
Jun 18 Python
pyqt5对用qt designer设计的窗体实现弹出子窗口的示例
Jun 19 Python
通过实例解析Python RPC实现原理及方法
Jul 07 Python
如何基于python实现年会抽奖工具
Oct 20 Python
K近邻法(KNN)相关知识总结以及如何用python实现
Jan 28 Python
使用Pytorch实现two-head(多输出)模型的操作
May 28 Python
Python实现竖排打印传单手机号码易撕条
Mar 16 #Python
python通过exifread模块获得图片exif信息的方法
Mar 16 #Python
python通过pil模块将raw图片转换成png图片的方法
Mar 16 #Python
python通过pil将图片转换成黑白效果的方法
Mar 16 #Python
python实现获取客户机上指定文件并传输到服务器的方法
Mar 16 #Python
python提取内容关键词的方法
Mar 16 #Python
python生成随机mac地址的方法
Mar 16 #Python
You might like
【星际争霸1】人族1v7家ZBath
2020/03/04 星际争霸
判断Keep-Alive模式的HTTP请求的结束的实现代码
2011/08/06 PHP
php数据库配置文件一般做法分享
2012/07/07 PHP
php5.3 goto函数介绍和示例
2014/03/21 PHP
php类的定义与继承用法实例
2015/07/07 PHP
PHP开发之用微信远程遥控服务器
2018/01/25 PHP
PHP中number_format()函数的用法讲解
2019/04/08 PHP
基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例
2019/05/25 PHP
基于laravel belongsTo使用详解
2019/10/18 PHP
PHP7 字符串处理机制修改
2021/03/09 PHP
JavaScript 常用函数
2009/12/30 Javascript
JavaScript使用pop方法移除数组最后一个元素用法实例
2015/04/06 Javascript
jQuery中使用each处理json数据
2015/04/23 Javascript
jQuery之简单的表单验证实例
2016/07/07 Javascript
原生JS取代一些JQuery方法的简单实现
2016/09/20 Javascript
JS中微信小程序自定义底部弹出框
2016/12/22 Javascript
[48:47]VGJ.S vs NB 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
python base64 decode incorrect padding错误解决方法
2015/01/08 Python
Python读大数据txt
2016/03/28 Python
Python 编码规范(Google Python Style Guide)
2018/05/05 Python
python抓取搜狗微信公众号文章
2019/04/01 Python
Python使用matplotlib绘制Logistic曲线操作示例
2019/11/28 Python
Python3 获取文件属性的方式(时间、大小等)
2020/03/12 Python
python实现将列表中各个值快速赋值给多个变量
2020/04/02 Python
基于python实现matlab filter函数过程详解
2020/06/08 Python
基于Python实现2种反转链表方法代码实例
2020/07/06 Python
简单掌握CSS3中resize属性的用法
2016/04/01 HTML / CSS
乌克兰品牌化妆品和香水在线商店:Bomond
2020/01/14 全球购物
机电工程专业应届生求职信
2013/10/03 职场文书
行政办公员自我评价分享
2013/12/14 职场文书
企业文化标语大全
2014/06/10 职场文书
班级出游活动计划书
2014/08/15 职场文书
2014年财务部工作总结
2014/11/11 职场文书
求职简历自我评价怎么写
2015/03/10 职场文书
2015年国庆节慰问信
2015/03/23 职场文书
党章党规党纪学习心得体会
2016/01/14 职场文书