使用Python抓取模板之家的CSS模板


Posted in Python onMarch 16, 2015

Python版本是2.7.9,在win8上测试成功,就是抓取有点慢,本来想用多线程的,有事就罢了。模板之家的网站上的url参数与页数不匹配,懒得去做分析了,就自己改代码中的url吧。大神勿喷!

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# by ustcwq

# 2015-03-15

 

import urllib,urllib2,os,time

from bs4 import BeautifulSoup

 

start = time.clock()

path = os.getcwd()+u'/模板之家抓取的模板/'

if not os.path.isdir(path):

    os.mkdir(path)

 

url = "http://www.cssmoban.com/cssthemes/index_80.shtml"    # 源网站中的index后面数字怎么编排的?

theme_url ='http://www.cssmoban.com/cssthemes/'

response = urllib2.urlopen(url)

soup = BeautifulSoup(response) 

result = soup.select('p[class="title"] a')

print result

 

for item in result:

    link = item['href']

    # down_name = item.text   # 文件名称

    new_url = theme_url+link.split('/')[-1]

    response = urllib2.urlopen(new_url)

    soup = BeautifulSoup(response) 

    result = soup.select('.btn a')

    down_url = result[1]['href']    # 文件链接

 

    local = path+time.strftime('%Y%m%d%H%M%S',time.localtime(time.time()))+'.zip' 

    urllib.urlretrieve(down_url, local) # 远程保存函数

 

end = time.clock()

print u'模板抓取完成!'

print u'一共用时:',end-start,u'秒'

使用Python抓取模板之家的CSS模板

使用Python抓取模板之家的CSS模板

以上所述就是本文的全部内容了,希望大家能够喜欢。

Python 相关文章推荐
python实现数独算法实例
Jun 09 Python
Scrapy爬虫实例讲解_校花网
Oct 23 Python
Django中的forms组件实例详解
Nov 08 Python
在VS2017中用C#调用python脚本的实现
Jul 31 Python
Django中提供的6种缓存方式详解
Aug 05 Python
python2使用bs4爬取腾讯社招过程解析
Aug 14 Python
DJANGO-URL反向解析REVERSE实例讲解
Oct 25 Python
python 实现绘制整齐的表格
Nov 18 Python
python实现在多维数组中挑选符合条件的全部元素
Nov 26 Python
使用 tf.nn.dynamic_rnn 展开时间维度方式
Jan 21 Python
记录模型训练时loss值的变化情况
Jun 16 Python
Python如何在单元测试中给对象打补丁
Aug 03 Python
Python实现竖排打印传单手机号码易撕条
Mar 16 #Python
python通过exifread模块获得图片exif信息的方法
Mar 16 #Python
python通过pil模块将raw图片转换成png图片的方法
Mar 16 #Python
python通过pil将图片转换成黑白效果的方法
Mar 16 #Python
python实现获取客户机上指定文件并传输到服务器的方法
Mar 16 #Python
python提取内容关键词的方法
Mar 16 #Python
python生成随机mac地址的方法
Mar 16 #Python
You might like
《破坏领主》销量已超100万 未来将继续开发新内容
2020/03/08 其他游戏
PHP类与对象中的private访问控制的疑问
2012/11/01 PHP
php curl选项列表(超详细)
2013/07/01 PHP
php发送post请求函数分享
2014/03/06 PHP
PHP安全之register_globals的on和off的区别
2020/07/23 PHP
动态为事件添加js代码示例
2009/02/15 Javascript
JS的replace方法详细介绍
2012/11/09 Javascript
仿百度输入框智能提示的js代码
2013/08/22 Javascript
JavaScript实现的一个计算数字步数的算法分享
2014/12/06 Javascript
JavaScript实现的一个日期格式化函数分享
2014/12/06 Javascript
JavaScript检测实例属性, 原型属性
2015/02/04 Javascript
JavaScript的jQuery库插件的简要开发指南
2015/08/12 Javascript
jQuery中DOM节点的删除方法总结(超全面)
2017/01/22 Javascript
用nodejs搭建websocket服务器
2017/01/23 NodeJs
JS操作xml对象转换为Json对象示例
2017/03/25 Javascript
深入理解js 中async 函数的含义和用法
2018/05/13 Javascript
从vue源码解析Vue.set()和this.$set()
2018/08/30 Javascript
JS+php后台实现文件上传功能详解
2019/03/02 Javascript
使用express来代理服务的方法
2019/06/21 Javascript
微信JS-SDK实现微信会员卡功能(给用户微信卡包里发送会员卡)
2019/07/25 Javascript
JavaScript实现模态对话框实例
2020/01/13 Javascript
Nodejs文件上传、监听上传进度的代码
2020/03/27 NodeJs
Vue中component标签解决项目组件化操作
2020/09/04 Javascript
Python标准库06之子进程 (subprocess包) 详解
2016/12/07 Python
Python常见异常分类与处理方法
2017/06/04 Python
Python3.4 splinter(模拟填写表单)使用方法
2018/10/13 Python
python操作toml文件的示例代码
2020/11/27 Python
python爬虫智能翻页批量下载文件的实例详解
2021/02/02 Python
女性时尚在线:IVRose
2019/02/23 全球购物
出纳的岗位职责
2013/11/09 职场文书
报表员工作失误检讨书范文
2014/09/19 职场文书
2014年人事部工作总结
2014/12/03 职场文书
田径运动会通讯稿
2015/07/18 职场文书
使用Navicat Premium工具将oracle数据库迁移到MySQL
2021/05/27 Oracle
Mysql分库分表之后主键处理的几种方法
2022/02/15 MySQL
pycharm安装深度学习pytorch的d2l包失败问题解决
2022/03/25 Python