使用Python抓取模板之家的CSS模板


Posted in Python onMarch 16, 2015

Python版本是2.7.9,在win8上测试成功,就是抓取有点慢,本来想用多线程的,有事就罢了。模板之家的网站上的url参数与页数不匹配,懒得去做分析了,就自己改代码中的url吧。大神勿喷!

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# by ustcwq

# 2015-03-15

 

import urllib,urllib2,os,time

from bs4 import BeautifulSoup

 

start = time.clock()

path = os.getcwd()+u'/模板之家抓取的模板/'

if not os.path.isdir(path):

    os.mkdir(path)

 

url = "http://www.cssmoban.com/cssthemes/index_80.shtml"    # 源网站中的index后面数字怎么编排的?

theme_url ='http://www.cssmoban.com/cssthemes/'

response = urllib2.urlopen(url)

soup = BeautifulSoup(response) 

result = soup.select('p[class="title"] a')

print result

 

for item in result:

    link = item['href']

    # down_name = item.text   # 文件名称

    new_url = theme_url+link.split('/')[-1]

    response = urllib2.urlopen(new_url)

    soup = BeautifulSoup(response) 

    result = soup.select('.btn a')

    down_url = result[1]['href']    # 文件链接

 

    local = path+time.strftime('%Y%m%d%H%M%S',time.localtime(time.time()))+'.zip' 

    urllib.urlretrieve(down_url, local) # 远程保存函数

 

end = time.clock()

print u'模板抓取完成!'

print u'一共用时:',end-start,u'秒'

使用Python抓取模板之家的CSS模板

使用Python抓取模板之家的CSS模板

以上所述就是本文的全部内容了,希望大家能够喜欢。

Python 相关文章推荐
python中argparse模块用法实例详解
Jun 03 Python
Go/Python/Erlang编程语言对比分析及示例代码
Apr 23 Python
python实现判断一个字符串是否是合法IP地址的示例
Jun 04 Python
不管你的Python报什么错,用这个模块就能正常运行
Sep 14 Python
详解Python循环作用域与闭包
Mar 21 Python
Python安装及Pycharm安装使用教程图解
Sep 20 Python
pytorch 实现打印模型的参数值
Dec 30 Python
Python使用GitPython操作Git版本库的方法
Feb 29 Python
pyCharm 实现关闭代码检查
Jun 09 Python
python实现图片,视频人脸识别(opencv版)
Nov 18 Python
Python爬虫之Selenium实现窗口截图
Dec 04 Python
OpenCV绘制圆端矩形的示例代码
Aug 30 Python
Python实现竖排打印传单手机号码易撕条
Mar 16 #Python
python通过exifread模块获得图片exif信息的方法
Mar 16 #Python
python通过pil模块将raw图片转换成png图片的方法
Mar 16 #Python
python通过pil将图片转换成黑白效果的方法
Mar 16 #Python
python实现获取客户机上指定文件并传输到服务器的方法
Mar 16 #Python
python提取内容关键词的方法
Mar 16 #Python
python生成随机mac地址的方法
Mar 16 #Python
You might like
PHP的FTP学习(一)
2006/10/09 PHP
php判断输入不超过mysql的varchar字段的长度范围
2011/06/24 PHP
php在线解压ZIP文件的方法
2014/12/30 PHP
JS实多级联动下拉菜单类,简单实现省市区联动菜单!
2007/05/03 Javascript
js或css文件后面跟参数的原因说明
2010/01/09 Javascript
Jquery使用Firefox FireBug插件调试Ajax步骤讲解
2013/12/02 Javascript
jquery垂直公告滚动实现代码
2013/12/08 Javascript
JavaScript中奇葩的假值示例应用
2014/03/11 Javascript
NodeJS学习笔记之Http模块
2015/01/13 NodeJs
JS遍历数组及打印数组实例分析
2016/01/21 Javascript
Bootstrap导航条可点击和鼠标悬停显示下拉菜单的实现代码
2016/06/23 Javascript
nodejs acl的用户权限管理详解
2018/03/14 NodeJs
Promise扫盲贴
2019/06/24 Javascript
JS立即执行的匿名函数用法分析
2019/11/04 Javascript
使用React代码动态生成栅格布局的方法
2020/05/24 Javascript
vue内置组件component--通过is属性动态渲染组件操作
2020/07/28 Javascript
[04:48]DOTA2亚洲邀请赛林书豪为VGJ加油
2017/04/01 DOTA
[48:51]完美世界DOTA2联赛PWL S2 Magma vs InkIce 第一场 11.28
2020/12/02 DOTA
讲解Python的Scrapy爬虫框架使用代理进行采集的方法
2016/02/18 Python
解决已经安装requests,却依然提示No module named requests问题
2018/05/18 Python
对python中的argv和argc使用详解
2018/12/15 Python
解决python3运行selenium下HTMLTestRunner报错的问题
2018/12/27 Python
使用python的turtle绘画滑稽脸实例
2019/11/21 Python
Django使用rest_framework写出API
2020/05/21 Python
html5实现的便签特效(实战分享)
2013/11/29 HTML / CSS
Smashbox官网:美国知名彩妆品牌
2017/01/05 全球购物
日本整理专家Marie Kondo的官方在线商店:KonMari
2020/06/29 全球购物
小孩百日宴答谢词
2014/01/15 职场文书
股份转让协议书
2014/04/12 职场文书
销售竞赛活动方案
2014/08/23 职场文书
十佳少先队员演讲稿
2014/09/12 职场文书
工作失误检讨书(3篇)
2014/10/11 职场文书
美术教师求职信范文
2015/03/20 职场文书
安全生产警示教育活动总结
2015/05/09 职场文书
高中数学教学反思范文
2016/02/18 职场文书
项目中Nginx多级代理是如何获取客户端的真实IP地址
2022/05/30 Servers