python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python使用rsa加密算法模块模拟新浪微博登录
Jan 22 Python
Python遍历zip文件输出名称时出现乱码问题的解决方法
Apr 08 Python
利用python程序生成word和PDF文档的方法
Feb 14 Python
python 动态加载的实现方法
Dec 22 Python
numpy.random.seed()的使用实例解析
Feb 03 Python
从django的中间件直接返回请求的方法
May 30 Python
python psutil模块使用方法解析
Aug 01 Python
python @propert装饰器使用方法原理解析
Dec 25 Python
浅谈python之自动化运维(Paramiko)
Jan 31 Python
Python批量启动多线程代码实例
Feb 18 Python
Python2.6版本pip安装步骤解析
Aug 17 Python
Python从MySQL数据库中面抽取试题,生成试卷
Jan 14 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
PHP中文处理 中文字符串截取(mb_substr)和获取中文字符串字数
2011/11/10 PHP
php使用Smarty的相关注意事项及访问变量的几种方式
2011/12/08 PHP
php实现监控varnish缓存服务器的状态
2014/12/30 PHP
PHP单例模式应用示例【多次连接数据库只实例化一次】
2018/12/18 PHP
PHP7 弃用功能
2021/03/09 PHP
接收键盘指令的脚本
2006/06/26 Javascript
SWFObject Flash js调用类
2008/07/08 Javascript
Web Inspector:关于在 Sublime Text 中调试Js的介绍
2013/04/18 Javascript
JS Array创建及concat()split()slice()的使用方法
2016/06/03 Javascript
JavaScript 输出显示内容(document.write、alert、innerHTML、console.log)
2016/12/14 Javascript
基于JavaScript实现屏幕滚动效果
2017/01/18 Javascript
浅谈Webpack自动化构建实践指南
2017/12/18 Javascript
js设置鼠标悬停改变背景色实现详解
2019/06/26 Javascript
ant design 日期格式化的实现
2020/10/27 Javascript
微信小程序实现分页加载效果
2020/11/19 Javascript
JavaScript 获取滚动条位置并将页面滑动到锚点
2021/02/08 Javascript
[01:06:19]DOTA2-DPC中国联赛定级赛 LBZS vs SAG BO3第二场 1月8日
2021/03/11 DOTA
Python实现的简单dns查询功能示例
2017/05/24 Python
python实现京东秒杀功能
2018/07/30 Python
Python OS模块实例详解
2019/04/15 Python
Python开发之Nginx+uWSGI+virtualenv多项目部署教程
2019/05/13 Python
通过selenium抓取某东的TT购买记录并分析趋势过程解析
2019/08/15 Python
python开发一款翻译工具
2020/10/10 Python
利用Python实现字幕挂载(把字幕文件与视频合并)思路详解
2020/10/21 Python
Erwin Müller穆勒家居瑞士官网:您整个家庭的邮购公司
2019/12/28 全球购物
培训自我鉴定
2014/01/31 职场文书
《充气雨衣》教学反思
2014/04/07 职场文书
大学生应聘导游自荐信
2014/06/02 职场文书
学雷锋标兵事迹材料
2014/08/18 职场文书
2014教师年度思想工作总结
2014/11/10 职场文书
公务员政审个人总结
2015/02/12 职场文书
法律意见书范文
2015/06/04 职场文书
2016年国庆节新闻稿范文
2015/11/25 职场文书
让人感觉高大上的讲话稿怎么写?
2019/07/08 职场文书
读后感怎么写?书写读后感的基本技巧!
2019/12/10 职场文书
利用Apache Common将java对象池化的问题
2022/06/16 Servers