python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python批量修改文件名的实现代码
Sep 01 Python
Python 抓取动态网页内容方案详解
Dec 25 Python
从源码解析Python的Flask框架中request对象的用法
Jun 02 Python
Python实现的远程登录windows系统功能示例
Jun 21 Python
python pygame模块编写飞机大战
Nov 20 Python
使用python的pexpect模块,实现远程免密登录的示例
Feb 14 Python
Ubuntu18.04下python版本完美切换的解决方法
Jun 14 Python
Python爬虫程序架构和运行流程原理解析
Mar 09 Python
golang/python实现归并排序实例代码
Aug 30 Python
Python实现扫码工具的示例代码
Oct 09 Python
python获取linux系统信息的三种方法
Oct 14 Python
python 基于selectors库实现文件上传与下载
Dec 31 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
浅谈web上存漏洞及原理分析、防范方法(安全文件上存方法)
2013/06/29 PHP
curl不使用文件存取cookie php使用curl获取cookie示例
2014/01/26 PHP
Codeigniter的一些优秀特性总结
2015/01/21 PHP
php绘制圆形的方法
2015/01/24 PHP
PHP的Laravel框架结合MySQL与Redis数据库的使用部署
2016/03/21 PHP
PHP实现普通hash分布式算法简单示例
2018/08/06 PHP
passwordStrength 基于jquery的密码强度检测代码使用介绍
2011/10/08 Javascript
javascript模拟select,jselect的方法实现
2012/11/08 Javascript
node.js中的fs.truncate方法使用说明
2014/12/15 Javascript
js实现倒计时及时间对象
2016/11/15 Javascript
微信小程序链接传参并跳转新页面
2016/11/29 Javascript
js 监控iframe URL的变化实例代码
2017/07/12 Javascript
JavaScript 基础表单验证示例(纯Js实现)
2017/07/20 Javascript
vue.js父子组件通信动态绑定的实例
2018/09/28 Javascript
JS为什么说async/await是generator的语法糖详解
2019/07/11 Javascript
小程序实现层叠卡片滑动效果
2019/08/26 Javascript
vue全屏事件开发详解
2020/06/17 Javascript
Python 实现简单的电话本功能
2015/08/09 Python
Python中类型检查的详细介绍
2017/02/13 Python
Python中.py文件打包成exe可执行文件详解
2017/03/22 Python
Python实现小数转化为百分数的格式化输出方法示例
2017/09/20 Python
Python连接Mssql基础教程之Python库pymssql
2018/09/16 Python
解决Python print输出不换行没空格的问题
2018/11/14 Python
Python使用POP3和SMTP协议收发邮件的示例代码
2019/04/16 Python
Django错误:TypeError at / 'bool' object is not callable解决
2019/08/16 Python
python并发编程 Process对象的其他属性方法join方法详解
2019/08/20 Python
Python生成随机验证码代码实例解析
2020/06/09 Python
Python基于pyjnius库实现访问java类
2020/07/31 Python
HTML5 Plus 实现手机APP拍照或相册选择图片上传功能
2016/07/13 HTML / CSS
html5教程调用绘图api画简单的圆形代码分享
2013/12/04 HTML / CSS
科研先进个人典型材料
2014/01/31 职场文书
酒店总经理助理岗位职责
2014/02/01 职场文书
消防安全宣传标语
2014/06/07 职场文书
同意迁入证明模板
2014/10/26 职场文书
五星红旗迎风飘扬观后感
2015/06/17 职场文书
2016党员党章学习心得体会
2016/01/14 职场文书