python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Ubuntu 14.04+Django 1.7.1+Nginx+uwsgi部署教程
Nov 18 Python
Python版微信红包分配算法
May 04 Python
Python文件右键找不到IDLE打开项解决办法
Jun 08 Python
如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求
Oct 13 Python
python 队列详解及实例代码
Oct 18 Python
python正则表达式的使用
Jun 12 Python
Python编程给numpy矩阵添加一列方法示例
Dec 04 Python
对Python 多线程统计所有csv文件的行数方法详解
Feb 12 Python
python实现串口自动触发工作的示例
Jul 02 Python
Flask框架学习笔记之消息提示与异常处理操作详解
Aug 15 Python
Python合并2个字典成1个新字典的方法(9种)
Dec 19 Python
python获取整个网页源码的方法
Aug 03 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
PHP 图片上传代码
2011/09/13 PHP
PHP判断密码强度的方法详解
2017/05/26 PHP
PHP xpath()函数讲解
2019/02/11 PHP
showModelDialog弹出文件下载窗口的使用示例
2013/11/19 Javascript
jQuery选择器全面总结
2014/01/06 Javascript
如何在MVC应用程序中使用Jquery
2014/11/17 Javascript
JS实现同一个网页布局滑动门和TAB选项卡实例
2015/09/23 Javascript
jquery判断input值不为空的方法
2016/06/05 Javascript
js控件Kindeditor实现图片自动上传功能
2020/07/20 Javascript
JS动态给对象添加事件的简单方法
2016/07/19 Javascript
Angular.Js的自动化测试详解
2016/12/09 Javascript
原生JS获取元素集合的子元素宽度实例
2016/12/14 Javascript
详解jQuery选择器
2016/12/21 Javascript
vue仿淘宝订单状态的tab切换效果
2020/06/23 Javascript
详解vue+css3做交互特效的方法
2017/11/20 Javascript
微信小程序使用modal组件弹出对话框功能示例
2017/11/29 Javascript
vue实现路由切换改变title功能
2019/05/28 Javascript
微信小程序中为什么使用var that=this
2019/08/27 Javascript
关于vue项目中搜索节流的实现代码
2019/09/17 Javascript
[58:25]VP vs RNG 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/17 DOTA
跟老齐学Python之变量和参数
2014/10/10 Python
Python网络爬虫与信息提取(实例讲解)
2017/08/29 Python
python使用代理ip访问网站的实例
2018/05/07 Python
使用Python+wxpy 找出微信里把你删除的好友实例
2019/02/21 Python
django多文件上传,form提交,多对多外键保存的实例
2019/08/06 Python
Python面向对象程序设计之静态方法、类方法、属性方法原理与用法分析
2020/03/23 Python
Python GUI编程学习笔记之tkinter控件的介绍及基本使用方法详解
2020/03/30 Python
Python任务调度利器之APScheduler详解
2020/04/02 Python
基于canvas的骨骼动画的示例代码
2018/06/12 HTML / CSS
水电维修专业推荐信
2014/09/06 职场文书
四风问题对照检查材料
2014/09/22 职场文书
《清澈的湖水》教学反思
2016/02/17 职场文书
民政局2016年“六一”儿童节慰问活动总结
2016/04/06 职场文书
Web前端:CSS最强总结 附详细代码
2021/03/31 HTML / CSS
Java实现房屋出租系统详解
2021/10/05 Java/Android
Spring Boot实现文件上传下载
2022/08/14 Java/Android