python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python实现一个简单的验证码程序
Nov 03 Python
Python星号*与**用法分析
Feb 02 Python
ubuntu17.4下为python和python3装上pip的方法
Jun 12 Python
python3将视频流保存为本地视频文件
Jun 20 Python
python将控制台输出保存至文件的方法
Jan 07 Python
python tkinter图形界面代码统计工具(更新)
Sep 18 Python
python中bytes和str类型的区别
Oct 21 Python
Python 根据数据模板创建shapefile的实现
Nov 26 Python
tensorflow 获取所有variable或tensor的name示例
Jan 04 Python
pytorch实现保证每次运行使用的随机数都相同
Feb 20 Python
利用PyTorch实现VGG16教程
Jun 24 Python
python实现图片素描效果
Sep 26 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
咖啡的种类和口感
2021/03/03 新手入门
用PHP制作的意见反馈表源码
2007/03/11 PHP
php获取用户IPv4或IPv6地址的代码
2012/11/15 PHP
PHP代码保护--Zend Guard的使用详解
2013/06/03 PHP
深入剖析PHP中printf()函数格式化使用
2016/05/23 PHP
深入浅析Yii admin的权限控制
2016/08/31 PHP
再论Javascript下字符串连接的性能
2011/03/05 Javascript
jQuery on()方法使用技巧详解
2015/04/16 Javascript
Labelauty?jQuery单选框/复选框美化插件分享
2015/09/26 Javascript
使用CSS+JavaScript或纯js实现半透明遮罩效果的实例分享
2016/05/09 Javascript
Vue.js学习笔记之 helloworld
2016/08/14 Javascript
Vue.js系列之vue-router(上)(3)
2017/01/03 Javascript
JavaScript之class继承_动力节点Java学院整理
2017/07/03 Javascript
JavaScript实现滑动导航栏效果
2017/08/30 Javascript
js用类封装pop弹窗组件
2017/10/08 Javascript
通过npm或yarn自动生成vue组件的方法示例
2019/02/12 Javascript
angular多语言配置详解
2019/05/16 Javascript
使用 node.js 模仿 Apache 小部分功能
2019/07/07 Javascript
jQuery pager.js 插件动态分页功能实例分析
2019/08/02 jQuery
微信小程序bindtap事件与冒泡阻止详解
2019/08/08 Javascript
javascript实现电商放大镜效果
2020/11/23 Javascript
Python批处理更改文件名os.rename的方法
2018/10/26 Python
在Python中分别打印列表中的每一个元素方法
2018/11/07 Python
Django实现学员管理系统
2019/02/26 Python
Python如何计算语句执行时间
2019/11/22 Python
Django微信小程序后台开发教程的实现
2020/06/03 Python
解决pycharm debug时界面下方不出现step等按钮及变量值的问题
2020/06/09 Python
keras做CNN的训练误差loss的下降操作
2020/06/22 Python
python2和python3哪个使用率高
2020/06/23 Python
通信工程专业个人找工作求职信范文
2013/09/21 职场文书
2013年办公室秘书的个人自我鉴定
2013/10/24 职场文书
机械设计及其自动化求职推荐信
2014/02/17 职场文书
小学开学典礼主持词
2014/03/19 职场文书
高效课堂标语
2014/06/26 职场文书
绍兴鲁迅故居导游词
2015/02/09 职场文书
办公室卫生管理制度
2015/08/04 职场文书