python BeautifulSoup设置页面编码的方法


Posted in Python onApril 03, 2015

在用BeautifulSoup进行抓取页面的时候,会各种各样的编码错误。
可以通过在beautifulsoup中指定字符编码,解决问题。

import urllib2  

from BeautifulSoup import BeautifulSoup  

  

page = urllib2.urlopen('http://www.163.com');  

soup = BeautifulSoup(page,from_encoding="gb2312")  

  

print soup.originalEncoding

print soup.prettify() 

红色部分表示需要注意的地方。在BeautifulSoup构造器中传入fromEncoding参数即可解决乱码问题,当然具体参数值是什么就要看你获取页面的编码是什么
Python 相关文章推荐
Python警察与小偷的实现之一客户端与服务端通信实例
Oct 09 Python
教大家玩转Python字符串处理的七种技巧
Mar 31 Python
Python sqlite3事务处理方法实例分析
Jun 19 Python
python2.7 mayavi 安装图文教程(推荐)
Jun 22 Python
python Pandas 读取txt表格的实例
Apr 29 Python
python 列表转为字典的两个小方法(小结)
Jun 28 Python
用Pytorch训练CNN(数据集MNIST,使用GPU的方法)
Aug 19 Python
numpy:找到指定元素的索引示例
Nov 26 Python
python 实现在shell窗口中编写print不向屏幕输出
Feb 19 Python
什么是Python中的顺序表
Jun 02 Python
详解python中的三种命令行模块(sys.argv,argparse,click)
Dec 15 Python
Python中X[:,0]和X[:,1]的用法
May 10 Python
用Python编写一个简单的FUSE文件系统的教程
Apr 02 #Python
用Python中的__slots__缓存资源以节省内存开销的方法
Apr 02 #Python
用Python的线程来解决生产者消费问题的示例
Apr 02 #Python
用实例分析Python中method的参数传递过程
Apr 02 #Python
使用优化器来提升Python程序的执行效率的教程
Apr 02 #Python
使用Python脚本对Linux服务器进行监控的教程
Apr 02 #Python
在Python编程过程中用单元测试法调试代码的介绍
Apr 02 #Python
You might like
咖啡机如何保养和日常清洁?
2021/03/03 冲泡冲煮
PHP Ajax中文乱码问题解决方法
2009/02/27 PHP
PHP无限分类(树形类)的深入分析
2013/06/02 PHP
PHP 双链表(SplDoublyLinkedList)简介和使用实例
2015/05/12 PHP
laravel5.4利用163邮箱发送邮件的步骤详解
2017/09/22 PHP
PHP单例模式模拟Java Bean实现方法示例
2018/12/07 PHP
thinkphp5框架前后端分离项目实现分页功能的方法分析
2019/10/08 PHP
js 延迟加载 改变JS的位置加快网页加载速度
2012/12/11 Javascript
Javascript浮点数乘积运算出现多位小数的解决方法
2014/02/17 Javascript
Javascript 拖拽的一些简单的应用(逐行分析代码,让你轻松了拖拽的原理)
2015/01/23 Javascript
jQuery Validate表单验证插件实现代码
2017/06/08 jQuery
Express + Node.js实现登录拦截器的实例代码
2017/07/01 Javascript
基于Vue制作组织架构树组件
2017/12/06 Javascript
opencv 识别微信登录验证滑动块位置
2018/08/07 Javascript
详解微信小程序用定时器实现倒计时效果
2019/04/30 Javascript
12个提高JavaScript技能的概念(小结)
2019/05/09 Javascript
基于vue如何发布一个npm包的方法步骤
2019/05/15 Javascript
javascript设计模式 ? 抽象工厂模式原理与应用实例分析
2020/04/09 Javascript
vue中的v-model原理,与组件自定义v-model详解
2020/08/04 Javascript
Python Web框架Flask中使用七牛云存储实例
2015/02/08 Python
Python3.5编程实现修改IIS WEB.CONFIG的方法示例
2017/08/18 Python
python绘制直方图和密度图的实例
2019/07/08 Python
树莓派使用python-librtmp实现rtmp推流h264的方法
2019/07/22 Python
numpy求平均值的维度设定的例子
2019/08/24 Python
检测浏览器是否支持html5视频的代码
2013/03/28 HTML / CSS
2014年教师培训的自我评价
2014/01/03 职场文书
食品安全责任书
2014/04/15 职场文书
文明美德伴我成长演讲稿
2014/05/12 职场文书
档案保密承诺书
2014/06/03 职场文书
战友聚会策划方案
2014/06/13 职场文书
工作证明范本(2篇)
2014/09/14 职场文书
自查自纠工作总结
2014/10/15 职场文书
个人整改方案范文
2014/10/25 职场文书
感谢信模板大全
2015/01/23 职场文书
监守自盗观后感
2015/06/10 职场文书
SQL SERVER存储过程用法详解
2022/02/24 SQL Server