解决python爬虫中有中文的url问题


Posted in Python onMay 11, 2018

如果URL中存在中文,而你却不对它做任何处理,他不会达到你所想的那样,因此我们需要将中文部分进行处理,要用到urllib.parse模块中的quote将中文转化成URL所需的编码,url中的中文要单独处理,不能中英文全部合在一起处理(因为一部分的特殊字符也会被处理掉)。

import urllib.parse 
 
word='龙' 
word=urllib.parse.quote(word) 
url='https://baike.baidu.com/search/word?word=%s'%word 
print(url)

运行结果为:

解决python爬虫中有中文的url问题

以上这篇解决python爬虫中有中文的url问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中实现的RC4算法
Feb 14 Python
Python多线程结合队列下载百度音乐的方法
Jul 27 Python
Python的SimpleHTTPServer模块用处及使用方法简介
Jan 22 Python
从运行效率与开发效率比较Python和C++
Dec 14 Python
python3实现指定目录下文件sha256及文件大小统计
Feb 25 Python
Python3中编码与解码之Unicode与bytes的讲解
Feb 28 Python
原生python实现knn分类算法
Oct 24 Python
Python和Anaconda和Pycharm安装教程图文详解
Feb 04 Python
python爬虫构建代理ip池抓取数据库的示例代码
Sep 22 Python
Python 利用argparse模块实现脚本命令行参数解析
Dec 28 Python
python中zip()函数遍历多个列表方法
Feb 18 Python
Python爬虫爬取微博热搜保存为 Markdown 文件的源码
Feb 22 Python
利用Python yagmail三行代码实现发送邮件
May 11 #Python
解决Pandas to_json()中文乱码,转化为json数组的问题
May 10 #Python
解决python3 json数据包含中文的读写问题
May 10 #Python
Python3.6通过自带的urllib通过get或post方法请求url的实例
May 10 #Python
对python3 urllib包与http包的使用详解
May 10 #Python
Python3处理HTTP请求的实例
May 10 #Python
python字符串与url编码的转换实例
May 10 #Python
You might like
php递归创建和删除文件夹的代码小结
2012/04/13 PHP
解析用PHP读写音频文件信息的详解(支持WMA和MP3)
2013/05/10 PHP
PHP中的排序函数sort、asort、rsort、krsort、ksort区别分析
2014/08/18 PHP
PHP完全二叉树定义与实现方法示例
2017/10/09 PHP
PHP连续签到功能实现方法详解
2019/12/04 PHP
PHP数组基本用法与知识点总结
2020/06/02 PHP
新页面打开实际尺寸的图片
2006/08/25 Javascript
javascript 验证日期的函数
2010/03/18 Javascript
jquery.cookie.js 操作cookie实现记住密码功能的实现代码
2011/04/27 Javascript
eval的两组性能测试数据
2012/08/17 Javascript
js购物车实现思路及代码(个人感觉不错)
2013/12/23 Javascript
JS获取随机数函数可自定义最小值最大值
2014/05/08 Javascript
详解JavaScript数组和字符串中去除重复值的方法
2016/03/07 Javascript
jQuery Validate插件自定义验证规则的方法
2016/12/27 Javascript
jQuery实现对象转为url参数的方法
2017/01/11 Javascript
NodeJS使用七牛云存储上传文件的方法
2017/07/24 NodeJs
Vue波纹按钮组件制作
2018/04/30 Javascript
karma+webpack搭建vue单元测试环境的方法示例
2018/05/24 Javascript
微信小程序五子棋游戏的悔棋实现方法【附demo源码下载】
2019/02/20 Javascript
Node 使用express-http-proxy 做api网关的实现
2020/10/15 Javascript
[08:02]DOTA2牵红线 zhou神抱得美人归
2014/03/22 DOTA
Python break语句详解
2014/03/11 Python
python统计cpu利用率的方法
2015/06/02 Python
Python3正则匹配re.split,re.finditer及re.findall函数用法详解
2018/06/11 Python
基于pandas将类别属性转化为数值属性的方法
2018/07/25 Python
python制作mysql数据迁移脚本
2019/01/01 Python
提升Python效率之使用循环机制代替递归函数
2019/07/23 Python
CSS3实现超酷的黑猫警长首页
2016/04/26 HTML / CSS
html5 localStorage本地存储_动力节点Java学院整理
2017/07/06 HTML / CSS
amazeui模态框弹出后立马消失并刷新页面
2020/08/19 HTML / CSS
美国礼品卡商城: Gift Card Mall
2017/08/25 全球购物
工程力学专业毕业生求职信
2013/10/06 职场文书
大学生毕业的自我评价分享
2014/01/02 职场文书
避暑山庄导游词
2015/02/04 职场文书
2015年林业工作总结
2015/05/14 职场文书
PHP中国际化的字符串排序和比较对象详解
2021/08/23 PHP