Python使用requests模块爬取百度翻译


Posted in Python onAugust 25, 2020

requests模块:

python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。

作用:模拟浏览器发请求。

提示:老版使用 urllib模块,但requests比urllib模块要简单好用,现在学习requests模块即可!

requests模块编码流程

指定url

1.1 UA伪装

1.2 请求参数的处理

2.发起请求

3.获取响应数据

4.持久化存储

环境安装:

pip install requests

案例一:破解百度翻译(post请求)

1.代码如下:

#爬取百度翻译
#导入模块
import requests
import json

#UA伪装:将对应的User-Agent封装到一个字典中
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/57.0.2987.98 Safari/537.36'}

  #网页访问连接
 url='https://fanyi.baidu.com/sug'
 #处理url携带的参数:封装到字典中
word=input("input a word: ")
data={
  'kw': word
}

#请求发送
res=requests.post(url=url,data=data,headers=headers)
#获取响应数据:json()方法返回的是obj(如果确认响应数据是json类型的,才可以使用json())
dic_obj=res.json()

#持久化存储
filename=word+'.json'
fp=open(filename,'w',encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)

#打印完成提示
print('finish')

其中:

https://fanyi.baidu.com/sug 这个url的定位如下图:

Python使用requests模块爬取百度翻译

2.运行结果

Python使用requests模块爬取百度翻译

Python使用requests模块爬取百度翻译

案例二:爬取搜狗页面数据(get请求)

1.代码如下

import requests
if __name__ == "__main__":
  #step_1:指定url
  url = 'https://www.sogou.com/'
  #step_2:发起请求
  #get方法会返回一个响应对象
  response = requests.get(url=url)
  #step_3:获取响应数据.text返回的是字符串形式的响应数据
  page_text = response.text
  print(page_text)
  #step_4:持久化存储
  with open('./sogou.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
  print('爬取数据结束!!!')

2.运行结果如下:

Python使用requests模块爬取百度翻译

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现socket客户端和服务端简单示例
Feb 24 Python
使用Python的Supervisor进行进程监控以及自动启动
May 29 Python
Python简单读取json文件功能示例
Nov 30 Python
Python迭代器和生成器定义与用法示例
Feb 10 Python
python读取raw binary图片并提取统计信息的实例
Jan 09 Python
关于初始种子自动选取的区域生长实例(python+opencv)
Jan 16 Python
Python3实现监控新型冠状病毒肺炎疫情的示例代码
Feb 13 Python
python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式
May 16 Python
Python接口测试环境搭建过程详解
Jun 29 Python
在django中实现choices字段获取对应字段值
Jul 12 Python
利用python清除移动硬盘中的临时文件
Oct 28 Python
Django项目如何正确配置日志(logging)
Apr 29 Python
Python爬虫使用bs4方法实现数据解析
Aug 25 #Python
Python+Opencv身份证号码区域提取及识别实现
Aug 25 #Python
Python Selenium实现无可视化界面过程解析
Aug 25 #Python
一文读懂Python 枚举
Aug 25 #Python
详解python变量与数据类型
Aug 25 #Python
python获取百度热榜链接的实例方法
Aug 25 #Python
利用Python如何制作贪吃蛇及AI版贪吃蛇详解
Aug 24 #Python
You might like
日本十大惊悚动漫
2020/03/04 日漫
基于mysql的论坛(7)
2006/10/09 PHP
php对mongodb的扩展(初出茅庐)
2012/11/11 PHP
php.ini 配置文件的深入解析
2013/06/17 PHP
PHP修改session_id示例代码
2014/01/08 PHP
thinkphp的c方法使用示例
2014/02/24 PHP
php pthreads多线程的安装与使用
2016/01/19 PHP
JS之小练习代码
2008/10/12 Javascript
jQuery 连续列表实现代码
2009/12/21 Javascript
jquery post方式传递多个参数值后台以数组的方式进行接收
2013/01/11 Javascript
GridView中获取被点击行中的DropDownList和TextBox中的值
2013/07/18 Javascript
JavaScript实现快速排序的方法
2015/07/31 Javascript
微信小程序 教程之条件渲染
2016/10/18 Javascript
JavaScript实现的浏览器下载文件的方法
2017/08/09 Javascript
element-ui中select组件绑定值改变,触发change事件方法
2018/08/24 Javascript
vue+element表格导出为Excel文件
2019/09/26 Javascript
vue模块移动组件的实现示例
2020/05/20 Javascript
原生js+canvas实现下雪效果
2020/08/02 Javascript
vue项目实现设置根据路由高亮对应的菜单项操作
2020/08/06 Javascript
vue中封装axios并实现api接口的统一管理
2020/12/25 Vue.js
JS+CSS实现动态时钟
2021/02/19 Javascript
python实现爬虫统计学校BBS男女比例之数据处理(三)
2015/12/31 Python
Python3.5面向对象与继承图文实例详解
2019/04/24 Python
python 类之间的参数传递方式
2019/12/20 Python
Python接口测试结果集实现封装比较
2020/05/01 Python
Django2.1.7 查询数据返回json格式的实现
2020/12/29 Python
泰国折扣酒店预订:Hotels2Thailand
2018/03/20 全球购物
德国香水、化妆品和护理产品网上商店:Parfumdreams
2018/09/26 全球购物
澳大利亚在线购买葡萄酒:The Wine Collective
2020/02/20 全球购物
网站开发实习生的自我评价
2013/12/11 职场文书
党校培训自我鉴定范文
2014/03/20 职场文书
学校教师安全责任书
2014/07/23 职场文书
党员自我剖析材料
2014/08/31 职场文书
致百米运动员广播稿5篇
2014/10/13 职场文书
读《钢铁是怎样炼成的》有感:百炼方成钢
2019/11/05 职场文书
python中使用redis用法详解
2022/12/24 Redis