Python 通过爬虫实现GitHub网页的模拟登录的示例代码


Posted in Python onAugust 17, 2020

1. 实例描述

通过爬虫获取网页的信息时,有时需要登录网页后才可以获取网页中的可用数据,例如获取 GitHub 网页中的注册号码时,就需要先登录账号才能在登录后的页面中看到该信息,如下图所示。那么该如何实现模拟登录的功能呢?本文实现将通过爬虫实现 GitHub 网页的模拟登录。

Python 通过爬虫实现GitHub网页的模拟登录的示例代码

2. 代码实现

在实现 GitHub 网页的模拟登录时,首先需要查看提交登录请求时都要哪些请求参数,然后获取登录请求的所有参数,再发送登录请求。如果登录成功的情况下获取页面中的注册号码信息即可。具体步骤如下:

(1) 点击 此处 打开 GitHub 的登录页面,然后输入账号与密码,如下图所示。

Python 通过爬虫实现GitHub网页的模拟登录的示例代码

(2) 用 F12 或者 鼠标右键单击网页选择 检查 打开浏览器的开发者工具,选择获取网络请求过程,然后单击登录页面中的 Sign in 按钮,此时开发者工具中将显示 GitHub 网页的登录请求过程,重点查找名称为 session 的网络请求。如下图所示。

Python 通过爬虫实现GitHub网页的模拟登录的示例代码

(3) 单击名称为 session 的网络请求,然后在 Headers 请求信息中主要查看 Request HeadersForm Data 中的各种信息,其中红框内为重要参数与数据。如下图所示。

Python 通过爬虫实现GitHub网页的模拟登录的示例代码

说明:Host 为主页面地址,Referer 为当前请求的来源地址。User-Agent 为浏览器的头部信息。Form Data 中的所有信息都是登录请求的所用参数,其中动态参数为重要参数,authenticity_token 为加密字符串,login 为登录的账号,password 为密码,其它参数为静态参数。由于动态参数只有 authenticity_tokenlogin 以及password ,而用户名与密码只需要将动态字符串填写对应的位置即可,所以接下来需要获取 authenticity_token 参数所对应的加密字符串。

(4) 在浏览器中退出所登录的 GitHub 账号,返回 GitHub 的登录页面,打开浏览器开发者工具,查看网页的 html 代码,然后在代码中搜索 authenticity_token 关键词,标签内 value 所对应的值为 authenticity_token 参数的加密字符串。如下图所示。

Python 通过爬虫实现GitHub网页的模拟登录的示例代码

(5) 实现爬虫代码,首先导入所需模块,然后创建头部信息,再通过 Session 会话对象发送网络请求获取 authenticity_token 信息,最后通过所有的登陆请求参数实现 GitHub 网页的登陆请求并提取注册号码。具体代码如下:

# -*- coding: utf-8 -*-
# @Time  : 2020/5/10 23:25
# @Author : 我就是任性-Amo
# @FileName: 77.通过爬虫实现GitHub网页的模拟登录.py
# @Software: PyCharm
# @Blog  :https://blog.csdn.net/xw1680

import requests # 导入网络请求模块
from lxml import etree # 导入数据解析模块 都是第三方模块需要安装 
# pip install requests/lxml如果太慢 可以加上镜像服务器 或者在Pycharm中使用图形化界面进行安装


class GitHubLogin(object):
  def __init__(self, username, password):
    # 构造头部信息
    self.headers = {
      "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
             "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
      "Host": "github.com",
      "Referer": "https://github.com/login"
    }
    self.login_url = "https://github.com/login" # 登录页面地址
    self.post_url = "https://github.com/session" # 实现登录的请求地址
    self.session = requests.Session() # 创建Session会话对象
    self.user_name = username # 用户名
    self.password = password # 密码

  # 获取authenticity_token信息
  def get_token(self):
    # 发送登录页面的网络请求
    response = self.session.get(self.login_url, headers=self.headers)
    if response.status_code == 200: # 判断请求是否成功
      html = etree.HTML(response.text) # 解析html
      # 提取authenticity_token信息
      token = html.xpath("//div[@id='login']/form/input[1]/@value")[0]
      # print(token) 测试是否能够获取到token
    return token # 返回信息

  # 实现登录
  def login(self):
    # 请求参数
    post_data = {
      "commit": "Sign in",
      "authenticity_token": self.get_token(),
      "login": self.user_name,
      "password": self.password,
      "webauthn - support": "supported"
    }
    # 发送登录请求
    response = self.session.post(self.post_url, headers=self.headers, data=post_data)
    if response.status_code == 200: # 判断请求是否成功
      html = etree.HTML(response.text) # 解析html
      # 获取注册号码
      register_number = html.xpath("//div[contains(@class,'Header-item')][last()]//strong")[0]
      print(f"注册号码为: {register_number.text}")
    else:
      print("登录失败")


if __name__ == '__main__':
  user_name = input("请输入您的用户名:") # 获取输入的用户名
  password = input("请输入您的密码:") # 获取输入的密码
  login = GitHubLogin(user_name, password) # 创建登录类对象并传递输入的用户名与密码
  login.login()

执行以上代码,输入用户名与密码,即可显示获取的注册号码。如下图所示:

Python 通过爬虫实现GitHub网页的模拟登录的示例代码

到此这篇关于Python 通过爬虫实现GitHub网页的模拟登录的示例代码的文章就介绍到这了,更多相关Python GitHub模拟登录内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
简单介绍Python中的RSS处理
Apr 13 Python
Python聊天室实例程序分享
Jan 05 Python
django+js+ajax实现刷新页面的方法
May 22 Python
使用tensorflow实现AlexNet
Nov 20 Python
python最长回文串算法
Jun 04 Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 Python
python获取当前文件路径以及父文件路径的方法
Jul 10 Python
python爬虫 execjs安装配置及使用
Jul 30 Python
python爬取百度贴吧前1000页内容(requests库面向对象思想实现)
Aug 10 Python
使用python实现飞机大战游戏
Mar 23 Python
在python中求分布函数相关的包实例
Apr 15 Python
matplotlib阶梯图的实现(step())
Mar 02 Python
无需压缩软件,用python帮你操作压缩包
Aug 17 #Python
用Python制作mini翻译器的实现示例
Aug 17 #Python
PyCharm vs VSCode,作为python开发者,你更倾向哪种IDE呢?
Aug 17 #Python
pandas apply多线程实现代码
Aug 17 #Python
简述python Scrapy框架
Aug 17 #Python
python使用多线程查询数据库的实现示例
Aug 17 #Python
python使用建议与技巧分享(一)
Aug 17 #Python
You might like
处理php自动反斜杠的函数代码
2010/01/05 PHP
解析PHP中VC6 X86和VC9 X86的区别及 Non Thread Safe的意思
2013/06/28 PHP
8个PHP数组面试题
2015/06/23 PHP
Laravel基础-关于引入公共文件的两种方式
2019/10/18 PHP
web基于浏览器的本地存储方法应用
2012/11/27 Javascript
javascript消除window.close()的提示窗口
2015/05/20 Javascript
纯js实现无限空间大小的本地存储
2015/06/18 Javascript
jQuery过滤HTML标签并高亮显示关键字的方法
2015/08/07 Javascript
jQuery基于ajax实现星星评论代码
2015/08/07 Javascript
jQuery实现简单下拉导航效果
2015/09/07 Javascript
jQuery实现鼠标经过时出现隐藏层文字链接的方法
2015/10/12 Javascript
深入理解vue.js双向绑定的实现原理
2016/12/05 Javascript
js实现日历与定时器
2017/02/22 Javascript
JS实现根据密码长度显示安全条功能
2017/03/08 Javascript
详解angular中的作用域及继承
2017/05/31 Javascript
浅谈Angular4中常用管道
2017/09/27 Javascript
微信小程序云开发实现增删改查功能
2019/05/17 Javascript
Nodejs异步流程框架async的方法
2019/06/07 NodeJs
jquery图片预览插件实现方法详解
2019/07/18 jQuery
Layui 带多选框表格监听事件以及按钮自动点击写法实例
2019/09/02 Javascript
react使用CSS实现react动画功能示例
2020/05/18 Javascript
浅谈Vue static 静态资源路径 和 style问题
2020/11/07 Javascript
[02:36]DOTA2亚洲邀请赛小组赛精彩集锦:EE凭借法力虚空拿下4杀
2017/03/30 DOTA
python每次处理固定个数的字符的方法总结
2013/01/29 Python
Python操作Excel之xlsx文件
2017/03/24 Python
Python中的相关分析correlation analysis的实现
2019/08/29 Python
python等差数列求和公式前 100 项的和实例
2020/02/25 Python
Jupyter notebook运行Spark+Scala教程
2020/04/10 Python
美国南加州的原创极限运动潮牌:Vans(范斯)
2016/08/05 全球购物
美国和加拿大计算机和电子产品购物网站:TigerDirect.com
2019/09/13 全球购物
Carmen Sol官网:购买果冻鞋、手袋和配件
2021/01/01 全球购物
庆七一活动方案
2014/01/25 职场文书
爱情寄语大全
2014/04/09 职场文书
报表员工作失误检讨书范文
2014/09/19 职场文书
2015高中教师个人工作总结
2015/07/21 职场文书
Python中requests做接口测试的方法
2021/05/30 Python