python 爬虫爬取京东ps4售卖情况


Posted in Python onDecember 18, 2020

代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File : HtmlParser.py
# @Author: 赵路仓
# @Date : 2020/3/17
# @Desc :
# @Contact : 398333404@qq.com
import json

from lxml import etree
import requests
from bs4 import BeautifulSoup


url="https://search.jd.com/Search?keyword=ps4&enc=utf-8&wq=ps4&pvid=cf0158c8664442799c1146a461478c9c"
head={
 'authority': 'search.jd.com',
 'method': 'GET',
 'path': '/s_new.php?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=4&s=84&scrolling=y&log_id=1529828108.22071&tpl=3_M&show_items=7651927,7367120,7056868,7419252,6001239,5934182,4554969,3893501,7421462,6577495,26480543553,7345757,4483120,6176077,6932795,7336429,5963066,5283387,25722468892,7425622,4768461',
 'scheme': 'https',
 'referer': 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=3&s=58&click=0',
 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
 'x-requested-with': 'XMLHttpRequest',
}

def page(page):
 print("开始")
 url = "https://search.jd.com/Search?keyword=ps4&enc=utf-8&qrst=1&rt=1&stop=1&vt=1&wq=ps4&page="+page+"&s=181&click=0"
 r=requests.get(url,timeout=3,headers=head)
 r.encoding=r.apparent_encoding
 # print(r.text)
 b=BeautifulSoup(r.text,"html.parser")
 #print(b.prettify())
 _element = etree.HTML(r.text)
 datas = _element.xpath('//li[contains(@class,"gl-item")]')
 print(datas)
 for data in datas:
  p_price = data.xpath('div/div[@class="p-price"]/strong/i/text()')
  p_comment = data.xpath('div/div[5]/strong/a/text()')
  p_name = data.xpath('div/div[@class="p-name p-name-type-2"]/a/em/text()')
  p_href = data.xpath('div/div[@class="p-name p-name-type-2"]/a/@href')
  comment=' '.join(p_comment)
  name = ' '.join(p_name)
  price = ' '.join(p_price)
  href = ' '.join(p_href)
  print(name,price,p_comment,href)

if __name__=="__main__":
 page("5")

爬取结果

python 爬虫爬取京东ps4售卖情况

以上就是python 爬虫爬取某东ps4售卖情况的详细内容,更多关于python 爬虫的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python实现的一个火车票转让信息采集器
Jul 09 Python
python的else子句使用指南
Feb 27 Python
OpenCV2从摄像头获取帧并写入视频文件的方法
Aug 03 Python
python递归全排列实现方法
Aug 18 Python
python之验证码生成(gvcode与captcha)
Jan 02 Python
python config文件的读写操作示例
Sep 27 Python
如何用OpenCV -python3实现视频物体追踪
Dec 04 Python
基于python3实现倒叙字符串
Feb 18 Python
python 工具 字符串转numpy浮点数组的实现
Mar 14 Python
Pytorch实现将模型的所有参数的梯度清0
Jun 24 Python
Python如何批量生成和调用变量
Nov 21 Python
一小时学会TensorFlow2之基本操作2实例代码
Sep 04 Python
python实现视频压缩功能
Dec 18 #Python
MoviePy常用剪辑类及Python视频剪辑自动化
Dec 18 #Python
python 实现全球IP归属地查询工具
Dec 18 #Python
MoviePy简介及Python视频剪辑自动化
Dec 18 #Python
Python非单向递归函数如何返回全部结果
Dec 18 #Python
python复合条件下的字典排序
Dec 18 #Python
python 监控服务器是否有人远程登录(详细思路+代码)
Dec 18 #Python
You might like
Search Engine Friendly的URL设计
2006/10/09 PHP
php 设计模式之 工厂模式
2008/12/19 PHP
PHP设计模式 注册表模式
2012/02/05 PHP
PHP使用DOMDocument类生成HTML实例(包含常见标签元素)
2014/06/25 PHP
使用纯php代码实现页面伪静态的方法
2015/07/25 PHP
PHP数学运算与数据处理实例分析
2016/04/01 PHP
PHP注释语法规范与命名规范详解篇
2018/01/21 PHP
innerHTML与jquery里的html()区别介绍
2012/10/12 Javascript
jquery购物车实时结算特效实现思路
2013/09/23 Javascript
EasyUi datagrid 实现表格分页
2015/02/10 Javascript
innerHTML中标签可以换行的方法汇总
2015/08/14 Javascript
浅析javascript中的Event事件
2016/12/09 Javascript
微信小程序开发中的疑问解答汇总
2017/07/03 Javascript
Javascript中的getter和setter初识
2017/08/17 Javascript
解决Linux无法正常安装与卸载Node.js的方法
2018/01/19 Javascript
vue2配置scss的方法步骤
2019/06/06 Javascript
JS Ajax请求会话过期处理问题解决方法分析
2019/11/16 Javascript
js判断密码强度的方法
2020/03/18 Javascript
nodejs+koa2 实现模仿springMVC框架
2020/10/21 NodeJs
vue组件中节流函数的失效的原因和解决方法
2020/12/02 Vue.js
Python的Django框架使用入门指引
2015/04/15 Python
Python实现的HTTP并发测试完整示例
2020/04/23 Python
Python绘制七段数码管实例代码
2017/12/20 Python
Tensorflow 合并通道及加载子模型的方法
2018/07/26 Python
Python jieba库用法及实例解析
2019/11/04 Python
python中使用input()函数获取用户输入值方式
2020/05/03 Python
音频处理 windows10下python三方库librosa安装教程
2020/06/20 Python
Python Spyder 调出缩进对齐线的操作
2021/02/26 Python
如何在存储过程中使用Loop
2016/01/05 面试题
文秘自荐信
2013/10/20 职场文书
模具专业毕业推荐信
2014/03/08 职场文书
业绩倒数第一的检讨书
2014/09/24 职场文书
四风问题对照检查材料整改措施
2014/09/27 职场文书
我的中国梦主题教育活动总结
2015/05/07 职场文书
法院答辩状格式
2015/05/22 职场文书
文明医院的标语集锦!
2019/07/24 职场文书