python 爬虫爬取京东ps4售卖情况


Posted in Python onDecember 18, 2020

代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File : HtmlParser.py
# @Author: 赵路仓
# @Date : 2020/3/17
# @Desc :
# @Contact : 398333404@qq.com
import json

from lxml import etree
import requests
from bs4 import BeautifulSoup


url="https://search.jd.com/Search?keyword=ps4&enc=utf-8&wq=ps4&pvid=cf0158c8664442799c1146a461478c9c"
head={
 'authority': 'search.jd.com',
 'method': 'GET',
 'path': '/s_new.php?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=4&s=84&scrolling=y&log_id=1529828108.22071&tpl=3_M&show_items=7651927,7367120,7056868,7419252,6001239,5934182,4554969,3893501,7421462,6577495,26480543553,7345757,4483120,6176077,6932795,7336429,5963066,5283387,25722468892,7425622,4768461',
 'scheme': 'https',
 'referer': 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=3&s=58&click=0',
 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
 'x-requested-with': 'XMLHttpRequest',
}

def page(page):
 print("开始")
 url = "https://search.jd.com/Search?keyword=ps4&enc=utf-8&qrst=1&rt=1&stop=1&vt=1&wq=ps4&page="+page+"&s=181&click=0"
 r=requests.get(url,timeout=3,headers=head)
 r.encoding=r.apparent_encoding
 # print(r.text)
 b=BeautifulSoup(r.text,"html.parser")
 #print(b.prettify())
 _element = etree.HTML(r.text)
 datas = _element.xpath('//li[contains(@class,"gl-item")]')
 print(datas)
 for data in datas:
  p_price = data.xpath('div/div[@class="p-price"]/strong/i/text()')
  p_comment = data.xpath('div/div[5]/strong/a/text()')
  p_name = data.xpath('div/div[@class="p-name p-name-type-2"]/a/em/text()')
  p_href = data.xpath('div/div[@class="p-name p-name-type-2"]/a/@href')
  comment=' '.join(p_comment)
  name = ' '.join(p_name)
  price = ' '.join(p_price)
  href = ' '.join(p_href)
  print(name,price,p_comment,href)

if __name__=="__main__":
 page("5")

爬取结果

python 爬虫爬取京东ps4售卖情况

以上就是python 爬虫爬取某东ps4售卖情况的详细内容,更多关于python 爬虫的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python获取beautifulphoto随机某图片代码实例
Dec 18 Python
Python 字典(Dictionary)操作详解
Mar 11 Python
python新手经常遇到的17个错误分析
Jul 30 Python
Python和perl实现批量对目录下电子书文件重命名的代码分享
Nov 21 Python
Python解析excel文件存入sqlite数据库的方法
Nov 15 Python
Python图片转换成矩阵,矩阵数据转换成图片的实例
Jul 02 Python
python获取服务器响应cookie的实例
Dec 28 Python
python使用zip将list转为json的方法
Dec 31 Python
关于python之字典的嵌套,递归调用方法
Jan 21 Python
ML神器:sklearn的快速使用及入门
Jul 11 Python
tensorflow实现读取模型中保存的值 tf.train.NewCheckpointReader
Feb 10 Python
使用Keras实现简单线性回归模型操作
Jun 12 Python
python实现视频压缩功能
Dec 18 #Python
MoviePy常用剪辑类及Python视频剪辑自动化
Dec 18 #Python
python 实现全球IP归属地查询工具
Dec 18 #Python
MoviePy简介及Python视频剪辑自动化
Dec 18 #Python
Python非单向递归函数如何返回全部结果
Dec 18 #Python
python复合条件下的字典排序
Dec 18 #Python
python 监控服务器是否有人远程登录(详细思路+代码)
Dec 18 #Python
You might like
php在程序中将网页生成word文档并提供下载的代码
2012/10/09 PHP
Zend的MVC机制使用分析(一)
2013/05/02 PHP
php实现telnet功能示例
2014/04/08 PHP
PHP对称加密算法(DES/AES)类的实现代码
2017/11/14 PHP
jquery ui 1.7 ui.tabs 动态添加与关闭(按钮关闭+双击关闭)
2010/04/01 Javascript
jQuery.ajax 用户登录验证代码
2010/10/29 Javascript
js模拟hashtable的简单实例
2014/03/06 Javascript
AMD异步模块定义介绍和Require.js中使用jQuery及jQuery插件的方法
2014/06/06 Javascript
Bootstrap 3 按钮标签实例代码
2017/02/21 Javascript
jQuery模拟窗口抖动效果
2017/03/15 Javascript
JS 插件dropload下拉刷新、上拉加载使用小结
2017/04/13 Javascript
微信小程序实战之顶部导航栏(选项卡)(1)
2020/06/19 Javascript
最新Javascript程序员面试试题和解题方法
2017/11/23 Javascript
解决JavaScript中0.1+0.2不等于0.3问题
2018/10/23 Javascript
JS函数节流和防抖之间的区分和实现详解
2019/01/11 Javascript
Vue3 中的数据侦测的实现
2019/10/09 Javascript
vue项目启动出现cannot GET /服务错误的解决方法
2020/04/26 Javascript
讲解Python中运算符使用时的优先级
2015/05/14 Python
python中的编码知识整理汇总
2016/01/26 Python
Python常用知识点汇总
2016/05/08 Python
pthon贪吃蛇游戏详细代码
2019/01/27 Python
Python3.4学习笔记之常用操作符,条件分支和循环用法示例
2019/03/01 Python
Python使用Pandas库实现MySQL数据库的读写
2019/07/06 Python
Python运行DLL文件的方法
2020/01/17 Python
基于Python的OCR实现示例
2020/04/03 Python
Python OpenCV实现测量图片物体宽度
2020/05/27 Python
css3的图形3d翻转效果应用示例
2014/04/08 HTML / CSS
详解css3中的伪类before和after常见用法
2020/11/17 HTML / CSS
中东地区为妈妈们提供一切的头号购物目的地:Sprii
2018/05/06 全球购物
村干部群众路线整改措施思想汇报
2014/10/12 职场文书
违纪检讨书范文
2015/01/27 职场文书
大班下学期个人总结
2015/02/13 职场文书
2015年卫生局工作总结
2015/07/24 职场文书
2016教师读书思廉心得体会
2016/01/23 职场文书
幼儿园六一儿童节开幕词
2016/03/04 职场文书
Win11怎么解除儿童账号限制?Win11解除微软儿童账号限制方法
2022/07/07 数码科技