python 爬虫爬取京东ps4售卖情况


Posted in Python onDecember 18, 2020

代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File : HtmlParser.py
# @Author: 赵路仓
# @Date : 2020/3/17
# @Desc :
# @Contact : 398333404@qq.com
import json

from lxml import etree
import requests
from bs4 import BeautifulSoup


url="https://search.jd.com/Search?keyword=ps4&enc=utf-8&wq=ps4&pvid=cf0158c8664442799c1146a461478c9c"
head={
 'authority': 'search.jd.com',
 'method': 'GET',
 'path': '/s_new.php?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=4&s=84&scrolling=y&log_id=1529828108.22071&tpl=3_M&show_items=7651927,7367120,7056868,7419252,6001239,5934182,4554969,3893501,7421462,6577495,26480543553,7345757,4483120,6176077,6932795,7336429,5963066,5283387,25722468892,7425622,4768461',
 'scheme': 'https',
 'referer': 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=3&s=58&click=0',
 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
 'x-requested-with': 'XMLHttpRequest',
}

def page(page):
 print("开始")
 url = "https://search.jd.com/Search?keyword=ps4&enc=utf-8&qrst=1&rt=1&stop=1&vt=1&wq=ps4&page="+page+"&s=181&click=0"
 r=requests.get(url,timeout=3,headers=head)
 r.encoding=r.apparent_encoding
 # print(r.text)
 b=BeautifulSoup(r.text,"html.parser")
 #print(b.prettify())
 _element = etree.HTML(r.text)
 datas = _element.xpath('//li[contains(@class,"gl-item")]')
 print(datas)
 for data in datas:
  p_price = data.xpath('div/div[@class="p-price"]/strong/i/text()')
  p_comment = data.xpath('div/div[5]/strong/a/text()')
  p_name = data.xpath('div/div[@class="p-name p-name-type-2"]/a/em/text()')
  p_href = data.xpath('div/div[@class="p-name p-name-type-2"]/a/@href')
  comment=' '.join(p_comment)
  name = ' '.join(p_name)
  price = ' '.join(p_price)
  href = ' '.join(p_href)
  print(name,price,p_comment,href)

if __name__=="__main__":
 page("5")

爬取结果

python 爬虫爬取京东ps4售卖情况

以上就是python 爬虫爬取某东ps4售卖情况的详细内容,更多关于python 爬虫的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python定时器(Timer)用法简单实例
Jun 04 Python
Windows下搭建python开发环境详细步骤
Jul 20 Python
Python实现信用卡系统(支持购物、转账、存取钱)
Jun 24 Python
python僵尸进程产生的原因
Jul 21 Python
django使用xlwt导出excel文件实例代码
Feb 06 Python
python使用生成器实现可迭代对象
Mar 20 Python
python正则表达式之对号入座篇
Jul 24 Python
python使用PIL给图片添加文字生成海报示例
Aug 17 Python
学生信息管理系统python版
Oct 17 Python
基于Python获取docx/doc文件内容代码解析
Feb 17 Python
使用python实现飞机大战游戏
Mar 23 Python
Django集成MongoDB实现过程解析
Dec 01 Python
python实现视频压缩功能
Dec 18 #Python
MoviePy常用剪辑类及Python视频剪辑自动化
Dec 18 #Python
python 实现全球IP归属地查询工具
Dec 18 #Python
MoviePy简介及Python视频剪辑自动化
Dec 18 #Python
Python非单向递归函数如何返回全部结果
Dec 18 #Python
python复合条件下的字典排序
Dec 18 #Python
python 监控服务器是否有人远程登录(详细思路+代码)
Dec 18 #Python
You might like
php递归删除目录下的文件但保留的实例分享
2014/05/10 PHP
php pthreads多线程的安装与使用
2016/01/19 PHP
Zend Framework框架实现类似Google搜索分页效果
2016/11/25 PHP
Laravel相关的一些故障解决
2020/08/19 PHP
javascript showModalDialog,open取得父窗口的方法
2010/03/10 Javascript
一些javascript一些题目的解析
2010/12/25 Javascript
用jquery中插件dialog实现弹框效果实例代码
2013/11/15 Javascript
javascript删除字符串最后一个字符
2014/01/14 Javascript
js实现点击左右按钮轮播图片效果实例
2015/01/29 Javascript
jQuery简单实现图片预加载
2015/04/20 Javascript
javascript单例模式的简单实现方法
2015/07/25 Javascript
深入解析nodejs HTTP服务
2017/07/25 NodeJs
浅谈angularJS的$watch失效问题的解决方案
2017/08/11 Javascript
NodeJS实现视频转码的示例代码
2017/11/18 NodeJs
vue.js中实现登录控制的方法示例
2018/04/23 Javascript
linux 后台运行node服务指令方法
2018/05/23 Javascript
详解React中共享组件逻辑的三种方式
2021/02/02 Javascript
Python 解析XML文件
2009/04/15 Python
简单介绍Python中的RSS处理
2015/04/13 Python
Python探索之静态方法和类方法的区别详解
2017/10/27 Python
python数据分析数据标准化及离散化详解
2018/02/26 Python
Python用61行代码实现图片像素化的示例代码
2018/12/10 Python
python nohup 实现远程运行不宕机操作
2020/04/16 Python
pandas.DataFrame.drop_duplicates 用法介绍
2020/07/06 Python
Python numpy矩阵处理运算工具用法汇总
2020/07/13 Python
python字典通过值反查键的实现(简洁写法)
2020/09/30 Python
爱尔兰旅游网站:ebookers.ie
2020/01/24 全球购物
sealed修饰符是干什么的
2012/10/23 面试题
洗车工岗位职责
2014/03/15 职场文书
餐厅周年庆活动方案
2014/08/25 职场文书
大学社团招新的通讯稿
2014/09/10 职场文书
预备党员群众路线教育实践活动思想汇报2014
2014/10/25 职场文书
Go语言中的UTF-8实现
2021/04/26 Golang
python playwright 自动等待和断言详解
2021/11/27 Python
Java GUI编程菜单组件实例详解
2022/04/07 Java/Android
排查MySQL生产环境索引没有效果
2022/04/11 MySQL