Python抓取京东图书评论数据


Posted in Python onAugust 31, 2014

 京东图书评论有非常丰富的信息,这里面就包含了购买日期、书名、作者、好评、中评、差评等等。以购买日期为例,使用Python + Mysql的搭配进行实现,程序不大,才100行。相关的解释我都在程序里加注了:

from selenium import webdriver
from bs4 import BeautifulSoup
import re
import win32com.client
import threading,time
import MySQLdb

def mydebug():
    driver.quit()
    exit(0)

def catchDate(s):
    """页面数据提取"""
    soup = BeautifulSoup(s)
    z = []
    global nowtimes
   
    m = soup.findAll("div",class_="date-buy")
    for obj in m:
        try:
            tmp = obj.find('br').contents
        except Exception, e:
            continue
        if(tmp != ""):
            z.append(tmp)
            nowtimes += 1
    return z

def getTimes(n,t):
    """获取当前进度"""
    return "当前进度为:" + str(int(100*n/t)) + "%"

#———————————————————————————————————| 程序开始 |—————————————————————————————————
#确定图书大类
cate = {"3273":"历史","3279":"心理学","3276":"政治军事","3275":"国学古籍","3274":"哲学宗教","3277":"法律","3280":"文化","3281":"社会科学"}

#断点续抓
num1 = input("bookid:")
num2 = input("pagenumber:")

#生成图书大类链接,共需17355*20 = 347100次
totaltimes = 347100.0
nowtimes = 0

#开启webdirver的PhantomJS对象
#driver = webdriver.PhantomJS()
driver = webdriver.Ie('C:\Python27\Scripts\IEDriverServer')
#driver = webdriver.Chrome('C:\Python27\Scripts\chromedriver')

#读出Mysql中的评论页面,进行抓取
# 连接数据库 
try:
    conn = MySQLdb.connect(host='localhost',user='root',passwd='',db='jd')
except Exception, e:
    print e
    sys.exit()

# 获取cursor对象
cursor = conn.cursor()
sql = "SELECT * FROM booknew ORDER BY pagenumber DESC"
cursor.execute(sql)
alldata = cursor.fetchall()

flag = 0
flag2 = 0

# 如果有数据返回就循环输出,http://club.jd.com/review/10178500-1-154.html
if alldata:
    for rec in alldata:
        #rec[0]--bookid,rec[1]--cateid,rec[2]--pagenumber
        if(rec[0] != str(num1) and flag == 0):
            continue
        else:
            flag = 1
        for p in range(num2,rec[2]):
            if(flag2 == 0):
                num2 = 0
                flag2 = 1
            p += 1
            link = "http://club.jd.com/review/" + rec[0] + "-1-" + str(p) + ".html"
            #抓网页
            driver.get(link)
            html = driver.page_source
            #抓评论
            buydate = catchDate(html)
            #写入数据库
            for z in buydate:
                sql = "INSERT INTO ljj (id, cateid, bookid, date) VALUES (NULL, '" + rec[0] + "','" + rec[1] + "','" + z[0] + "');"
                try:
                    cursor.execute(sql)
                except Exception, e:
                    print e
            conn.commit()
        print getTimes(nowtimes,totaltimes)

driver.quit()
cursor.close()
conn.close()

Python 相关文章推荐
Python探索之ModelForm代码详解
Oct 26 Python
利用Python循环(包括while&for)各种打印九九乘法表的实例
Nov 06 Python
python3+mysql查询数据并通过邮件群发excel附件
Feb 24 Python
详解Python 正则表达式模块
Nov 05 Python
Python循环中else,break和continue的用法实例详解
Jul 11 Python
Python定时任务工具之APScheduler使用方式
Jul 24 Python
pytorch常见的Tensor类型详解
Jan 15 Python
Python json读写方式和字典相互转化
Apr 18 Python
Python日志:自定义输出字段 json格式输出方式
Apr 27 Python
python中round函数如何使用
Jun 19 Python
python实现学生信息管理系统(精简版)
Nov 27 Python
python wsgiref源码解析
Feb 06 Python
Python深入学习之内存管理
Aug 31 #Python
Python深入学习之装饰器
Aug 31 #Python
Python深入学习之闭包
Aug 31 #Python
Python深入学习之对象的属性
Aug 31 #Python
Python深入学习之上下文管理器
Aug 31 #Python
Python深入学习之特殊方法与多范式
Aug 31 #Python
python中的reduce内建函数使用方法指南
Aug 31 #Python
You might like
两个开源的Php输出Excel文件类
2010/02/08 PHP
浅谈使用 PHP 进行手机 APP 开发(API 接口开发)
2014/08/11 PHP
PHP实现文件上传功能实例代码
2017/05/18 PHP
Gambit vs CL BO3 第一场 2.13
2021/03/10 DOTA
Javascript计算时间差的函数分享
2011/07/04 Javascript
javascript仿php的print_r函数输出json数据
2013/09/13 Javascript
JS利用cookie记忆当前位置的防刷新导航效果
2015/10/15 Javascript
jQuery基本筛选选择器实例代码
2017/02/06 Javascript
关于vue-router路径计算问题
2017/05/10 Javascript
JavaScript实现简单的星星评分效果
2017/05/18 Javascript
使用百度地图实现地图网格的示例
2018/02/06 Javascript
微信小程序:数据存储、传值、取值详解
2019/05/07 Javascript
JavaScript遍历查找数组中最大值与最小值的方法示例
2019/05/24 Javascript
浅谈React中组件逻辑复用的那些事儿
2020/05/21 Javascript
[01:34]完美“圣”典宣传片震撼发布,12.17与你不见不散
2016/12/16 DOTA
Python采用Django开发自己的博客系统
2020/09/29 Python
Python 实现数据库(SQL)更新脚本的生成方法
2017/07/09 Python
使用pandas read_table读取csv文件的方法
2018/07/04 Python
python接口自动化测试之接口数据依赖的实现方法
2019/04/26 Python
浅谈Python中(&,|)和(and,or)之间的区别
2019/08/07 Python
python通过移动端访问查看电脑界面
2020/01/06 Python
python3操作注册表的方法(Url protocol)
2020/02/05 Python
Django-migrate报错问题解决方案
2020/04/21 Python
Python用来做Web开发的优势有哪些
2020/08/05 Python
python3将变量输入的简单实例
2020/08/19 Python
英国花园家具中心:Garden Furniture Centre
2017/08/24 全球购物
Hashtable 添加内容的方式有哪几种,有什么区别?
2012/04/08 面试题
信息管理专业推荐信
2013/10/29 职场文书
爱耳日宣传活动总结
2014/07/05 职场文书
机械设计专业大学生职业生涯规划书范文
2014/09/13 职场文书
有限责任公司股东合作协议书范本
2014/10/30 职场文书
文明和谐家庭事迹材料(2016精选版)
2016/02/29 职场文书
记一次Mysql不走日期字段索引的原因小结
2021/10/24 MySQL
Python制作春联的示例代码
2022/01/22 Python
Java8利用Stream对列表进行去除重复的方法详解
2022/04/14 Java/Android
windows10声卡驱动怎么安装?win10声卡驱动安装操作步骤教程
2022/08/05 数码科技