Python抓取京东图书评论数据


Posted in Python onAugust 31, 2014

 京东图书评论有非常丰富的信息,这里面就包含了购买日期、书名、作者、好评、中评、差评等等。以购买日期为例,使用Python + Mysql的搭配进行实现,程序不大,才100行。相关的解释我都在程序里加注了:

from selenium import webdriver
from bs4 import BeautifulSoup
import re
import win32com.client
import threading,time
import MySQLdb

def mydebug():
    driver.quit()
    exit(0)

def catchDate(s):
    """页面数据提取"""
    soup = BeautifulSoup(s)
    z = []
    global nowtimes
   
    m = soup.findAll("div",class_="date-buy")
    for obj in m:
        try:
            tmp = obj.find('br').contents
        except Exception, e:
            continue
        if(tmp != ""):
            z.append(tmp)
            nowtimes += 1
    return z

def getTimes(n,t):
    """获取当前进度"""
    return "当前进度为:" + str(int(100*n/t)) + "%"

#———————————————————————————————————| 程序开始 |—————————————————————————————————
#确定图书大类
cate = {"3273":"历史","3279":"心理学","3276":"政治军事","3275":"国学古籍","3274":"哲学宗教","3277":"法律","3280":"文化","3281":"社会科学"}

#断点续抓
num1 = input("bookid:")
num2 = input("pagenumber:")

#生成图书大类链接,共需17355*20 = 347100次
totaltimes = 347100.0
nowtimes = 0

#开启webdirver的PhantomJS对象
#driver = webdriver.PhantomJS()
driver = webdriver.Ie('C:\Python27\Scripts\IEDriverServer')
#driver = webdriver.Chrome('C:\Python27\Scripts\chromedriver')

#读出Mysql中的评论页面,进行抓取
# 连接数据库 
try:
    conn = MySQLdb.connect(host='localhost',user='root',passwd='',db='jd')
except Exception, e:
    print e
    sys.exit()

# 获取cursor对象
cursor = conn.cursor()
sql = "SELECT * FROM booknew ORDER BY pagenumber DESC"
cursor.execute(sql)
alldata = cursor.fetchall()

flag = 0
flag2 = 0

# 如果有数据返回就循环输出,http://club.jd.com/review/10178500-1-154.html
if alldata:
    for rec in alldata:
        #rec[0]--bookid,rec[1]--cateid,rec[2]--pagenumber
        if(rec[0] != str(num1) and flag == 0):
            continue
        else:
            flag = 1
        for p in range(num2,rec[2]):
            if(flag2 == 0):
                num2 = 0
                flag2 = 1
            p += 1
            link = "http://club.jd.com/review/" + rec[0] + "-1-" + str(p) + ".html"
            #抓网页
            driver.get(link)
            html = driver.page_source
            #抓评论
            buydate = catchDate(html)
            #写入数据库
            for z in buydate:
                sql = "INSERT INTO ljj (id, cateid, bookid, date) VALUES (NULL, '" + rec[0] + "','" + rec[1] + "','" + z[0] + "');"
                try:
                    cursor.execute(sql)
                except Exception, e:
                    print e
            conn.commit()
        print getTimes(nowtimes,totaltimes)

driver.quit()
cursor.close()
conn.close()

Python 相关文章推荐
Python验证码识别处理实例
Dec 28 Python
使用C#配合ArcGIS Engine进行地理信息系统开发
Feb 19 Python
python subprocess 杀掉全部派生的子进程方法
Jan 16 Python
详解Python循环作用域与闭包
Mar 21 Python
python3.5安装python3-tk详解
Apr 26 Python
pandas factorize实现将字符串特征转化为数字特征
Dec 19 Python
Python如何在main中调用函数内的函数方式
Jun 01 Python
Python3内置函数chr和ord实现进制转换
Jun 05 Python
Python图像阈值化处理及算法比对实例解析
Jun 19 Python
python 实现Harris角点检测算法
Dec 11 Python
解决pytorch下出现multi-target not supported at的一种可能原因
Feb 06 Python
浅谈Python响应式类库RxPy
Jun 14 Python
Python深入学习之内存管理
Aug 31 #Python
Python深入学习之装饰器
Aug 31 #Python
Python深入学习之闭包
Aug 31 #Python
Python深入学习之对象的属性
Aug 31 #Python
Python深入学习之上下文管理器
Aug 31 #Python
Python深入学习之特殊方法与多范式
Aug 31 #Python
python中的reduce内建函数使用方法指南
Aug 31 #Python
You might like
怎样去阅读一份php源代码
2009/08/21 PHP
PHP中文分词 自动获取关键词介绍
2012/11/13 PHP
解决Laravel blade模板转义html标签的问题
2019/09/03 PHP
js脚本学习 比较实用的基础
2006/09/07 Javascript
学习YUI.Ext 第六天--关于树TreePanel(Part 1)
2007/03/10 Javascript
js函数般调用正则
2008/04/08 Javascript
EXTjs4.0的store的findRecord的BUG演示代码
2013/06/08 Javascript
让新消息在网页标题闪烁提示的jQuery代码
2013/11/04 Javascript
js字符串截取函数substr substring slice使用对比
2013/11/27 Javascript
javascript间隔定时器(延时定时器)学习 间隔调用和延时调用
2014/01/13 Javascript
js操作iframe父子窗体示例
2014/05/22 Javascript
jQuery实现复选框全选/取消全选/反选及获得选择的值
2014/06/12 Javascript
使用jquery解析XML示例代码
2014/09/05 Javascript
jQuery动态加载css文件实现方法
2016/06/15 Javascript
通过修改360抢票的刷新频率和突破8车次限制实现方法
2017/01/04 Javascript
js以及jquery实现手风琴效果
2020/04/17 Javascript
详谈angularjs中路由页面强制更新的问题
2017/04/24 Javascript
react以create-react-app为基础创建项目
2018/03/14 Javascript
详解如何用VUE写一个多用模态框组件模版
2018/09/27 Javascript
小程序实现授权登陆的解决方案
2018/12/02 Javascript
node实现爬虫的几种简易方式
2019/08/22 Javascript
jquery实现直播弹幕效果
2019/11/28 jQuery
Vertx基于EventBus发送接受自定义对象
2020/11/16 Javascript
[46:14]VGJ.T vs Liquid 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
[55:39]DOTA2-DPC中国联赛 正赛 VG vs LBZS BO3 第二场 1月19日
2021/03/11 DOTA
python django集成cas验证系统
2014/07/14 Python
在Django的通用视图中处理Context的方法
2015/07/21 Python
Python如何急速下载第三方库详解
2020/11/02 Python
Python使用Pygame绘制时钟
2020/11/29 Python
LINUX下线程,GDI类的解释
2012/04/17 面试题
党旗在我心中演讲稿
2014/09/15 职场文书
超级礼物观后感
2015/06/15 职场文书
小学生安全教育主题班会
2015/08/12 职场文书
企业团队精神心得体会
2016/01/19 职场文书
十大最帅动漫男主 碓冰拓海上榜,第一是《灌篮高手》男主角
2022/03/18 日漫
JavaScript获取URL参数的方法分享
2022/04/07 Javascript