首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python如何爬取51cto数据并存入MySQL

Posted in Python onAugust 25, 2020

实验环境

1.安装Python 3.7

2.安装requests, bs4，pymysql 模块

实验步骤1.安装环境及模块

可参考https://3water.com/article/194104.htm

2.编写代码

# 51cto 博客页面数据插入mysql数据库
# 导入模块
import re
import bs4
import pymysql
import requests

# 连接数据库账号密码
db = pymysql.connect(host='172.171.13.229',
           user='root', passwd='abc123',
           db='test', port=3306,
           charset='utf8')
# 获取游标
cursor = db.cursor()

def open_url(url):
  # 连接模拟网页访问
  headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/57.0.2987.98 Safari/537.36'}
  res = requests.get(url, headers=headers)
  return res

# 爬取网页内容
def find_text(res):
  soup = bs4.BeautifulSoup(res.text, 'html.parser')

  # 博客名
  titles = []
  targets = soup.find_all("a", class_="tit")
  for each in targets:
    each = each.text.strip()
    if "置顶" in each:
      each = each.split(' ')[0]
    titles.append(each)

  # 阅读量
  reads = []
  read1 = soup.find_all("p", class_="read fl on")
  read2 = soup.find_all("p", class_="read fl")
  for each in read1:
    reads.append(each.text)
  for each in read2:
    reads.append(each.text)

  # 评论数
  comment = []
  targets = soup.find_all("p", class_='comment fl')
  for each in targets:
    comment.append(each.text)

  # 收藏
  collects = []
  targets = soup.find_all("p", class_='collect fl')
  for each in targets:
    collects.append(each.text)

   # 发布时间
  dates=[]
  targets = soup.find_all("a", class_='time fl')
  for each in targets:
    each = each.text.split('：')[1]
    dates.append(each)

  # 插入sql 语句
  sql = """insert into blog (blog_title,read_number,comment_number, collect, dates)
  values( '%s', '%s', '%s', '%s', '%s');"""
  # 替换页面 \xa0
  for titles, reads, comment, collects, dates in zip(titles, reads, comment, collects, dates):
    reads = re.sub('\s', '', reads)
    comment = re.sub('\s', '', comment)
    collects = re.sub('\s', '', collects)
    cursor.execute(sql % (titles, reads, comment, collects，dates))
    db.commit()
    pass

# 统计总页数
def find_depth(res):
  soup = bs4.BeautifulSoup(res.text, 'html.parser')
  depth = soup.find('li', class_='next').previous_sibling.previous_sibling.text
  return int(depth)

# 主函数
def main():
  host = "https://blog.51cto.com/13760351"
  res = open_url(host) # 打开首页链接
  depth = find_depth(res) # 获取总页数

  # 爬取其他页面信息
  for i in range(1, depth + 1):
    url = host + '/p' + str(i) # 完整链接
    res = open_url(url) # 打开其他链接
    find_text(res) # 爬取数据

  # 关闭游标
  cursor.close()
  # 关闭数据库连接
  db.close()

if __name__ == '__main__':
  main()

3..MySQL创建对应的表

CREATE TABLE `blog` (
 `row_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
 `blog_title` varchar(52) DEFAULT NULL COMMENT '博客标题',
 `read_number` varchar(26) DEFAULT NULL COMMENT '阅读数量',
 `comment_number` varchar(16) DEFAULT NULL COMMENT '评论数量',
 `collect` varchar(16) DEFAULT NULL COMMENT '收藏数量',
 `dates` varchar(16) DEFAULT NULL COMMENT '发布日期',
 PRIMARY KEY (`row_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

Python如何爬取51cto数据并存入MySQL

4.运行代码，查看效果:

Python如何爬取51cto数据并存入MySQL

改进版：

改进内容：

1.数据库里面的某些字段只保留数字即可

2.默认爬取的内容都是字符串，存放数据库的某些字段，最好改为整型，方便后面数据库操作

1.代码如下：

import re
import bs4
import pymysql
import requests

# 连接数据库
db = pymysql.connect(host='172.171.13.229',
           user='root', passwd='abc123',
           db='test', port=3306,
           charset='utf8')
# 获取游标
cursor = db.cursor()

def open_url(url):
  # 连接模拟网页访问
  headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/57.0.2987.98 Safari/537.36'}
  res = requests.get(url, headers=headers)
  return res

# 爬取网页内容
def find_text(res):
  soup = bs4.BeautifulSoup(res.text, 'html.parser')

  # 博客标题
  titles = []
  targets = soup.find_all("a", class_="tit")
  for each in targets:
    each = each.text.strip()
    if "置顶" in each:
      each = each.split(' ')[0]
    titles.append(each)

  # 阅读量
  reads = []
  read1 = soup.find_all("p", class_="read fl on")
  read2 = soup.find_all("p", class_="read fl")
  for each in read1:
    reads.append(each.text)
  for each in read2:
    reads.append(each.text)

  # 评论数
  comment = []
  targets = soup.find_all("p", class_='comment fl')
  for each in targets:
    comment.append(each.text)

  # 收藏
  collects = []
  targets = soup.find_all("p", class_='collect fl')
  for each in targets:
    collects.append(each.text)

  # 发布时间
  dates=[]
  targets = soup.find_all("a", class_='time fl')
  for each in targets:
    each = each.text.split('：')[1]
    dates.append(each)

  # 插入sql 语句
  sql = """insert into blogs (blog_title,read_number,comment_number, collect, dates)
  values( '%s', '%s', '%s', '%s', '%s');"""
  # 替换页面 \xa0
  for titles, reads, comment, collects, dates in zip(titles, reads, comment, collects, dates):
    reads = re.sub('\s', '', reads)
    reads=int(re.sub('\D', "", reads)) #匹配数字，转换为整型
    comment = re.sub('\s', '', comment)
    comment = int(re.sub('\D', "", comment)) #匹配数字，转换为整型
    collects = re.sub('\s', '', collects)
    collects = int(re.sub('\D', "", collects)) #匹配数字，转换为整型
    dates = re.sub('\s', '', dates)
    cursor.execute(sql % (titles, reads, comment, collects,dates))
    db.commit()
    pass

# 统计总页数
def find_depth(res):
  soup = bs4.BeautifulSoup(res.text, 'html.parser')
  depth = soup.find('li', class_='next').previous_sibling.previous_sibling.text
  return int(depth)

# 主函数
def main():
  host = "https://blog.51cto.com/13760351"
  res = open_url(host) # 打开首页链接
  depth = find_depth(res) # 获取总页数

  # 爬取其他页面信息
  for i in range(1, depth + 1):
    url = host + '/p' + str(i) # 完整链接
    res = open_url(url) # 打开其他链接
    find_text(res) # 爬取数据

  # 关闭游标
  cursor.close()
  # 关闭数据库连接
  db.close()

#主程序入口
if __name__ == '__main__':
  main()

2.创建对应表

CREATE TABLE `blogs` (
 `row_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
 `blog_title` varchar(52) DEFAULT NULL COMMENT '博客标题',
 `read_number` int(26) DEFAULT NULL COMMENT '阅读数量',
 `comment_number` int(16) DEFAULT NULL COMMENT '评论数量',
 `collect` int(16) DEFAULT NULL COMMENT '收藏数量',
 `dates` varchar(16) DEFAULT NULL COMMENT '发布日期',
 PRIMARY KEY (`row_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

3.运行代码，验证

Python如何爬取51cto数据并存入MySQL

升级版

为了能让小白就可以使用这个程序，可以把这个项目打包成exe格式的文件，让其他人，使用电脑就可以运行代码，这样非常方便！

1.改进代码：

#末尾修改为：
if __name__ == '__main__':
  main()
  print("\n\t\t所有数据已成功存放数据库！!! \n")
  time.sleep(5)

2.安装打包模块pyinstaller(cmd安装）

pip install pyinstaller -i https://pypi.tuna.tsinghua.edu.cn/simple/

3.Python代码打包

1.切换到需要打包代码的路径下面

2.在cmd窗口运行 pyinstaller -F test03.py （test03为项目名称）

Python如何爬取51cto数据并存入MySQL

4.查看exe包

在打包后会出现dist目录，打好包就在这个目录里面

Python如何爬取51cto数据并存入MySQL

5.运行exe包，查看效果

Python如何爬取51cto数据并存入MySQL

检查数据库

Python如何爬取51cto数据并存入MySQL

总结：

1.这一篇博客，是在上一篇的基础上改进的，步骤是先爬取首页的信息，再爬取其他页面信息，最后在改进细节，打包exe文件

2.我们爬取网页数据大多数还是存放到数据库的，所以这种方法很实用。

3.其实在此博客的基础上还是可以改进的，重要的是掌握方法即可。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

Python如何爬取51cto数据并存入MySQL

- Author -

Keep__Studying

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python连接MySQL数据库实例分析
May 12 Python
利用Python生成文件md5校验值函数的方法
Jan 10 Python
Python探索之URL Dispatcher实例详解
Oct 28 Python
python logging日志模块的详解
Oct 29 Python
Python模块文件结构代码详解
Feb 03 Python
Python基于property实现类的特性操作示例
Jun 15 Python
在django中实现页面倒数几秒后自动跳转的例子
Aug 16 Python
对python中list的五种查找方法说明
Jul 13 Python
Selenium结合BeautifulSoup4编写简单的python爬虫
Nov 06 Python
Python3.9.1中使用split()的处理方法(推荐)
Feb 07 Python
Python基础之进程详解
May 21 Python
Python 内置函数速查表一览
Jun 02 Python
基于Python爬取51cto博客页面信息过程解析
Aug 25 #Python
Python使用requests模块爬取百度翻译
Aug 25 #Python
Python爬虫使用bs4方法实现数据解析
Aug 25 #Python
Python+Opencv身份证号码区域提取及识别实现
Aug 25 #Python
Python Selenium实现无可视化界面过程解析
Aug 25 #Python
一文读懂Python 枚举
Aug 25 #Python
详解python变量与数据类型
Aug 25 #Python
三角函数(1) exec(1) cv2(1) MyBatis(5) nacos(1) 面向接口(1) OpenGL(1) Android Studio(4) Flask Web(1) seata(1)
You might like
PHP创建/删除/复制文件夹、文件
2016/05/03 PHP
PHP中文字符串截断无乱码解决方法
2016/10/10 PHP
php ActiveMQ的安装与使用方法图文教程
2020/02/23 PHP
有关于eclipse配置spket需要注意的一些地方
2013/04/07 Javascript
nodeJS代码实现计算交社保是否合适
2015/03/09 NodeJs
JavaScript中reduce()方法的使用详解
2015/06/09 Javascript
javascript实现鼠标放上后下边对应内容变换的效果
2015/08/06 Javascript
纯css实现窗户玻璃雨滴逼真效果
2015/08/23 Javascript
KnockoutJS 3.X API 第四章之事件event绑定
2016/10/10 Javascript
Jquery实现上下移动和排序代码
2016/10/17 Javascript
Angular.js与node.js项目里用cookie校验账户登录详解
2017/02/22 Javascript
js oncontextmenu事件使用详解
2017/03/25 Javascript
Angularjs 动态添加指令并绑定事件的方法
2017/04/13 Javascript
JS实现将链接生成二维码并转为图片的方法
2018/03/17 Javascript
快速解决vue在ios端下点击响应延时的问题
2018/08/27 Javascript
javascript中函数的写法实例代码详解
2018/10/28 Javascript
VUE2.0+ElementUI2.0表格el-table循环动态列渲染的写法详解
2018/11/30 Javascript
[01:36]DOTA2完美大师赛趣味视频之与队友相处的十万个技巧
2017/11/19 DOTA
python中argparse模块用法实例详解
2015/06/03 Python
基于python时间处理方法(详解)
2017/08/14 Python
Python callable()函数用法实例分析
2018/03/17 Python
浅谈python配置与使用OpenCV踩的一些坑
2018/04/02 Python
Python中分支语句与循环语句实例详解
2018/09/13 Python
Python Multiprocessing多进程 使用tqdm显示进度条的实现
2019/08/13 Python
Python 输出详细的异常信息(traceback)方式
2020/04/08 Python
查看已安装tensorflow版本的方法示例
2020/04/19 Python
Django DRF认证组件流程实现原理详解
2020/08/17 Python
如何在Anaconda中打开python自带idle
2020/09/21 Python
Python判断变量是否是None写法代码实例
2020/10/09 Python
美国最大的旗帜经销商：Carrot-Top
2018/02/26 全球购物
大学生简历的个人自我评价
2013/12/04 职场文书
中学生差生评语
2014/01/30 职场文书
委托证明模板
2014/09/16 职场文书
创业计划书之香辣虾火锅
2019/09/23 职场文书
JavaScript控制台的更多功能
2021/04/28 Javascript
解析CSS 提取图片主题色功能(小技巧)
2021/05/12 HTML / CSS