Python 爬虫实现增加播客访问量的方法实现


Posted in Python onOctober 31, 2019

一、序言:

世界 1024 程序猿节日不加班,闲着没事儿。。。随手写了个播客访问量爬虫玩玩,访问量过万不是事儿!!!每个步骤注释都很清晰,代码仅供学习参考!

---- Nick.Peng

二、所需环境:

Python3.x
相关模块: requests、json、lxml、urllib、bs4、fake_useragent

三、增加Blog访问量代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author: Nick
# @Date:  2019-10-24 15:40:58
# @Last Modified by:  Nick
# @Last Modified time: 2019-10-24 16:54:31
import random
import re
import time
import urllib
import requests

from bs4 import BeautifulSoup
from fake_useragent import UserAgent

try:
  from lxml import etree
except Exception as e:
  import lxml.html
  # 实例化一个etree对象(解决通过from lxml import etree导包失败)
  etree = lxml.html.etree

# 实例化UserAgent对象,用于产生随机UserAgent
ua = UserAgent()


class BlogSpider(object):
  """
  Increase the number of CSDN blog visits.
  """

  def __init__(self):
    self.url = "https://blog.csdn.net/PY0312/article/list/{}"
    self.headers = {
      "Referer": "https://blog.csdn.net/PY0312/",
      "User-Agent": ua.random
    }
    self.firefoxHead = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    self.IPRegular = r"(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])"

  def send_request(self, num):
    """
    模拟浏览器发起请求
    :param num: num
    :return: html_str
    """
    html_str = requests.get(self.url.format(
      num), headers=self.headers).content.decode()
    # print(html_str)

    return html_str

  def parse_data(self, html_str):
    """
    用于解析发起请求返回的数据
    :param html_str:
    :return: each_page_urls
    """
    # 将返回的 html字符串 转换为 element对象,用于xpath操作
    element_obj = etree.HTML(html_str)
    # print(element_obj)

    # 获取每一页所有blog的url
    each_page_urls = element_obj.xpath(
      '//*[@id="mainBox"]/main/div[2]/div/h4/a/@href')
    # print(each_page_urls)

    return each_page_urls

  def parseIPList(self, url="http://www.xicidaili.com/"):
    """
    爬取最新代理ip,来源:西刺代理
    注意:西刺代理容易被封,如遇到IP被封情况,采用以下两种方法即可解决:
    方法一:请参考我上一篇博客《Python 实现快代理IP爬虫》 ===> 喜欢研究的同学,可参考对接此接口
    方法二:直接屏蔽掉此接口,不使用代理也能正常使用
    :param url: "http://www.xicidaili.com/"
    :return: 代理IP列表ips
    """
    ips = []
    request = urllib.request.Request(url, headers=self.firefoxHead)
    response = urllib.request.urlopen(request)
    soup = BeautifulSoup(response, "lxml")
    tds = soup.find_all("td")
    for td in tds:
      string = str(td.string)
      if re.search(self.IPRegular, string):
        ips.append(string)
    # print(ips)
    return ips

  def main(self, total_page, loop_times, each_num):
    """
    调度方法
    :param total_page: 设置博客总页数
    :param loop_times: 设置循环次数
    :param each_num: 设置每一页要随机挑选文章数
    :return:
    """
    i = 0
    # 根据设置次数,打开循环
    while i < loop_times:
      # 遍历,得到每一页的页码
      for j in range(total_page):
        # 拼接每一页的url,并模拟发送请求, 返回响应数据
        html_str = self.send_request(j + 1)

        # 解析响应数据,得到每一页所有博文的url
        each_page_urls = self.parse_data(html_str)

        # 调用parseIPList随机产生代理IP,防反爬
        # ips = self.parseIPList()
        # proxies = {"http": "{}:8080".format(
        #   ips[random.randint(0, 40)])}

        # 遍历,每一页随机挑选each_num篇文章
        for x in range(each_num):
          # 随机抽取每一页的一篇博文进行访问,防反爬
          current_url = random.choice(each_page_urls)
          status = True if requests.get(
            current_url, headers=self.headers).content.decode() else False
          print("当前正在访问的文章是:{},访问状态:{}".format(current_url, status))
          time.sleep(1)  # 延时1秒,防反爬
        time.sleep(1)  # 延时1秒,防反爬
      i += 1


if __name__ == '__main__':
  bs = BlogSpider()
  bs.main(7, 200, 3) # 参数参照main方法说明,酌情设置

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python写的图片蜘蛛人代码
Aug 27 Python
Python使用MYSQLDB实现从数据库中导出XML文件的方法
May 11 Python
python使用wxpython开发简单记事本的方法
May 20 Python
深入理解Python中装饰器的用法
Jun 28 Python
python实现给微信公众号发送消息的方法
Jun 30 Python
详谈套接字中SO_REUSEPORT和SO_REUSEADDR的区别
Apr 28 Python
利用python的socket发送http(s)请求方法示例
May 07 Python
Python 最强编辑器详细使用指南(PyCharm )
Sep 16 Python
搭建pypi私有仓库实现过程详解
Nov 25 Python
BeautifulSoup获取指定class样式的div的实现
Dec 07 Python
使用tensorflow 实现反向传播求导
May 26 Python
详解解Django 多对多表关系的三种创建方式
Aug 23 Python
基于Python+Appium实现京东双十一自动领金币功能
Oct 31 #Python
如何关掉pycharm中的python console(图解)
Oct 31 #Python
使用python实现男神女神颜值打分系统(推荐)
Oct 31 #Python
python实现根据文件格式分类
Oct 31 #Python
Python简易计算器制作方法代码详解
Oct 31 #Python
python3 pillow模块实现简单验证码
Oct 31 #Python
利用Python校准本地时间的方法教程
Oct 31 #Python
You might like
php.ini中date.timezone设置详解
2016/11/20 PHP
extjs grid设置某列背景颜色和字体颜色的实现方法
2010/09/06 Javascript
js 通用javascript函数库整理
2011/08/14 Javascript
JavaScript极简入门教程(二):对象和函数
2014/10/25 Javascript
javascript几个易错点记录
2014/11/26 Javascript
JS函数this的用法实例分析
2015/02/05 Javascript
JavaScript实现模仿桌面窗口的方法
2015/07/18 Javascript
javascript中JSON.parse()与eval()解析json的区别
2016/05/19 Javascript
bootstrap datetimepicker实现秒钟选择下拉框
2017/01/05 Javascript
js实现文字列表无缝滚动效果
2017/06/23 Javascript
值得收藏的vuejs安装教程
2017/11/21 Javascript
vue vue-Router默认hash模式修改为history需要做的修改详解
2018/09/13 Javascript
使用Vue父子组件通信实现todolist的功能示例代码
2019/04/11 Javascript
基于Node.js搭建hexo博客过程详解
2019/06/25 Javascript
使用layui的layer组件做弹出层的例子
2019/09/27 Javascript
js利用iframe实现选项卡效果
2020/08/09 Javascript
jQuery实现简单评论区功能
2020/10/26 jQuery
Python使用MD5加密字符串示例
2014/08/22 Python
Python列出一个文件夹及其子目录的所有文件
2016/06/30 Python
使用Django和Python创建Json response的方法
2018/03/26 Python
python 将json数据提取转化为txt的方法
2018/10/26 Python
Python实现网站表单提交和模板
2019/01/15 Python
opencv调整图像亮度对比度的示例代码
2019/09/27 Python
美国最大点评网站:Yelp
2018/02/14 全球购物
服装设计师职业生涯规划范文
2014/02/28 职场文书
大学迎新晚会主持词
2014/03/24 职场文书
入职担保书范文
2014/05/21 职场文书
我们的节日国庆活动方案
2014/08/19 职场文书
2014年超市员工工作总结
2014/11/18 职场文书
小学校长个人总结
2015/03/03 职场文书
2015年个人工作总结报告
2015/04/25 职场文书
社区宣传标语口号
2015/12/26 职场文书
家庭教育培训学习心得体会
2016/01/14 职场文书
解决python存数据库速度太慢的问题
2021/04/23 Python
MySQL 逻辑备份与恢复测试的相关总结
2021/05/14 MySQL
JVM上高性能数据格式库包Apache Arrow入门和架构详解(Gkatziouras)
2021/05/26 Servers