Java使用httpRequest+Jsoup爬取红蓝球号码


Posted in Java/Android onJuly 02, 2021
目录
  • 1、Jsoup介绍
    • 1.1、简介
    • 1.2、Jsoup的主要功能
  • 2、源网站及页面元素分析
    • 2.1、号码源
    • 2.2、dom元素分析
  • 3、代码实现

某网站截图如下

Java使用httpRequest+Jsoup爬取红蓝球号码

 

2.2.2、页码区域分析

由于我们爬取数据的时候,需要进行翻页操作,所以这里还需要分析翻页部分的内容,继续在开发者工具中,定位页码区域

Java使用httpRequest+Jsoup爬取红蓝球号码

可以看到页码部分是<tbody>中的最后一个<tr>中,翻页操作的内容再class=pg的 <p> 标签中
可以拆分为多个<storage>标签数组,可以分析得出翻页链接的规律。
/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=页码

/zhcw/html/ssq/list_页码.html

 

元素 含义
0 总页数
1 总记录数
2 第一页的连接
3 上一页的链接
4 下一页的链接
5 最后一页的连接
6 当前页数
<tr>
    <td colspan="7" align="center" style="background:#fdf2e3;">
        <p class="zhu"></p>
        <p class="pg">
            共<strong>136</strong> 页 /<strong>2709 </strong>条记录 
            <strong><a href="/zhcw/inc/ssq/ssq_wqhg.jsp" rel="external nofollow" >首页</a></strong>
            <strong><a href="/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=1" rel="external nofollow" >上一页</a></strong>
            <strong><a href="/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=2" rel="external nofollow" >下一页</a></strong>
            <strong><a href="/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=136" rel="external nofollow" >末页</a></strong>
            当前第<strong> 1 </strong>页</p>
     </td>
 </tr>

 

3、代码实现

maven引用,这里使用的是Jsoup1.13.1版本

<dependency>
      <groupId>org.jsoup</groupId>
      <artifactId>jsoup</artifactId>
      <version>1.13.1</version>
  </dependency>

这使用的是基于jeecg开发的Job,搭建过程不赘述了,直接看主体代码。

public void execute(JobExecutionContext arg0) throws JobExecutionException {
  Integer maxPage=getMaxPage();//获取总页数
  for(int pageNo=0;pageNo<maxPage;pageNo++){//循环处理每一页的数据
   String url = "http://kaijiang.zhcw.com/zhcw/html/ssq/list_"+(pageNo+1)+".html";//拼访问地址
      String strDateFormat = "yyyy-MM-dd";
         SimpleDateFormat sdf = new SimpleDateFormat(strDateFormat);
   String html = JwtHttpUtil.httpRequest(url, "GET",null);//访问对应的页面
   Document doc =  Jsoup.parse(html);//用Jsoup解析页面内容并且解析为Document
   Document doc1= Jsoup.parse(doc.getElementsByClass("wqhgt").toString());//wqhgt是table标签的class,这里获取到开奖号码的table的内容并且解析为Document
   Elements trs= doc1.getElementsByTag("tr");//根据tag获取到所有的tr标签,这里获取到的是一个Element数组
   logger.info("当前页码---"+(pageNo+1)+"----"+trs.size());
   for(int i=2;i<trs.size()-1;i++){//这里是根据页面内容确定开奖内容是从第三个tr开始到倒数第二个tr结束,最后一个tr是翻页按钮
    try {
     Elements tds=trs.get(i).getElementsByTag("td");
     String kjrq=tds.get(0).text();
     String kjqh=tds.get(1).text();
     //这里是为了防止重复拉取,所以做了判断,如果已存在当前期的奖号,就直接跳过
     Long count=lotterySsqKjjlService.getCountForJdbc("select count(*) from lottery_ssq_kjjl where SSQ_KJQH='"+ kjqh + "'");
     //下面的内容很容易理解,就是可以对照页面分析部分内容看,就不赘述了
     if(count>0)break;
     LotterySsqKjjlEntity kjhmEntiry=new LotterySsqKjjlEntity();
        Elements kjhm=tds.get(2).getElementsByTag("em");
     kjhmEntiry.setSsqKjrq(sdf.parse(kjrq));
     kjhmEntiry.setSsqKjqh(kjqh);
        kjhmEntiry.setSsqR1(Integer.parseInt(kjhm.get(0).text()));
        kjhmEntiry.setSsqR2(Integer.parseInt(kjhm.get(1).text()));
        kjhmEntiry.setSsqR3(Integer.parseInt(kjhm.get(2).text()));
        kjhmEntiry.setSsqR4(Integer.parseInt(kjhm.get(3).text()));
        kjhmEntiry.setSsqR5(Integer.parseInt(kjhm.get(4).text()));
        kjhmEntiry.setSsqR6(Integer.parseInt(kjhm.get(5).text()));
        kjhmEntiry.setSsqB1(Integer.parseInt(kjhm.get(6).text()));
        lotterySsqKjjlService.save(kjhmEntiry);
    } catch (ParseException e) {
     // TODO Auto-generated catch block
     e.printStackTrace();
    } catch (Exception e) {
     // TODO Auto-generated catch block
     e.printStackTrace();
    }
   }
  }
  
 }
 
 private Integer getMaxPage(){
  String url = "http://kaijiang.zhcw.com/zhcw/html/ssq/list.html";
  String html = JwtHttpUtil.httpRequest(url, "GET",null);
  Document doc =  Jsoup.parse(html);
  Document docPageBar= Jsoup.parse(doc.getElementsByClass("pg").toString());
  Elements elePageBar = docPageBar.getElementsByTag("strong");
  Integer maxPageNo=Integer.parseInt(elePageBar.get(0).text());
  return maxPageNo;
 }

以下是执行完成的部分数据截图

Java使用httpRequest+Jsoup爬取红蓝球号码

拉取到基础数据后,我们可以再写一个job,去计算出每期开奖号码的指标,可以进行奖号分析,预测等。
这里简单实现了部分分析指标的计算,以下是主体代码。

public void run(){
  List<LotterySsqKjjlEntity> list= lotterySsqKjjlService.findByQueryString("from LotterySsqKjjlEntity t");
  for(int i=0;i<list.size();i++){
   LotterySsqKjjlEntity kjjg=list.get(i);
   logger.info("正在处理:"+kjjg.getSsqKjqh());
   kjjg.setSsqMin(kjjg.getSsqR1());//最小号
   kjjg.setSsqMax(kjjg.getSsqR6());//最大号
   kjjg.setSsqKd(kjjg.getSsqR6()-kjjg.getSsqR1());//号码跨度
   kjjg.setSsqJsCnt(ssqKjjgUtils(kjjg, "jsCnt"));//奇数个数
   kjjg.setSsqOsCnt(ssqKjjgUtils(kjjg, "osCnt"));//偶数个数
   kjjg.setSsqSum(ssqKjjgUtils(kjjg, "sum"));//号码和
   lotterySsqKjjlService.updateEntitie(kjjg);
   
  }
  logger.info("结果数据条数"+list.size());
 }
 /**
  * 
  * @param kjjg
  * @param opType jsgs=奇数个数
  * @return
  */
 private Integer ssqKjjgUtils(LotterySsqKjjlEntity kjjg,String opType){
  List<Integer> t =new ArrayList<Integer>();
  t.add(kjjg.getSsqR1());
  t.add(kjjg.getSsqR2());
  t.add(kjjg.getSsqR3());
  t.add(kjjg.getSsqR4());
  t.add(kjjg.getSsqR5());
  t.add(kjjg.getSsqR6());
  Integer result=0;
  switch (opType) {
  case "jsCnt":
  case "osCnt":
   int jsgs=0;
   int osgs=0;
   for(int i=0;i<t.size();i++){
    if(t.get(i)%2==0){
     osgs++;
    }else{
     jsgs++;
    }
   }
   if("jsCnt".equals(opType)){
    result=jsgs;
   }else{
    result=osgs;
   }
   break;
  case "sum":
   int sum=0;
   for(int i=0;i<t.size();i++){
    sum+=t.get(i);
   }
   result=sum;
   break;
  default:
   break;
  }
  return result;
 }

至此,这个简单的爬虫就写完了,可以利用爬过来的这些基础数据,进行一些数据分析,预测。

到此这篇关于Java使用httpRequest+Jsoup爬取红蓝球号码的文章就介绍到这了,更多相关Java 爬取红蓝球号码内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Java/Android 相关文章推荐
详解Java实践之抽象工厂模式
Jun 18 Java/Android
深入理解java.lang.String类的不可变性
Jun 27 Java/Android
gateway与spring-boot-starter-web冲突问题的解决
Jul 16 Java/Android
Sleuth+logback 设置traceid 及自定义信息方式
Jul 26 Java/Android
OpenCV实现反阈值二值化
Nov 17 Java/Android
Jpa Specification如何实现and和or同时使用查询
Nov 23 Java/Android
关于Spring配置文件加载方式变化引发的异常详解
Jan 18 Java/Android
深入浅出讲解Java8函数式编程
Jan 18 Java/Android
maven依赖的version声明控制方式
Jan 18 Java/Android
Android开发实现极为简单的QQ登录页面
Apr 24 Java/Android
Android开发手册Chip监听及ChipGroup监听
Jun 10 Java/Android
Java使用HttpClient实现文件下载
Aug 14 Java/Android
使用Springboot实现健身房管理系统
Java Kafka 消费积压监控的示例代码
springboot临时文件存储目录配置方式
Jul 01 #Java/Android
Mybatis-plus在项目中的简单应用
Jul 01 #Java/Android
SpringBoot 拦截器妙用你真的了解吗
解决SpringBoot文件上传临时目录找不到的问题
java实现对Hadoop的操作
Jul 01 #Java/Android
You might like
php中smarty变量修饰用法实例分析
2015/06/11 PHP
Ajax+PHP实现的删除数据功能示例
2019/02/12 PHP
php将字符串转换为数组实例讲解
2020/05/05 PHP
PHP const定义常量及global定义全局常量实例解析
2020/05/28 PHP
ThinkPHP5.1验证码功能实现的示例代码
2020/06/08 PHP
HR vs ForZe BO3 第一场 2.13
2021/03/10 DOTA
jQuery之选项卡的简单实现
2014/02/28 Javascript
jQuery实现鼠标滑过Div层背景变颜色的方法
2015/02/17 Javascript
jQuery密码强度验证控件使用详解
2017/01/05 Javascript
jquery实现超简单的瀑布流布局【推荐】
2017/03/08 Javascript
微信公众号平台接口开发 获取access_token过程解析
2019/08/14 Javascript
Python中声明只包含一个元素的元组数据方法
2014/08/25 Python
Python多线程编程(五):死锁的形成
2015/04/05 Python
Windows安装Python、pip、easy_install的方法
2017/03/05 Python
使用Python对MySQL数据操作
2017/04/06 Python
Python3.4编程实现简单抓取爬虫功能示例
2017/09/14 Python
浅谈python下含中文字符串正则表达式的编码问题
2018/12/07 Python
用Python中的turtle模块画图两只小羊方法
2019/04/09 Python
Pandas透视表(pivot_table)详解
2019/07/22 Python
在django中图片上传的格式校验及大小方法
2019/07/28 Python
Django框架静态文件处理、中间件、上传文件操作实例详解
2020/02/29 Python
Python colormap库的安装和使用详情
2020/10/06 Python
python 实现数据库中数据添加、查询与更新的示例代码
2020/12/07 Python
PyCharm 光标变成黑块的解决方式
2021/02/06 Python
简单聊聊H5的pushState与replaceState的用法
2018/04/03 HTML / CSS
美国婴儿服装购物网站:Gerber Childrenswear
2020/05/06 全球购物
说出数据连接池的工作机制是什么?
2013/04/19 面试题
财务管理专业推荐信
2013/11/19 职场文书
车间组长岗位职责
2013/12/20 职场文书
我的大学生活职业生涯规划
2014/01/02 职场文书
政风行风评议整改方案
2014/09/15 职场文书
机关作风整顿个人剖析材料
2014/10/06 职场文书
走群众路线学习笔记
2014/11/06 职场文书
校本课程教学计划
2015/01/19 职场文书
2015年助理工程师工作总结
2015/04/03 职场文书
SQL Server中使用判断语句(IF ELSE/CASE WHEN )案例
2021/07/07 SQL Server