使用golang编写一个并发工作队列


Posted in Golang onMay 08, 2021

其实golang用一个函数可以构建一个并发队列,现在编写一个灵活可控的队列程序

先定义一个工作

type Worker struct {
    ID      int
    RepJobs chan int64
    SM      *SM
    quit    chan bool
}

包含了workid和执行任务的id,上面的SM只是任务具体内容,这个和具体业务相关,大家自己编写自己的SM业务逻辑

然后定义工作池

type workerPool struct {
    workerChan chan *Worker
    workerList []*Worker
}

这个里面定义了一个工作队列的切片,可以自定义工作队列的个数,甚至后期还可以添加work,还定义了一个队列类型的管道。

定义完成过后就可以初始化工作池了

func InitWorkerPool() error {
    n := 3
    WorkerPool = &workerPool{
        workerChan: make(chan *Worker, n),
        workerList: make([]*Worker, 0, n),
    }
    for i := 0; i < n; i++ {
        worker := NewWorker(i)
        WorkerPool.workerList = append(WorkerPool.workerList, worker)
        worker.Start()
        log.Debugf("worker %d started", worker.ID)
    }
    return nil
}

这个里面我写死了worker的个数是3,当然这个可以通过读取配置文件或者参数传递的方式;这个里面逐一启动work

worker.Start(),这个是关键

func (w *Worker) Start() {
    go func() {
        for {
            WorkerPool.workerChan <- w
            select {
            case jobID := <-w.RepJobs:
                log.Debugf("worker: %d, will handle job: %d", w.ID, jobID)
                w.handleRepJob(jobID)
            case q := <-w.quit:
                if q {
                    log.Debugf("worker: %d, will stop.", w.ID)
                    return
                }
            }
        }
    }()
}

这个就是go 启动一个协程,先把自己放到workerChan中,然后不断从w.RepJobs管道中获取任务并执行,如果执行完成后又把自己放回到队列中。

所以如果你要有任务需要执行,放到这个管道中即可

func Dispatch() {
    for {
        select {
        case job := <-jobQueue:
            go func(jobID int64) {
                println("Trying to dispatch job: %d", jobID)
                worker := <-WorkerPool.workerChan
                worker.RepJobs <- jobID
            }(job)
        }
    }
}

从管道中拿出一个worker并把任务id放到worker中去执行。

当然你可以停止worker,甚至可以停止job

func (w *Worker) Stop() {
    go func() {
        w.quit <- true
    }()
}
func (wp *workerPool) StopJobs(jobs []int64) {
    log.Debugf("Works working on jobs: %v will be stopped", jobs)
    for _, id := range jobs {
        for _, w := range wp.workerList {
            if w.SM.JobID == id {
                log.Debugf("found a worker whose job ID is %d, will try to stop it", id)
                w.SM.Stop(id)
            }
        }
    }
}

补充一下,int64和字符串转换。

string到int

int,err:=strconv.Atoi(string)

string到int64

int64, err := strconv.ParseInt(string, 10, 64)

int到string

string:=strconv.Itoa(int)

int64到string

string:=strconv.FormatInt(int64,10)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Golang 相关文章推荐
Go语言中break label与goto label的区别
Apr 28 Golang
Go语言 go程释放操作(退出/销毁)
Apr 30 Golang
Golang Gob编码(gob包的使用详解)
May 07 Golang
Go 在 MongoDB 中常用查询与修改的操作
May 07 Golang
Golang实现AES对称加密的过程详解
May 20 Golang
K8s部署发布Golang应用程序的实现方法
Jul 16 Golang
Go语言基础map用法及示例详解
Nov 17 Golang
Golang 遍历二叉树
Apr 19 Golang
详解Go语言中Get/Post请求测试
Jun 01 Golang
详解Go语言中配置文件使用与日志配置
Jun 01 Golang
Python测试框架pytest核心库pluggy详解
Aug 05 Golang
Go中使用gjson来操作JSON数据的实现
Aug 14 Golang
Go 在 MongoDB 中常用查询与修改的操作
May 07 #Golang
golang 实现时间戳和时间的转化
May 07 #Golang
Golang Gob编码(gob包的使用详解)
May 07 #Golang
go mod 安装依赖 unkown revision问题的解决方案
解决golang 关于全局变量的坑
May 06 #Golang
Goland使用Go Modules创建/管理项目的操作
解决goland 导入项目后import里的包报红问题
You might like
星际争霸秘籍
2020/03/04 星际争霸
PHP setcookie() cannot modify header information 的解决方法
2009/01/09 PHP
深入解析PHP垃圾回收机制对内存泄露的处理
2013/06/14 PHP
php 模拟 asp.net webFrom 按钮提交事件的思路及代码
2013/12/02 PHP
PHP使用range协议实现输出文件断点续传代码实例
2014/07/04 PHP
LNMP部署laravel以及xhprof安装使用教程
2017/09/14 PHP
PHP 获取 ping 时间的实现方法
2017/09/29 PHP
PHP实现创建一个RPC服务操作示例
2020/02/23 PHP
jQuery jqgrid 对含特殊字符json 数据的 Java 处理方法
2011/01/01 Javascript
JS执行删除前的判断代码
2014/02/18 Javascript
javascript模拟命名空间
2015/04/17 Javascript
javascript清空table表格的方法
2015/05/14 Javascript
原生js的数组除重复简单实例
2016/05/24 Javascript
JQuery动态添加Select的Option元素实现方法
2016/08/29 Javascript
微信小程序 LOL 英雄介绍开发实例
2016/09/30 Javascript
jQuery validate 验证radio实例
2017/03/01 Javascript
Three.js利用Detector.js插件如何实现兼容性检测详解
2017/09/26 Javascript
Vue实现仿iPhone悬浮球的示例代码
2020/03/13 Javascript
vue仿携程轮播图效果(滑动轮播,下方高度自适应)
2021/02/11 Vue.js
Django中的CACHE_BACKEND参数和站点级Cache设置
2015/07/23 Python
谈谈如何手动释放Python的内存
2016/12/17 Python
python实现字符串中字符分类及个数统计
2018/09/28 Python
Python中包的用法及安装
2020/02/11 Python
python中文分词库jieba使用方法详解
2020/02/11 Python
pycharm激活码免费分享适用最新pycharm2020.2.3永久激活
2020/11/25 Python
IE9下html5初试小刀
2010/09/21 HTML / CSS
法国床上用品商店:La Compagnie du lit
2019/12/26 全球购物
.NET初级开发工程师面试题
2014/04/18 面试题
校友会欢迎辞
2014/01/13 职场文书
高中班主任评语大全
2014/04/25 职场文书
环保宣传标语
2014/06/12 职场文书
带香烟到学校抽的检讨书
2014/09/25 职场文书
离婚被告代理词
2015/05/23 职场文书
麦田里的守望者读书笔记
2015/06/30 职场文书
员工安全责任协议书
2016/03/22 职场文书
MySQL8.0升级的踩坑历险记
2021/11/01 MySQL