使用golang编写一个并发工作队列


Posted in Golang onMay 08, 2021

其实golang用一个函数可以构建一个并发队列,现在编写一个灵活可控的队列程序

先定义一个工作

type Worker struct {
    ID      int
    RepJobs chan int64
    SM      *SM
    quit    chan bool
}

包含了workid和执行任务的id,上面的SM只是任务具体内容,这个和具体业务相关,大家自己编写自己的SM业务逻辑

然后定义工作池

type workerPool struct {
    workerChan chan *Worker
    workerList []*Worker
}

这个里面定义了一个工作队列的切片,可以自定义工作队列的个数,甚至后期还可以添加work,还定义了一个队列类型的管道。

定义完成过后就可以初始化工作池了

func InitWorkerPool() error {
    n := 3
    WorkerPool = &workerPool{
        workerChan: make(chan *Worker, n),
        workerList: make([]*Worker, 0, n),
    }
    for i := 0; i < n; i++ {
        worker := NewWorker(i)
        WorkerPool.workerList = append(WorkerPool.workerList, worker)
        worker.Start()
        log.Debugf("worker %d started", worker.ID)
    }
    return nil
}

这个里面我写死了worker的个数是3,当然这个可以通过读取配置文件或者参数传递的方式;这个里面逐一启动work

worker.Start(),这个是关键

func (w *Worker) Start() {
    go func() {
        for {
            WorkerPool.workerChan <- w
            select {
            case jobID := <-w.RepJobs:
                log.Debugf("worker: %d, will handle job: %d", w.ID, jobID)
                w.handleRepJob(jobID)
            case q := <-w.quit:
                if q {
                    log.Debugf("worker: %d, will stop.", w.ID)
                    return
                }
            }
        }
    }()
}

这个就是go 启动一个协程,先把自己放到workerChan中,然后不断从w.RepJobs管道中获取任务并执行,如果执行完成后又把自己放回到队列中。

所以如果你要有任务需要执行,放到这个管道中即可

func Dispatch() {
    for {
        select {
        case job := <-jobQueue:
            go func(jobID int64) {
                println("Trying to dispatch job: %d", jobID)
                worker := <-WorkerPool.workerChan
                worker.RepJobs <- jobID
            }(job)
        }
    }
}

从管道中拿出一个worker并把任务id放到worker中去执行。

当然你可以停止worker,甚至可以停止job

func (w *Worker) Stop() {
    go func() {
        w.quit <- true
    }()
}
func (wp *workerPool) StopJobs(jobs []int64) {
    log.Debugf("Works working on jobs: %v will be stopped", jobs)
    for _, id := range jobs {
        for _, w := range wp.workerList {
            if w.SM.JobID == id {
                log.Debugf("found a worker whose job ID is %d, will try to stop it", id)
                w.SM.Stop(id)
            }
        }
    }
}

补充一下,int64和字符串转换。

string到int

int,err:=strconv.Atoi(string)

string到int64

int64, err := strconv.ParseInt(string, 10, 64)

int到string

string:=strconv.Itoa(int)

int64到string

string:=strconv.FormatInt(int64,10)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Golang 相关文章推荐
Go语言-为什么返回值为接口类型,却返回结构体
Apr 24 Golang
Golang之sync.Pool使用详解
May 06 Golang
解决golang 关于全局变量的坑
May 06 Golang
浅谈Go语言多态的实现与interface使用
Jun 16 Golang
go select编译期的优化处理逻辑使用场景分析
Jun 28 Golang
基于Go语言构建RESTful API服务
Jul 25 Golang
Go语言安装并操作redis的go-redis库
Apr 14 Golang
GO语言字符串处理函数之处理Strings包
Apr 14 Golang
Golang 实现WebSockets
Apr 24 Golang
详解Go语言中Get/Post请求测试
Jun 01 Golang
Go调用Rust方法及外部函数接口前置
Jun 14 Golang
go goth封装第三方认证库示例详解
Aug 14 Golang
Go 在 MongoDB 中常用查询与修改的操作
May 07 #Golang
golang 实现时间戳和时间的转化
May 07 #Golang
Golang Gob编码(gob包的使用详解)
May 07 #Golang
go mod 安装依赖 unkown revision问题的解决方案
解决golang 关于全局变量的坑
May 06 #Golang
Goland使用Go Modules创建/管理项目的操作
解决goland 导入项目后import里的包报红问题
You might like
ECSHOP在PHP5.5及高版本上报错的解决方法
2015/08/31 PHP
javascript 实现键盘上下左右功能的小例子
2013/09/15 Javascript
jQuery实现复选框全选/取消全选/反选及获得选择的值
2014/06/12 Javascript
setTimeout()递归调用不加引号出错的解决方法
2014/09/05 Javascript
javascript实现iframe框架延时加载的方法
2014/10/30 Javascript
jQuery使用ajax跨域获取数据的简单实例
2016/05/18 Javascript
Bootstrap CSS布局之表单
2016/12/17 Javascript
微信小程序登录态控制深入分析
2017/04/12 Javascript
Nodejs中使用puppeteer控制浏览器中视频播放功能
2019/08/26 NodeJs
基于javascript的无缝滚动动画实现2
2020/08/07 Javascript
解决vue打包报错Unexpected token: punc的问题
2020/10/24 Javascript
[46:09]2014 DOTA2华西杯精英邀请赛 5 25 LGD VS VG第三场
2014/05/26 DOTA
[04:28]DOTA2亚洲邀请赛小组赛第五日 TOP10精彩集锦
2015/02/03 DOTA
Python(Tornado)模拟登录小米抢手机
2013/11/12 Python
python中map()与zip()操作方法
2016/02/27 Python
Django实现简单分页功能的方法详解
2017/12/05 Python
Python编程求解二叉树中和为某一值的路径代码示例
2018/01/04 Python
Python实现利用163邮箱远程关电脑脚本
2018/02/22 Python
解决Matplotlib图表不能在Pycharm中显示的问题
2018/05/24 Python
Python增强赋值和共享引用注意事项小结
2019/05/28 Python
python怎么提高计算速度
2020/06/11 Python
django rest framework 过滤时间操作
2020/07/12 Python
使用javascript和HTML5 Canvas画的四渐变色播放按钮效果
2014/04/10 HTML / CSS
跑步爱好者一站式服务网站:Jack Rabbit
2016/09/01 全球购物
跑鞋、网球鞋、网球拍、服装及装备:Holabird Sports
2016/09/19 全球购物
Melijoe英国官网:法国儿童时尚网站
2016/11/18 全球购物
美国庭院家具购物网站:AlphaMarts
2019/04/10 全球购物
创伤外科专业推荐信范文
2013/11/19 职场文书
2014年国培研修感言
2014/03/09 职场文书
志愿者活动总结范文
2014/04/26 职场文书
贷款担保申请书
2014/05/20 职场文书
社区服务标语
2014/07/01 职场文书
小学家长学校培训材料
2014/08/24 职场文书
2014年安全工作总结范文
2014/11/13 职场文书
企业爱心捐款倡议书
2015/04/27 职场文书
PHP策略模式写法
2021/04/01 PHP