利用Go語言快速實(shí)現(xiàn)一個(gè)極簡任務(wù)調(diào)度系統(tǒng)

第利用Go語言快速實(shí)現(xiàn)一個(gè)極簡任務(wù)調(diào)度系統(tǒng)目錄引子思路實(shí)戰(zhàn)交互界面定時(shí)任務(wù)任務(wù)執(zhí)行代碼效果總結(jié)

引子

任務(wù)調(diào)度（TaskScheduling）是很多軟件系統(tǒng)中的重要組成部分，字面上的意思是按照一定要求分配運(yùn)行一些通常時(shí)間較長的腳本或程序。在爬蟲管理平臺(tái)Crawlab中，任務(wù)調(diào)度是其中的核心模塊，相信不少朋友會(huì)好奇如何編寫一個(gè)任務(wù)調(diào)度系統(tǒng)。本篇文章會(huì)教讀者用Go語言編寫一個(gè)非常簡單的任務(wù)調(diào)度系統(tǒng)。

思路

我們首先理清一下思路，開發(fā)最小化任務(wù)調(diào)度器需要什么。

交互界面（API）定時(shí)任務(wù)（Cron）任務(wù)執(zhí)行（ExecuteTasks）

整個(gè)流程如下：

我們通過API創(chuàng)建定時(shí)任務(wù)，執(zhí)行器根據(jù)定時(shí)任務(wù)標(biāo)準(zhǔn)定期執(zhí)行腳本。

實(shí)戰(zhàn)

交互界面

首先我們來搭個(gè)架子。在項(xiàng)目目錄下創(chuàng)建一個(gè)main.go文件，并輸入以下內(nèi)容。其中g(shù)in是非常流行的Go語言API引擎。

packagemain

import(

"fmt"

"/gin-gonic/gin"

"os"

funcmain(){

//apiengine

app:=gin.New()

//apiroutes

app.GET("/jobs",GetJobs)

app.POST("/jobs",AddJob)

app.DELETE("/jobs",DeleteJob)

//runapionport9092

iferr:=app.Run(":9092");err!=nil{

_,err=fmt.Fprintln(os.Stderr,err)

os.Exit(1)

然后添加api.go文件，輸入以下內(nèi)容，注意，這里沒有任何代碼實(shí)現(xiàn)，只是加入了占位區(qū)域。

packagemain

import"/gin-gonic/gin"

funcGetJobs(c*gin.Context){

//TODO:implementationhere

funcAddJob(c*gin.Context){

//TODO:implementationhere

funcDeleteJob(c*gin.Context){

//TODO:implementationhere

定時(shí)任務(wù)

然后是任務(wù)調(diào)度的核心，定時(shí)任務(wù)。這里我們使用robfig/cron，Go語言比較流行的定時(shí)任務(wù)庫。

現(xiàn)在創(chuàng)建cron.go文件，輸入以下內(nèi)容。其中Cron就是robfig/cron庫中的Cron類生成的實(shí)例。

packagemain

import"/robfig/cron"

funcinit(){

//starttorun

Cron.Run()

//Croncreateanewcron.Croninstance

varCron=cron.New()

現(xiàn)在創(chuàng)建好了主要定時(shí)任務(wù)實(shí)例，就可以將核心邏輯添加在剛才的API占位區(qū)域了。

同樣是api.go，將核心代碼添加進(jìn)來。

packagemain

import(

"/gin-gonic/gin"

"/robfig/cron/v3"

"net/http"

"strconv"

funcGetJobs(c*gin.Context){

//returnalistofcronjobentries

varresults[]map[string]interface{}

for_,e:=rangeCron.Entries(){

results=append(results,map[string]interface{}{

"id":e.ID,

"next":e.Next,

c.JSON(http.StatusOK,Cron.Entries())

funcAddJob(c*gin.Context){

//postJSONpayload

varpayloadstruct{

Cronstring`json:"cron"`

Execstring`json:"exec"`

iferr:=c.ShouldBindJSON(payload);err!=nil{

c.AbortWithStatus(http.StatusBadRequest)

return

//addcronjob

eid,err:=Cron.AddFunc(payload.Cron,func(){

//TODO:implementationhere

iferr!=nil{

c.AbortWithStatusJSON(http.StatusInternalServerError,map[string]interface{}{

"error":err.Error(),

return

c.AbortWithStatusJSON(http.StatusOK,map[string]interface{}{

"id":eid,

funcDeleteJob(c*gin.Context){

//cronjobentryid

id:=c.Param("id")

eid,err:=strconv.Atoi(id)

iferr!=nil{

c.AbortWithStatus(http.StatusBadRequest)

return

//removecronjob

Cron.Remove(cron.EntryID(eid))

c.AbortWithStatus(http.StatusOK)

在這段代碼中，我們實(shí)現(xiàn)了大部分邏輯，只在AddJob的Cron.AddFunc中第二個(gè)參數(shù)里，剩下最后一部分執(zhí)行任務(wù)的代碼。下面將來實(shí)現(xiàn)一下。

任務(wù)執(zhí)行

現(xiàn)在需要添加任務(wù)執(zhí)行的代碼邏輯，咱們創(chuàng)建exec.go文件，輸入以下內(nèi)容。這里我們用到了Go語言內(nèi)置的shell運(yùn)行管理庫os/exec，可以執(zhí)行任何shell命令。

packagemain

import(

"fmt"

"os"

"os/exec"

"strings"

funcExecuteTask(execCmdstring){

//executecommandstringparts,delimitedbyspace

execParts:=strings.Split(execCmd,"")

//executablename

execName:=execParts[0]

//executecommandparameters

execParams:=strings.Join(execParts[1:],"")

//executecommandinstance

cmd:=exec.Command(execName,execParams)

//runexecutecommandinstance

iferr:=cmd.Run();err!=nil{

_,err=fmt.Fprintln(os.Stderr,err)

fmt.Println(err.Error())

好了，現(xiàn)在我們將這部分執(zhí)行代碼邏輯放到之前的占位區(qū)域中。

...

//addcronjob

eid,_:=Cron.AddFunc(payload.Cron,func(){

ExecuteTask(payload.Exec)

...

代碼效果

OK，大功告成！現(xiàn)在我們可以試試運(yùn)行這個(gè)極簡的任務(wù)調(diào)度器了。

在命令行中敲入gorun.，API引擎就啟動(dòng)起來了。

[GIN-debug][WARNING]Runningin"debug"mode.Switchto"release"modeinproduction.

-usingenv:exportGIN_MODE=release

-usingcode:gin.SetMode(gin.ReleaseMode)

[GIN-debug]GET/jobs--main.GetJobs(1handlers)

[GIN-debug]POST/jobs--main.AddJob(1handlers)

[GIN-debug]DELETE/jobs/:id--main.DeleteJob(1handlers)

[GIN-debug][WARNING]Youtrustedallproxies,thisisNOTsafe.Werecommendyoutosetavalue.

Pleasecheckhttps://pkg.go.dev//gin-gonic/gin#readme-don-t-trust-all-proxiesfordetails.

[GIN-debug]ListeningandservingHTTPon:9092

現(xiàn)在打開另一個(gè)命令行窗口，輸入curl-XPOST-d{cron:*****,exec:touch/tmp/hello.txt}http://localhost:9092/jobs，會(huì)得到如下返回結(jié)果。表示已經(jīng)生成了相應(yīng)的定時(shí)任務(wù)，任務(wù)ID為1，每分鐘跑一次，會(huì)更新一次/tmp/hello.txt。

{id:1}

在這個(gè)命令行窗口中輸入curlhttp://localhost:9092/jobs。

[{id:1,next:2025-10-03T12:46:00+08:00}]

這表示下一次執(zhí)行是1分鐘之后。

等待一分鐘，執(zhí)行l(wèi)s-l/tmp/hello.txt，得到如下結(jié)果。

-rw-r