KubeSphere中部署Wiki系統(tǒng)wiki.js并啟用中文全文檢索

第KubeSphere中部署Wiki系統(tǒng)wiki.js并啟用中文全文檢索目錄背景準(zhǔn)備storageclass部署PostgreSQL數(shù)據(jù)庫(kù)準(zhǔn)備用戶名密碼配置準(zhǔn)備數(shù)據(jù)庫(kù)初始化腳本準(zhǔn)備存儲(chǔ)部署PostgreSQL數(shù)據(jù)庫(kù)創(chuàng)建供其他Pod訪問的Service完成PostgreSQL部署部署wiki.js準(zhǔn)備用戶名密碼配置準(zhǔn)備數(shù)據(jù)庫(kù)連接配置創(chuàng)建數(shù)據(jù)庫(kù)用戶和數(shù)據(jù)庫(kù)準(zhǔn)備wiki.js的yaml部署文件創(chuàng)建集群內(nèi)訪問wiki.js的Service創(chuàng)建集群外訪問的Ingress執(zhí)行部署配置wiki.js支持中文全文檢索授予wikijs用戶臨時(shí)超管權(quán)限啟用數(shù)據(jù)庫(kù)的中文分詞能力取消wikijs用戶的臨時(shí)超管權(quán)限創(chuàng)建支持中文分詞的配置ConfigMap更新wikijs的Deployment配置wiki.js，啟用基于PostgreSQL的全文檢索總結(jié)

背景

wiki.js是優(yōu)秀的開源Wiki系統(tǒng)，相較于xwiki，功能目前性上比xwiki不夠完善，但也在不斷進(jìn)步。Wiki寫作、分享、權(quán)限管理功能還是有的，勝在UI設(shè)計(jì)很漂亮，能滿足小團(tuán)隊(duì)的基本知識(shí)管理需求。

以下工作是在KubeSphere3.2.1+Helm3已經(jīng)部署好的情況下進(jìn)行的。

部署KuberSphere的方法官網(wǎng)有很詳細(xì)的文檔介紹，這里不再贅敘。/docs/instal

準(zhǔn)備storageclass

我們使用OpenEBS作為存儲(chǔ)，OpenEBS默認(rèn)安裝的LocalStorageSlass在Pod銷毀后自動(dòng)刪除，不適合用于我的MySQL存儲(chǔ)，我們?cè)贚ocalStorageClass基礎(chǔ)上稍作修改，創(chuàng)建新的StorageClass，允許Pod銷毀后，PV內(nèi)容繼續(xù)保留，手動(dòng)決定怎么處理。

apiVersion:v1

items:

-apiVersion:storage.k8s.io/v1

kind:StorageClass

metadata:

annotations:

cas.openebs.io/config:|

-name:StorageType

value:"hostpath"

-name:BasePath

value:"/var/openebs/localretain/"

openebs.io/cas-type:local

storageclass.beta.kubernetes.io/is-default-class:"false"

storageclass.kubesphere.io/supported-access-modes:'["ReadWriteOnce"]'

name:localretain

provisioner:openebs.io/local

reclaimPolicy:Retain

volumeBindingMode:WaitForFirstConsumer

kind:List

metadata:

resourceVersion:""

selfLink:""

部署PostgreSQL數(shù)據(jù)庫(kù)

我們團(tuán)隊(duì)其他項(xiàng)目中也需要使用PostgreSQL,為了提高PostgreSQL數(shù)據(jù)庫(kù)的利用率和統(tǒng)一管理，我們獨(dú)立部署PostgreSQL，并在安裝wiki.js時(shí)，配置為使用外部數(shù)據(jù)庫(kù)。

準(zhǔn)備用戶名密碼配置

我們使用Secret保存PostgreSQL用戶密碼等敏感信息。

kind:Secret

apiVersion:v1

metadata:

name:postgres-prod

data:

POSTGRES_PASSWORD:xxxx

type:Opaque

以上POSTGRES_PASSWORD自行準(zhǔn)備，為base64編碼的數(shù)據(jù)。

準(zhǔn)備數(shù)據(jù)庫(kù)初始化腳本

使用ConfigMap保存數(shù)據(jù)庫(kù)初始化腳本，在數(shù)據(jù)庫(kù)創(chuàng)建時(shí)，將ConfigMap中的數(shù)據(jù)庫(kù)初始化腳本掛載到/docker-entrypoint-initdb.d,容器初始化時(shí)會(huì)自動(dòng)執(zhí)行該腳本。

apiVersion:v1

kind:ConfigMap

metadata:

name:wikijs-postgres-init

data:

init.sql:|-

CREATEDATABASEwikijs;

CREATEUSERwikijswithpassword'xxxx';

GRANTCONNECTONDATABASEwikijstowikijs;

GRANTUSAGEONSCHEMApublicTOwikijs;

GRANTSELECT,update,INSERT,deleteONALLTABLESINSCHEMApublicTOwikijs;

ALTERDEFAULTPRIVILEGESINSCHEMApublicGRANTSELECTONTABLESTOwikijs;

以上wikijs用戶的密碼自行準(zhǔn)備，明文保存。

準(zhǔn)備存儲(chǔ)

我們使用KubeSphere默認(rèn)安裝的OpenEBS來提供存儲(chǔ)服務(wù)?？梢酝ㄟ^創(chuàng)建PVC來提供持久化存儲(chǔ)。

這里聲明一個(gè)10G的PVC。

kind:PersistentVolumeClaim

apiVersion:v1

metadata:

name:postgres-prod-data

finalizers:

-kubernetes.io/pvc-protection

spec:

accessModes:

-ReadWriteOnce

resources:

requests:

storage:10Gi

storageClassName:localretain

volumeMode:Filesystem

部署PostgreSQL數(shù)據(jù)庫(kù)

在前面的步驟準(zhǔn)備好各種配置信息和存儲(chǔ)后，就可以開始部署PostgreSQL服務(wù)了。

我們的Kubernetes沒有配置存儲(chǔ)陣列，使用的是OpenEBS作為存儲(chǔ)，采用Deployment方式部署PostgreSQL。

apiVersion:apps/v1

kind:Deployment

metadata:

labels:

app:postgres-prod

name:postgres-prod

spec:

replicas:1

selector:

matchLabels:

app:postgres-prod

template:

metadata:

labels:

app:postgres-prod

spec:

containers:

-name:db

imagePullPolicy:IfNotPresent

image:'abcfy2/zhparser:12-alpine'

ports:

-name:tcp-5432

protocol:TCP

containerPort:5432

envFrom:

-secretRef:

name:postgres-prod

volumeMounts:

-name:postgres-prod-data

readOnly:false

mountPath:/var/lib/postgresql/data

-name:wikijs-postgres-init

readOnly:true

mountPath:/docker-entrypoint-initdb.d

volumes:

-name:postgres-prod-data

persistentVolumeClaim:

claimName:postgres-prod-data

-name:wikijs-postgres-init

configMap:

name:wikijs-postgres-init

創(chuàng)建供其他Pod訪問的Service

apiVersion:v1

kind:Service

metadata:

name:postgres-prod

spec:

selector:

app:postgres-prod

ports:

-protocol:TCP

port:5432

targetPort:tcp-5432

完成PostgreSQL部署

測(cè)試略

部署wiki.js

準(zhǔn)備用戶名密碼配置

我們使用Secret保存wiki.js用于連接數(shù)據(jù)庫(kù)的用戶名密碼等敏感信息。

apiVersion:v1

kind:Secret

metadata:

name:wikijs

data:

DB_USER:d2lraWpz

DB_PASS:xxxx

type:Opaque

以上DB_PASS自行準(zhǔn)備，為base64編碼的數(shù)據(jù)。

準(zhǔn)備數(shù)據(jù)庫(kù)連接配置

我們使用ConfigMap保存wiki.js的數(shù)據(jù)庫(kù)連接信息。

apiVersion:v1

kind:ConfigMap

metadata:

name:wikijs

data:

DB_TYPE:postgres

DB_HOST:postgres-prod.infra

DB_PORT:"5432"

DB_NAME:wikijs

HA_ACTIVE:"true"

創(chuàng)建數(shù)據(jù)庫(kù)用戶和數(shù)據(jù)庫(kù)

如果PostgreSQL數(shù)據(jù)庫(kù)里沒有創(chuàng)建wikijs用戶和數(shù)據(jù)，需要手工完成一下工作：

通過『數(shù)據(jù)庫(kù)工具』連接PostgreSQL數(shù)據(jù)庫(kù)，執(zhí)行一下SQL語(yǔ)句，完成數(shù)據(jù)庫(kù)和用戶的創(chuàng)建、授權(quán)。

CREATEDATABASEwikijs;

CREATEUSERwikijswithpassword'xxxx';

GRANTCONNECTONDATABASEwikijstowikijs;

GRANTUSAGEONSCHEMApublicTOwikijs;

GRANTSELECT,update,INSERT,deleteONALLTABLESINSCHEMApublicTOwikijs;

ALTERDEFAULTPRIVILEGESINSCHEMApublicGRANTSELECTONTABLESTOwikijs;

以上wikijs的密碼自行修改。

準(zhǔn)備wiki.js的yaml部署文件

采用Deployment方式部署wiki.js的yaml文件如下：

#wikijs-deploy.yaml

apiVersion:apps/v1

kind:Deployment

metadata:

labels:

app:wikijs

name:wikijs

spec:

replicas:1

selector:

matchLabels:

app:wikijs

template:

metadata:

labels:

app:wikijs

spec:

containers:

-name:wikijs

image:'requarks/wiki:2'

ports:

-name:http-3000

protocol:TCP

containerPort:3000

envFrom:

-secretRef:

name:wikijs

-configMapRef:

name:wikijs

創(chuàng)建集群內(nèi)訪問wiki.js的Service

#wikijs-svc.yaml

apiVersion:v1

kind:Service

metadata:

name:wikijs

spec:

selector:

app:wikijs

ports:

-protocol:TCP

port:3000

targetPort:http-3000

創(chuàng)建集群外訪問的Ingress

#wikijs-ing.yaml

kind:Ingress

apiVersion:networking.k8s.io/v1

metadata:

name:wikijs

spec:

ingressClassName:nginx

rules:

-host:

http:

paths:

-path:/

pathType:ImplementationSpecific

backend:

service:

name:wikijs

port:

number:3000

以上host域名需要自行配置。

執(zhí)行部署

$kubectlapply-fwikijs-deploy.yaml

$kubectlapply-fwikijs-svc.yaml

$kubectlapply-fwikijs-ing.yaml

配置wiki.js支持中文全文檢索

wiki.js的全文檢索支持基于PostgreSQL的檢索，也支持Elasticsearch等，相對(duì)來說,PostgreSQL比較輕量級(jí)，本項(xiàng)目中，我們使用PostgreSQL的全文檢索。

但是，因?yàn)镻ostgreSQL不支持中文分詞，需要額外安裝插件并配置啟用中文分詞，下面描述了為wiki.js啟動(dòng)基于PostgreSQL數(shù)據(jù)庫(kù)中文分詞的全文檢索。

授予wikijs用戶臨時(shí)超管權(quán)限

通過數(shù)據(jù)庫(kù)管理工具登錄有超管權(quán)限的PostgreSQL用戶，臨時(shí)授予wiki.js用戶臨時(shí)超管權(quán)限，便于啟動(dòng)中文分詞功能。

ALTERUSERwikijsWITHSUPERUSER;

啟用數(shù)據(jù)庫(kù)的中文分詞能力

使用數(shù)據(jù)庫(kù)管理工具登錄PostgreSQL數(shù)據(jù)庫(kù)的wikijs用戶，執(zhí)行以下命令，啟動(dòng)數(shù)據(jù)庫(kù)的中文分詞功能。

CREATEEXTENSIONpg_trgm;

CREATEEXTENSIONzhparser;

CREATETEXTSEARCHCONFIGURATIONpg_catalog.chinese_zh(PARSER=zhparser);

ALTERTEXTSEARCHCONFIGURATIONchinese_zhADDMAPPINGFORn,v,a,i,e,lWITHsimple;

--忽略標(biāo)點(diǎn)影響

ALTERROLEwikijsSETzhparser.punctuation_ignore=ON;

--短詞復(fù)合

ALTERROLEwikijsSETzhparser.multi_short=ON;

--測(cè)試一下

selectts_debug('chinese_zh','青春是最美好的年歲，青春是最燦爛的日子。每一個(gè)人的青春都無比寶貴，寶貴的青春只有與奮斗為伴才最閃光、最出彩。');

取消wikijs用戶的臨時(shí)超管權(quán)限

登錄PostgreSQL數(shù)據(jù)庫(kù)wikijs用戶，取消wikijs用戶的超管權(quán)限。

ALTERUSERwikijsWITHNOSUPERUSER;

創(chuàng)建支持中文分詞的配置ConfigMap

#zh-parse.yaml

kind:ConfigMap

apiVersion:v1

metadata:

name:wikijs-zhparser

data:

definition.yml:|-

key:postgres

title:Database-PostgreSQL

description:AdvancedPostgreSQL-basedsearchengine.

author:requarks.io

logo:https://static.requarks.io/logo/postgresql.svg

website:https://www.requarks.io/

isAvailable:true

props:

dictLanguage:

type:String

title:DictionaryLanguage

hint:Languagetousewhencreatingandqueryingtextsearchvectors.

default:english

enum:

-simple

-danish

-dutch

-english

-finnish

-french

-german

-hungarian

-italian

-norwegian

-portuguese

-romanian

-russian

-spanish

-swedish

-turkish

-chinese_zh

order:1

engine.js:|-

consttsquery=require('pg-tsquery')()

conststream=require('stream')

constPromise=require('bluebird')

constpipeline=Pmisify(stream.pipeline)

/*globalWIKI*/

module.exports={

asyncactivate(){

if(WIKI.config.db.type!=='postgres'){

thrownewWIKI.Error.SearchActivationFailed('MustusePostgreSQLdatabasetoactivatethisengine!')

asyncdeactivate(){

WIKI.(`(SEARCH/POSTGRES)Droppingindextables...`)

awaitWIKI.models.knex.schema.dropTable('pagesWords')

awaitWIKI.models.knex.schema.dropTable('pagesVector')

WIKI.(`(SEARCH/POSTGRES)Indextableshavebeendropped.`)

*INIT

asyncinit(){

WIKI.(`(SEARCH/POSTGRES)Initializing...`)

//-CreateSearchIndex

constindexExists=awaitWIKI.models.knex.schema.hasTable('pagesVector')

if(!indexExists){

WIKI.(`(SEARCH/POSTGRES)CreatingPagesVectortable...`)

awaitWIKI.models.knex.schema.createTable('pagesVector',table={

table.increments()

table.string('path')

table.string('locale')

table.string('title')

table.string('description')

table.specificType('tokens','TSVECTOR')

table.text('content')

//-CreateWordsIndex

constwordsExists=awaitWIKI.models.knex.schema.hasTable('pagesWords')

if(!wordsExists){

WIKI.(`(SEARCH/POSTGRES)CreatingWordsSuggestionIndex...`)

awaitWIKI.models.knex.raw(`

CREATETABLE"pagesWords"ASSELECTwordFROMts_stat(

'SELECTto_tsvector(''simple'',"title")||to_tsvector(''simple'',"description")||to_tsvector(''simple'',"content")FROM"pagesVector"'

awaitWIKI.models.knex.raw('CREATEEXTENSIONIFNOTEXISTSpg_trgm')

awaitWIKI.models.knex.raw(`CREATEINDEX"pageWords_idx"ON"pagesWords"USINGGIN(wordgin_trgm_ops)`)

WIKI.(`(SEARCH/POSTGRES)Initializationcompleted.`)

*QUERY

*@param{String}qQuery

*@param{Object}optsAdditionaloptions

asyncquery(q,opts){

try{

letsuggestions=[]

letqry=`

SELECTid,path,locale,title,description

FROM"pagesVector",to_tsquery(,)query

WHERE(query@@"tokens"ORpathILIKE)

letqryEnd=`ORDERBYts_rank(tokens,query)DESC`

letqryParams=[this.config.dictLanguage,tsquery(q),`%${q.toLowerCase()}%`]

if(opts.locale){

qry=`${qry}ANDlocale=`

qryParams.push(opts.locale)

if(opts.path){

qry=`${qry}ANDpathILIKE`

qryParams.push(`%${opts.path}`)

constresults=awaitWIKI.models.knex.raw(`

${qry}

${qryEnd}

`,qryParams)

if(results.rows.length5){

constsuggestResults=awaitWIKI.models.knex.raw(`SELECTword,word-ASrankFROM"pagesWords"WHEREsimilarity(word,)0.2ORDERBYrankLIMIT5;`,[q,q])

suggestions=suggestResults.rows.map(r=r.word)

return{

results:results.rows,

suggestions,

totalHits:results.rows.length

}catch(err){

WIKI.logger.warn('SearchEngineError:')

WIKI.logger.warn(err)

*CREATE

*@param{Object}pagePagetocreate

asynccreated(page){

awaitWIKI.models.knex.raw(`

INSERTINTO"pagesVector"(path,locale,title,description,"tokens")VALUES(

,,,,(setweight(to_tsvector('${this.config.dictLanguage}',),'A')||setweight(to_tsvector('${this.config.dictLanguage}',),'B')||setweight(to_tsvector('${this.config.dictLanguage}',),'C'))

`,[page.path,page.localeCode,page.title,page.description,page.title,page.description,page.safeContent])

*UPDATE

*@param{Object}pagePagetoupdate

asyncupdated(page){

awaitWIKI.models.knex.raw(`

UPDATE"pagesVector"SET

title=,

description=,

tokens=(setweight(to_tsvector('${this.config.dictLanguage}',),'A')||

setweight(to_tsvector('${this.config.dictLanguage}',),'B')||

setweight(to_tsvector('${this.config.dictLanguage}',),'C'))

WHEREpath=ANDlocale=

`,[page.title,page.description,page.title,page.description,page.safeContent,page.path,page.localeCode])

*DELETE

*@param{Object}pagePagetodelete

asyncdeleted(page){

awaitWIKI.models.knex('pagesVector').where({

locale:page.localeCode,

path:page.path

}).del().limit(1)

*RENAME

*@param{Object}pagePagetorename

asyncrenamed(page){

awaitWIKI.models.knex('pagesVector').where({

locale:page.localeCode,

path:page.path

}).update({

locale:page.destinationLocaleCode,

path:page.destinationPath

*REBUILDINDEX

asyncrebuild(){

WIKI.(`(SEARCH/POSTGRES)RebuildingIndex...`)

awaitWIKI.models.knex('pagesVector').truncate()

awaitWIKI.models.knex('pagesWords').truncate()

awaitpipeline(

WIKI.models.knex.column('path','localeCode','title','description','render').select().from('pages').where({

isPublished:true,

isPrivate:false

}).stream(),

newstream.Transform({

objectMode:true,

transform:async(page,enc,cb)={

constcontent=WIKI.models.pages.cleanHTML(page.render)

awaitWIKI.models.knex.raw(`

INSERTINTO"pagesVector"(path,locale,title,description,"tokens",content)VALUES(

,,,,(setweight(to_tsvector('${this.config.dictLanguage}',),'A')||setweight(to_tsvector('${this.config.dictLanguage}',),'B')||setweight(to_tsvector('${this.config.dictLanguage}',),'C')),

`,[page.path,page.localeCode,page.title,page.description,page.title,page.description,content,content])

cb()

awaitWIKI.models.knex.raw(`

INSERTINTO"pagesWords"(word)

SELECTwordFROMts_stat(

'SELECTto_tsvector(''simple'',"title")||to_tsvector(''simple'',"description")||to