2025云端大模型推理系統(tǒng)優(yōu)化

[2]On-DeviceLanguageModels:AComprehensiveReview

端 端

云

OpenLM-3bStableLM2-3b

MobileLLMs-250mStableLM2-1.6b

4B27，vs.云側(cè)模型最高評分36-47，由70b左右模型主導(dǎo)

[1]Huggingface端上面臨的大模型推理困難有：12計算能力不強(qiáng)：處理多任務(wù)，首字時延3

KVfirsttokenPromptCache:ModularAttentionReuseforLow-LatencyInferenceKVPredictionforImprovedTimetoFirstToken.apple

LLMasaServiceonSGLang:EfficientExecutionofStructuredLanguageModel AsymKV:Enabling1-BitQuantizationofKVCachewithLayer-WiseAsymmetricQuantizationConfigurations EfficientStreamingLanguageModelswithAttentionDUOATTENTION:EFFICIENTLONG-CONTEXTLLMINFERENCEWITHRETRIEVALANDSTREAMING

full 不同layerattentionPYRAMIDKV:DYNAMICKVCACHECOMPRESSIONBASEDONPYRAMIDALINFORMATION Dejavu是一種基于參數(shù)稀疏化的特GPU-centricoffloading方案，大量實驗發(fā)現(xiàn)經(jīng)元激活具有contextsparse性；設(shè)計predictor，通過前一層結(jié)果預(yù)測下層Powerinfer則在Dejavu的基礎(chǔ)上推出了GPU-CPUoffloading方案，基于發(fā)現(xiàn)每次將預(yù)測得到的激活元素都loading到gpuDejaVu:ContextualSparsityforEfficientLLMsatInferencePowerInfer:FastLargeLanguageModelServingwithaConsumer-grade

主要在于通過memory-residentmodel再根據(jù)計算成本以及生成的confidence，去生成包含次優(yōu)結(jié)果的tokentree，將tokenHybridSLMandLLMforEdge-CloudCollaborativeLLMCad:FastandScalableOn-deviceLargeLanguageModel ComplexityNet:IncreasingLanguageModelInferenceEfficiencyby

LLMCASCADEWITHMULTI-OBJECTIVEOPTIMAL

文件密級：機(jī)密我們的解決方案端云協(xié)同+端側(cè)計算優(yōu)化（算力+算法 multimultiobject

AALAALappprofile:app配置描述，例如是否需要調(diào)用端側(cè)工具；模型需求能力描述等。multiobjectloss：通過上述三種信息進(jìn)行多目標(biāo)損失評判，最終決定將任務(wù)路由至收益更高的推文件密級：機(jī)密

appdevelopment用

舉例：systemprompt為1000tokens時，qwen2.53B模型產(chǎn)Appresourcesinresource

云側(cè)AppAppresourcesinCloud

Appre