diff --git a/07-Other/AI/AI Agent/MacStudio本地部署模型.md b/07-Other/AI/AI Agent/MacStudio本地部署模型.md new file mode 100644 index 0000000..8f7c358 --- /dev/null +++ b/07-Other/AI/AI Agent/MacStudio本地部署模型.md @@ -0,0 +1,30 @@ +# 前言 +可用工具Ollama 或者 LMStudio。LMStudio功能多一些,但相对会占用更多显存。 + + +# 修改缓存命令 +```bash +#!/bin/bash +echo "=== Mac Studio 64G + glm-4.7-flash 终极提速版 ===" + +# 缓存给足 +export OLLAMA_CACHE_SIZE=32768 + +# KV缓存和模型精度一致 +export OLLAMA_KV_CACHE_TYPE=q8_0 + +# 模型常驻 +export OLLAMA_KEEP_ALIVE=-1 + +# 强制Metal GPU(Mac必开) +export OLLAMA_METAL=on + +# 只加载1个模型,不并行(Mac最稳) +export OLLAMA_MAX_LOADED_MODELS=1 +export OLLAMA_NUM_PARALLEL=1 + +# 限制上下文,大幅提速 +export OLLAMA_NUM_CTX=4096 + +ollama serve +```