31 lines
617 B
Markdown
31 lines
617 B
Markdown
# 前言
|
||
可用工具Ollama 或者 LMStudio。LMStudio功能多一些，但相对会占用更多显存。
|
||
|
||
|
||
# 修改缓存命令
|
||
```bash
|
||
#!/bin/bash
|
||
echo "=== Mac Studio 64G + glm-4.7-flash 终极提速版 ==="
|
||
|
||
# 缓存给足
|
||
export OLLAMA_CACHE_SIZE=32768
|
||
|
||
# KV缓存和模型精度一致
|
||
export OLLAMA_KV_CACHE_TYPE=q8_0
|
||
|
||
# 模型常驻
|
||
export OLLAMA_KEEP_ALIVE=-1
|
||
|
||
# 强制Metal GPU（Mac必开）
|
||
export OLLAMA_METAL=on
|
||
|
||
# 只加载1个模型，不并行（Mac最稳）
|
||
export OLLAMA_MAX_LOADED_MODELS=1
|
||
export OLLAMA_NUM_PARALLEL=1
|
||
|
||
# 限制上下文，大幅提速
|
||
export OLLAMA_NUM_CTX=4096
|
||
|
||
ollama serve
|
||
```
|