Can I Run AI 的工作原理

这个检查器回答什么

Can I Run AI 会估算本地 AI 模型能否装入所选 GPU 或 Apple 芯片设备、可能的生成速度区间、安全上下文长度和更合适的运行工具。它是下载前的规划工具；最终仍应在自己的设备和运行工具中实测。

V1 当前展示文本生成模型。目录结构已为向量、重排、语音、转写、图像和视频模型预留扩展能力，但只有当相应估算足够可靠时才会开放这些分类。

硬件检测与选择

首次访问时，浏览器会尝试读取 WebGPU 适配器信息，其次读取 WebGL 渲染器字符串。浏览器的隐私机制经常会模糊或隐藏这些信息。navigator.deviceMemory 即便可用，也只是粗略的系统内存提示。

检测完全在本地进行。原始适配器或渲染器名称只用于帮助你核对，不会写入分享快照。你随时可以选择已知硬件配置，或者手动输入显存、系统内存和带宽。真正参与估算的是你确认后的配置，而不是隐藏的设备指纹。

硬件目录包括多代桌面和笔记本 NVIDIA RTX、不同内存版本的 Apple 芯片、实验性的 AMD 和 Intel 配置，以及 CPU 兜底配置。同系列笔记本显卡的功耗上限差异很大，因此速度区间会更宽。

内存估算

每个结果由三部分相加：

1. 模型权重 —— 参数量 × 量化后的有效位数，再加少量文件和运行时余量。只以原生低比特格式发布的模型，直接采用官方权重文件的大小。
2. KV 缓存 —— 按模型结构计算：每个 token 占用 2（K 和 V）× 注意力层数 × KV 头数 × 每头维度 × 2 字节，对应默认的 f16 缓存。全注意力层随整个上下文增长，滑动窗口层增长到窗口大小就不再增加，线性注意力层和 Mamba 层只保留固定大小的状态、不占 KV 缓存。多头潜在注意力（MLA）模型每层只缓存一份压缩向量（kv_lora_rank + qk_rope_head_dim）。如果目录暂缺某个模型的结构参数，会改用按模型规模的粗略估算，并把该结果的可信度下调一级。
3. 运行时开销 —— 缓冲区、临时分配和运行工具自身占用。

所选上下文会被限制在模型的原生窗口以内，发生截断时结果会显示“上限”标记。详情弹窗还会给出按当前设置你的硬件最多能容纳的上下文长度。

可用内存按硬件类型分别计算：

• NVIDIA、AMD、Intel 独立显卡 —— 显存减去约 0.5 GB（留给显示和驱动）。装不下时，可以把部分权重卸载到系统内存：预留 4 GB 给操作系统后，最多使用剩余部分的 75%。
• Apple 芯片 —— 只有一块统一内存。macOS 默认允许 GPU 使用约 75%，以此作为预算。介于 75% 和约 85% 之间时判为“勉强适配”，需要调高 iogpu.wired_limit_mb；超过约 85% 则无法运行。没有单独的卸载层级。
• 仅 CPU 和集成显卡 —— 系统内存减去约 4 GB 的操作系统预留，同样没有卸载层级。

四种结果含义如下：

• 运行宽松 —— 在对应内存池中仍至少保留 20% 余量。
• 勉强适配 —— 能装入，但后台 GPU 占用或更长提示词可能导致内存分配失败；在 Mac 上可能还需要按上文调高 GPU 内存上限。
• 可通过内存卸载运行 —— 仅限独立显卡：一部分权重放在系统内存，通常会明显降速。
• 无法运行 —— 超出可用内存池（独立显卡再加上可卸载的系统内存）。

量化与精度

检查器会列出 Q4_K_M、Q5_K_M、Q8_0、BF16、FP8 和 NVFP4。内存有限时通常先选 Q4；Q5 用更多内存换取更好的质量保留；Q8 接近原始权重；BF16 代表原始 16 位权重，适合超大内存设备；FP8 需要支持的 NVIDIA Ada、Hopper 或 Blackwell 硬件；NVFP4 需要 NVIDIA Blackwell 硬件。

所有选项都会显示。硬件不支持的格式会被禁用并说明原因，而不是直接隐藏。内存足够大并不等于显卡就支持 FP8 或 NVFP4，还必须具备相应计算架构和运行时内核。不同运行工具支持的文件和内核也不完全相同，因此页面数值是统一口径的规划估算，不代表每个模型仓库都提供所有精度文件。

速度估算与运行工具

速度是区间，不是跑分。逐个生成 token 主要受内存带宽限制：每生成一个 token，都要读取一遍活跃权重（混合专家模型只计被路由到的专家）和 KV 缓存。估算用这些字节数除以硬件内存带宽，再乘以运行工具的效率系数。发生内存卸载时，每个 token 的耗时分两段计算：留在 GPU 上的部分按显存带宽读取，卸载出去的部分按系统内存带宽读取；硬件配置未注明系统内存带宽时默认按 60 GB/s（大致相当于双通道 DDR5）。无法运行的结果不显示速度。提示词处理和逐字生成是不同负载；页面区间主要表示提示词处理完成后的交互式生成速度。

所选精度对应具体的文件格式，运行工具必须能加载这种格式。GGUF 量化（Q4_K_M、Q5_K_M、Q8_0）在所有平台上都使用 Ollama 或 llama.cpp，Apple 芯片也不例外；MLX 版本有自己的位宽，因此作为备选命令单独给出，不会套用 GGUF 的量化名称。BF16 在 Apple 芯片上使用 MLX，在其他平台使用 Transformers；FP8 使用 vLLM；NVFP4 使用 TensorRT-LLM。对于能运行的模型，详情弹窗会根据已核实的仓库名给出可复制的 Ollama、llama.cpp、LM Studio 命令，在 Mac 上还会给出 MLX 命令。驱动版本、内核支持、散热、功耗限制和并发任务都可能让实测超出该区间。

Arena 质量排名

当模型版本能够精确对应时，列表会展示它在 Arena Text 开源榜中的排名、分数和票数。Arena 衡量的是匿名真人对回答质量的偏好，不代表本地运行速度。无法精确对应或版本存在歧义的模型会保持未排名，不会套用相近模型的分数。

当前快照采用 Arena 于 2026-07-10 发布的数据。公开数据集使用 CC BY 4.0 许可证；页面会链接到开源模型筛选后的 Arena 排行榜并注明发布日期。

目录证据

每个模型都记录来源链接、抓取日期和可信度。优先使用官方模型卡和发布方仓库。参数量、上下文上限、许可证和商业使用条件属于目录事实；内存和速度属于计算估算，详情弹窗会明确区分两者。

每条结果都会显示目录版本和评估引擎版本。分享页会冻结创建时的输入、结果、模型身份和证据元数据；实时目录更新后也不会重新计算旧链接。

如何稳妥使用结果

请为桌面系统、浏览器和其他应用保留内存。建议先从 Q4 和较短上下文开始，关闭占用 GPU 的应用，再用有代表性的提示词实测。用于商业项目时，请查看模型来源链接，并向发布方核对最新许可证条款。

本工具不会执行第三方模型、检查你电脑中的文件，也不保证模型质量、准确性、安全性或法律适用性。