Can I Run AI 的工作原理

这个检查器回答什么

Can I Run AI 会估算本地 AI 模型能否装入所选 GPU 或 Apple 芯片设备、可能的生成速度区间、安全上下文长度和更合适的运行工具。它是下载前的规划工具；最终仍应在自己的设备和运行工具中实测。

V1 当前展示文本生成模型。目录结构已为向量、重排、语音、转写、图像和视频模型预留扩展能力，但只有当相应估算足够可靠时才会开放这些分类。

硬件检测与选择

首次访问时，浏览器会尝试读取 WebGPU 适配器信息，其次读取 WebGL 渲染器字符串。浏览器的隐私机制经常会模糊或隐藏这些信息。navigator.deviceMemory 即便可用，也只是粗略的系统内存提示。

检测完全在本地进行。原始适配器或渲染器名称只用于帮助你核对，不会写入分享快照。你随时可以选择已知硬件配置，或者手动输入显存、系统内存和带宽。真正参与估算的是你确认后的配置，而不是隐藏的设备指纹。

硬件目录包括多代桌面和笔记本 NVIDIA RTX、不同内存版本的 Apple 芯片、实验性的 AMD 和 Intel 配置，以及 CPU 兜底配置。同系列笔记本显卡的功耗上限差异很大，因此速度区间会更宽。

内存估算

每个结果由三部分相加：

1. 模型权重 —— 参数量 × 量化后的有效位数，再加少量文件和运行时余量。
2. KV 缓存 —— 按模型系列估算，并随所选上下文长度增长。
3. 运行时开销 —— 缓冲区、临时分配和运行工具自身占用。

可用于模型的加速器内存会低于标称容量，因为操作系统、显示和运行工具也要占用内存。Apple 芯片使用统一内存，因此会预留更大的系统空间。

四种结果含义如下：

• 运行宽裕 —— 估算后仍至少保留 20% 的加速器内存余量。
• 勉强可运行 —— 能装入，但后台 GPU 占用或更长提示词可能导致内存分配失败。
• 需要内存卸载 —— 一部分权重可放到系统内存，通常会明显降速。
• 无法运行 —— 超出实际可用的加速器和系统内存容量。

量化与精度

检查器会列出 Q4_K_M、Q5_K_M、Q8_0、BF16、FP8 和 NVFP4。内存有限时通常先选 Q4；Q5 用更多内存换取更好的质量保留；Q8 接近原始权重；BF16 代表原始 16 位权重，适合超大内存设备；FP8 需要支持的 NVIDIA Ada、Hopper 或 Blackwell 硬件；NVFP4 需要 NVIDIA Blackwell 硬件。

所有选项都会显示。硬件不支持的格式会被禁用并说明原因，而不是直接隐藏。内存足够大并不等于显卡就支持 FP8 或 NVFP4，还必须具备相应计算架构和运行时内核。不同运行工具支持的文件和内核也不完全相同，因此页面数值是统一口径的规划估算，不代表每个模型仓库都提供所有精度文件。

速度估算与运行工具

速度是区间，不是跑分。估算会综合内存带宽、加速器类别、模型规模、混合专家模型的活跃参数量，以及内存卸载惩罚。提示词处理和逐字生成是不同负载；页面区间主要表示提示词处理完成后的交互式生成速度。

运行工具会根据精度和硬件组合选择。Apple 芯片优先 MLX；GGUF 使用 Ollama 或 llama.cpp；原生 BF16、FP8、NVFP4 会按条件使用 Transformers、vLLM 或 TensorRT-LLM。驱动版本、内核支持、散热、功耗限制和并发任务都可能让实测超出该区间。

Arena 质量排名

当模型版本能够精确对应时，列表会展示它在 Arena Text 开源榜中的排名、分数和票数。Arena 衡量的是匿名真人对回答质量的偏好，不代表本地运行速度。无法精确对应或版本存在歧义的模型会保持未排名，不会套用相近模型的分数。

当前快照采用 Arena 于 2026-07-10 发布的数据。公开数据集使用 CC BY 4.0 许可证；页面会链接到开源模型筛选后的 Arena 排行榜并注明发布日期。

目录证据

每个模型都记录来源链接、抓取日期和可信度。优先使用官方模型卡和发布方仓库。参数量、上下文上限、许可证和商业使用条件属于目录事实；内存和速度属于计算估算，详情弹窗会明确区分两者。

每条结果都会显示目录版本和评估引擎版本。分享页会冻结创建时的输入、结果、模型身份和证据元数据；实时目录更新后也不会重新计算旧链接。

如何稳妥使用结果

请为桌面系统、浏览器和其他应用保留内存。建议先从 Q4 和较短上下文开始，关闭占用 GPU 的应用，再用有代表性的提示词实测。用于商业项目时，请查看模型来源链接，并向发布方核对最新许可证条款。

本工具不会执行第三方模型、检查你电脑中的文件，也不保证模型质量、准确性、安全性或法律适用性。