↑

Niko1221 / Strata

Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

本地模型部署

43.7k 4.8k 1 更新于 2026-11-12 15:48

在你自己的电脑上运行强大的 AI。

本地聊天、写代码、处理图片。

模型 · 安装 · 硬件 · 工具 · 帮助 · 支持

_{English · 简体中文 · 日本語 · Deutsch · Français · Español · Português · Polski}

免费、开源，由你自己运行。 在桌面上使用 Strata，或搭配你喜欢的编程工具。无需账号。

模型

我们首先推荐 ISTA-DASLab，其次是 Unsloth 和其他提供方，前提是有内存放得下的兼容模型。

Qwen3.8-Flash-Next

提供方	可选项
ISTA-DASLab · 推荐	Q2_0, IQ2_XS, IQ3_XXS, IQ3_S。Coder：IQ1_M，适合写代码。
Unsloth	UD-IQ4_XS, UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL, Q8_0
Gyro · agentionai	Gyro-S, Gyro-M。占用内存更少，但速度更慢。
其他选项	Swift 1.5, NVFP4, OrcaRouter

比较大小、内存需求和兼容性。

Qwen3.6-35B-A3B

Unsloth: UD-Q4_K_XL, UD-Q6_K_XL, Q8_0。这些是目前文档中收录的该模型的版本。

模型指南和兼容性。

DeepSeekV4.1-Flash-1017

可在桌面应用和终端中使用。内存放不下的部分会从 SSD 读取，所以需要大量空闲磁盘空间。

版本（ISTA-DAS）	下载大小	所需空闲磁盘
1.75 bpw	239 GB	约245 GB
2.00 bpw	257 GB	约265 GB
2.25 bpw	274 GB	约280 GB

支持 NVIDIA RTX 30、40 和 50 系列（Windows 和 Linux）、AMD Radeon AI PRO R9700（Linux）、AMD Ryzen AI Max — Strix Halo（Windows），以及内存 64 GB 或以上的 Apple 芯片 Mac（Mac）。安装程序会下载模型文件和 DeepSeek 引擎，然后启动模型。

sh
1
strata launch --family deepseek41 --model ist-das-2.00bpw --plan

以下为 Strata 0.2.5 上 2.00 bpw 版本的实测结果。“输出”是回答的速度，“提示词”是 Strata 读取你输入内容的速度。

硬件	输出	提示词
RTX 5070 12 GB, 64 GB 内存	4 到 6 tokens/s	约 110 tokens/s（4K）
RTX 3060 12 GB, 46 GB 内存	9 到 11 tokens/s	约 155 tokens/s（4K）
1x Radeon AI PRO R9700, 251 GB 内存	21 到 25 tokens/s	320 到 360 tokens/s (8K)
4x Radeon AI PRO R9700	74 到 77 tokens/s	400 到 450 tokens/s (8K)

内存、磁盘和详细信息 · 发行说明

不确定哪个放得下？为你的电脑选择模型。

安装

桌面应用

下载适用于 Windows、Linux 或 Mac 的 Strata →

安装应用，选择模型，就可以开始聊天。每个系统只有一个安装程序。首次启动时，应用会下载适合你显卡的引擎。安装程序帮助。

_{文件: Strata-0.2.13-windows-x64-setup.exe · Strata-0.2.13-linux-x86_64.AppImage · Strata-0.2.13-macos-arm64.dmg}

Strata 桌面应用，聊天和实时代码预览并排显示
_{聊天、文件和实时预览都在一个窗口里。}

终端应用

更喜欢终端？安装 Strata，然后运行 strata launch。

安装命令

Linux / Mac

sh
1
curl -fsSL --connect-timeout 15 --max-time 120 https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh

Windows PowerShell

powershell
1
irm -TimeoutSec 120 https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex

在 Windows 上，安装后请打开一个新的终端。然后运行：

sh
1
strata launch

按提示下载并启动模型。终端指南。

Strata 终端应用，显示模型活动、速度、内存和最近的请求
_{模型运行时，随时查看模型和硬件状态。}

从源码构建 · Docker · 完整安装指南

硬件

支持的硬件	指南
NVIDIA GeForce RTX 20 / 30 / 40 / 50 系列	NVIDIA 安装
AMD Radeon RX 7700 / 7800 / 7900、RX 9060 / 9070、AI PRO R9700	AMD 安装
AMD Radeon RX 6800 / 6900 · 实验性	RX 6000 安装
Intel Arc · Linux	Intel 安装
Apple Silicon · M1 或更新	Mac 安装
AMD Ryzen AI Max · Strix Halo	Strix Halo 安装