HEOPC ONE PERSON COMPANY LAB
Blender MCP 完全上手:官方 Llama.cpp 与 OpenCode 两种接入方式

Blender MCP 完全上手:官方 Llama.cpp 与 OpenCode 两种接入方式

如果你正在测试 Blender MCP(Model Context Protocol),目前常见有两种使用方式:官方 Llama.cpp Web UI 方式 OpenCode 接入 MCP 方式两者本质上都是让大模型调用 Blender MCP Server,只是客户端不同。 这篇教程把官方 Wiki 的内容补全成可以照着敲的完整流程,再补上社区插件 mcp-for-blender 这条分支,以及官方 Add-on 的安装细节。 先看官方的架构长什么样——理解了这一层,后面的命令就都顺理成章了。一、先搞懂架构:官方 Blender MCP 是「两个组件」 Blender 官方 MCP Server 不是一个东西,而是两个独立组件:组件 位置 职责MCP Add-on 装在 Blender 里 在 Blender 进程内开一个 TCP socket 服务,接收并执行请求blender-mcp 独立 Python 进程 由 MCP 客户端启动,实现 MCP 协议,把请求转发给 Add-on官方仓库 README 里画的数据流非常清楚: MCP Client ⇐ MCP/stdio ⇒ blender-mcp ⇐ TCP socket ⇒ Blender Add-on这条链路解释了几件很关键的事:你必须同时装 Add-on 和 MCP Server,缺一不可。只装其中一个,客户端连上去会直接失败。 两者的通信端口是 9876(Add-on 侧监听,默认 localhost)。这个端口在官方 Add-on 和社区插件里是同一个默认值,所以两者不能同时跑。 MCP 客户端和 blender-mcp 之间才有「传输方式」的选择(stdio / Streamable HTTP),Add-on 和 blender-mcp 之间永远是本机 TCP socket。再补一个官方页面反复强调的前提:Blender does not have any built-in functionality for connecting to LLMs.Blender 自己不内置任何 LLM 连接能力。要接 AI,官方给出的清单是:Blender 5.1+、Add-on、兼容 MCP 的 LLM 客户端、MCP Server 本体——三样外部工具都要你自己装。二、方案一:官方 Llama.cpp 方式(纯本地,最快跑通) 适合人群: 想快速体验 MCP,希望纯本地运行,不依赖 VS Code 或 OpenCode。 1. 安装 Llama.cpp # Windows winget install llama.cpp# macOS / Linux brew install llama.cpp官方建议使用较新的版本(>= 8218)。Llama.cpp 是命令行工具,Windows 用 PowerShell,Mac/Linux 用系统自带终端。 2. 下载模型 官方测试过的模型:模型 GGUF 下载 特点Gemma 4 unsloth/gemma-4-26B-A4B-it-GGUF 26B 总参 / A4B 激活,MoE 架构Qwen 3.6 unsloth/Qwen3.6-35B-A3B-GGUF 35B 总参 / A3B 激活在 M3 MacBook 上官方实测过这两个具体量化版本:gemma-4-26B-A4B-it-MXFP4_MOE.gguf Qwen3.6-35B-A3B-Q5_K_M.gguf模型必须同时满足三个条件:支持 Tool Calling、支持 MCP、代码生成能力强。这一点很关键——Blender MCP 的工作方式就是「让模型写 Python 丢给 Blender 执行」,模型不会写代码或者不会调工具,整条链路就是空转的。 3. 安装官方 Add-on(这一步官方 Wiki 讲得最简,实际最有坑) 官方 Add-on 位于 Blender Lab,v1.0.3,最低要求 Blender 5.1.0。 方式 A:拖放安装(推荐) 把 .zip 直接拖进 Blender 窗口。官方特别提醒:需要拖两次。If you drag & drop into Blender you will need to do it twice. First to add the Blender Lab repository, secondly to install the add-on itself.第一次拖放是把 Blender Lab 扩展仓库(https://lab.blender.org/)加进 Blender 的仓库列表,第二次才是真正安装 MCP Add-on 本身。走仓库方式的好处是新版本发布时你能收到更新通知。 方式 B:从磁盘安装 下载 mcp-1.0.3.zip 后,在 Blender 的扩展管理界面用 Install from Disk。 装完别急着跑,有两件事必须做:在偏好设置里启用网络访问。Add-on 要开本地 TCP socket,如果系统级「Online Access」没开,Blender 会在偏好设置面板里报 Online access must be enabled in the system preferences,而且是静默失败——不报错你只会看到连不上。这个坑官方文档没写,但从 Add-on 源码里能确认。 确认端口和自动启动。在 Edit → Preferences → Add-ons → MCP 里能看到 Host / Port / Auto Start / Log 等选项。默认 localhost:9876,Auto Start 默认开启(延迟 1 秒启动,避免拖慢 Blender 启动),面板底部有 Start / Stop 按钮和运行状态指示灯。官方 Add-on 还支持后台模式,blender --background file.blend --command blender_mcp 可以在无界面下起服务(此时延迟响应不支持,命令必须同步完成)。 4. 下载 Blender MCP Server # Windows cd c:\ git clone https://projects.blender.org/lab/blender_mcp.git# macOS / Linux cd $HOME git clone https://projects.blender.org/lab/blender_mcp.git这会把 MCP Server 下载到 C:\blender_mcp 或 $HOME/blender_mcp。 5. 启动 Llama.cpp llama-server -m ./Qwen3.6-35B-A3B-Q5_K_M.gguf也支持 --hf-repo 和 --hf-file 让 llama 自己下载模型。 6. 启动 MCP Server(HTTP 传输) # Windows uv --directory C:\blender_mcp\mcp run blender-mcp --transport http --port 9191# macOS / Linux uv --directory $HOME/blender_mcp/mcp run blender-mcp --transport http --port 9191关于 uv:它是 Astral 的 Python 包管理器,uv --directory <路径> run <命令> 的意思是「切到这个目录,用这个目录里的项目环境执行命令」,避免你手动建 venv、装依赖。首次运行会自动解析 mcp/pyproject.toml 并装好依赖。 注意 9191 和 9876 的分工:9191 是 MCP Server 对外的 HTTP 端点(客户端连它),9876 是 MCP Server 回连 Blender Add-on 的端口(Add-on 监听它)。 7. 在 Web UI 里配置 MCP 打开 http://127.0.0.1:8080,你会看到 llama.cpp 的聊天界面。点击左下角 + → MCP Servers → Manage MCP Servers,然后:点 + Add New Server Server URL 填 http://127.0.0.1:9191/ 点 Add → Save settings保存后会看到 blender-mcp 出现在列表里,带 HTTP 徽章、Tools / Resources / Prompts 三个标签。之后在聊天框点 +,MCP Servers 一栏就能勾选 blender-mcp,直接开聊:Create a cube in Blender Generate a sci-fi scene in Blender模型会自动调用 blender-mcp 执行对应操作。 官方 MCP Server 提供的能力(源码里 mcp/blmcp/tools/ 下共 20 个工具模块)大致分四类:场景读取:get_blendfile_summary_datablocks、get_objects_summary、get_object_detail_summary、get_blendfile_summary_missing_files 执行代码:execute_blender_code 视觉反馈:get_screenshot_of_area_as_image、get_screenshot_of_window_as_image、render_thumbnail_to_path、render_viewport_to_path 界面导航:jump_to_tab_by_name、jump_to_view3d_object_by_name还有两个容易被忽略但很值钱的东西:内置文档检索——search_api_docs 和 search_manual_docs 能查 Blender Python API 参考和用户手册,模型写 bpy 代码时不用凭记忆瞎猜参数。 内置 prompt——连接时会下发一份初始指令,其中明确要求「先检查场景再动手,不要在未确认的情况下破坏性修改对象」,以及「优先用 bpy.ops 而不是裸 bpy.data」。官方还给了几个很能说明问题的示例提示词,比如: Analyze the scene and list the outliers: objects with highest polygon count but smaller size from the camera point of view.用官方 Classroom 演示文件跑,它能识别出 coat 1 约 37k 面数、alphabet 约 20k 面数,并告诉你 coat 1 的面数翻倍来自 Solidify 修改器。 再比如让它给 Geometry Nodes 生成文档: With the current open Blender file explain what the main geometry nodes setup is doing. Add inline documentation for it with frame elements.它会创建带颜色编码的文档帧和一份 Text 数据块:三、方案二:OpenCode 方式(stdio 传输,开发者日常) 适合人群: 已经在用 OpenCode,想统一管理多个 MCP Server。 这里要先纠正一个很常见但错误的配置格式。 网上(包括不少中文教程)会教你这样写: { "mcpServers": { "blender": { "command": "uv", "args": ["--directory", "/Users/yourname/blender_mcp/mcp", "run", "blender-mcp"] } } }这是 Claude Desktop / Cursor 那一类客户端的通用格式,不是 OpenCode 的。OpenCode 官方文档里的顶层键是 mcp,每个服务器要显式声明 type,command 是数组而不是 {command, args} 对象。 OpenCode 的配置文件位置:作用域 路径全局 ~/.config/opencode/opencode.json项目级 项目根目录的 opencode.json(可以安全提交到 Git)正确的配置 编辑 ~/.config/opencode/opencode.json: { "$schema": "https://opencode.ai/config.json", "mcp": { "blender": { "type": "local", "command": [ "uv", "--directory", "/Users/yourname/blender_mcp/mcp", "run", "blender-mcp" ], "enabled": true } } }Windows 只需改路径(注意 JSON 里反斜杠要转义): { "$schema": "https://opencode.ai/config.json", "mcp": { "blender": { "type": "local", "command": [ "uv", "--directory", "C:\\blender_mcp\\mcp", "run", "blender-mcp" ], "enabled": true } } }几个注意点:不要用 $HOME 这类环境变量占位。不少 MCP 客户端不支持变量展开,OpenCode 也建议直接写绝对路径(/Users/yourname/...)。 stdio 传输不需要 `--transport http --port 9191。客户端会自己拉起 blender-mcp 进程并通过标准输入输出通信,这是它和 llama.cpp 方案最大的区别。 想临时停掉某个 MCP,把 enabled 改成 false 就行,不用删配置。 多挂几个 MCP 时留意上下文消耗。OpenCode 官方文档明确提醒:MCP 工具会占用上下文,GitHub 这类工具多的服务器很容易撑爆 context limit。建议用 tools 段做按需开关:{ "tools": { "blender*": true, "some-heavy-server*": false } }启动 opencode进会话后直接:Create a cube in Blender Generate a sci-fi scene in Blender模型会自动调用 blender MCP Server。 验证配置是否生效: opencode mcp list四、方案三:社区插件 mcp-for-blender 适合人群:想要更完整的功能生态(资产库、AI 3D 生成、可视化校验),并且愿意用一个非官方实现。 项目地址:https://github.com/ahujasid/mcp-for-blender 先说清楚它的定位——README 开头就写着:Disclaimer: This is a third-party integration and not made by Blender.它是 MIT 许可的第三方集成,不是 Blender 官方项目。但它的功能完整度确实明显更高。 和官方方案的差异维度 官方 Blender MCP 社区 mcp-for-blender最低 Blender 5.1 3.0Blender 侧组件 官方 Add-on(扩展商店) 自带 Add-on(socket server)MCP Server 分发 从源码 clone + uv 跑 PyPI 包,uvx 一行拉起工具数量 20 个(偏场景读取 / 导航 / 渲染) 9 个(偏建模 / 资产 / 生成 / 视觉)资产库 无 Poly Haven、Sketchfab、Poly PizzaAI 3D 生成 无 Tripo、Hunyuan3D、Hyper3D Rodin、Meshy视觉反馈 截图 / 渲染 look 工具(多角度 / 线框 / X-ray / 动画条)内置文档 API 参考 + 用户手册 无安全模式 无 BLENDER_MCP_SAFE_MODE=1它最有意思的两个设计:look 工具——让 AI 能「看见」自己的作品。支持 viewport / camera / 多角度自动取景 / 动画条 / solid / material / rendered / wireframe / xray 视图,甚至能显示本地图片文件。这解决的是 AI Agent 的经典问题:光靠文本返回无法自检,能看才能改。 资产与生成一体化——search_assets / import_asset 直接把 Poly Haven 的 2400+ 个 CC0 资产拉进场景,generate_3d 一句话生成并导入 3D 模型。上图是社区插件在 Codex 里的实际效果:左边 Agent 对话,右边是实时挂载的 Blender 视口,AI 说「Created Wooden Pyramid」的同时模型已经出现在场景里了。 安装 前置条件:Blender 3.0+、Python 3.10+、uv。 uv 必须用官方安装器装,README 特意警告不要用 pip install uv——那样可能根本不会生成 uvx 命令,或者装到 MCP 客户端看不见的虚拟环境里: # macOS brew install uv# Linux curl -LsSf https://astral.sh/uv/install.sh | sh# Windows winget install --id=astral-sh.uv -e然后一条命令搞定: # macOS / Linux curl -LsSf https://www.mcp-for-blender.com/install.sh | sh# Windows PowerShell irm https://www.mcp-for-blender.com/install.ps1 | iex这个安装脚本会自动完成:装 uv(如果需要)→ 检测 MCP 客户端 → 配置你选中的客户端 → 安装并启用 Blender Add-on → 备份被修改的配置文件(.bak)。 它能自动识别的客户端包括:Claude Desktop、Claude Code、Codex、Cursor、VS Code、Devin Desktop / Windsurf、OpenCode、Antigravity。 不想跑脚本的话,等价的手动步骤是: # 检测客户端 + 写配置 + 装 Addon uvx mcp-for-blender setup# 只装 Blender Addon(复制成 blender_mcp.py 到 addons 目录) uvx mcp-for-blender install-addon# 查看本机检测到的 Addon 路径 uvx mcp-for-blender addon-paths⚠️ 包名变更提示:项目以前叫 blender-mcp,现在 PyPI 包名是 mcp-for-blender。旧命令 uvx blender-mcp 仍然能跑,不需要改已有配置,但新装建议用新名字。OpenCode 配置 社区插件 README 给的 OpenCode 配置就是正确的 mcp 键格式: { "$schema": "https://opencode.ai/config.json", "mcp": { "blender-mcp": { "type": "local", "command": ["uvx", "mcp-for-blender"], "enabled": true, "environment": { "BLENDER_HOST": "localhost", "BLENDER_PORT": "9876" } } } }装完记得:完全退出并重开 AI 客户端 → 打开 Blender(Add-on 会随 Blender 启动 socket server)→ 然后直接发建模请求。 在 Blender 界面里,按 N 打开 3D 视图侧边栏,能看到 MCP for Blender 面板,里面有 Start MCP Server 按钮和端口设置。 常用环境变量变量 默认值 作用BLENDER_HOST localhost Blender socket server 地址BLENDER_PORT 9876 Blender socket server 端口BLENDER_MCP_SAFE_MODE 关 设为 1 时执行前检查脚本DISABLE_TELEMETRY — 设为 true 关闭全部遥测要同时开两个 Blender 实例,就给第二个实例换一个端口(CLI 参数 --port 9877),并记得在对应实例的 Add-on 面板里改成同一个端口。五、三种方式横向对比项目 官方 Llama.cpp 官方 + OpenCode 社区 mcp-for-blender安装难度 简单 中等 中等(有脚本)UI Web 界面 Terminal TerminalMCP 配置方式 Web 里添加 JSON 配置 JSON 配置(或脚本自动写)多 MCP 管理 一般 强 强开发体验 普通 优秀 优秀Agent 能力 基础 更强 更强(含视觉自检 / 资产生成)模型自由度 完全本地 由 OpenCode 决定 由 OpenCode 决定适合人群 普通用户 开发者 要资产 / 要 AI 生成 3D 的用户推荐结论:只想验证 Blender MCP 是否可用 → 官方 Wiki 的 Llama.cpp Web UI 方案,部署最快,且模型完全跑在本地。 要长期用 MCP 工作流 → OpenCode + 官方 Blender MCP。可同时挂载多个 MCP、配置可版本管理、使用习惯和 Claude Code / Cline 接近,而且官方版本自带 API 文档检索,模型写 bpy 代码的准确率明显更高。 要更强的「AI 动手能力」 → 社区 mcp-for-blender,重点是 look 视觉反馈和资产 / 3D 生成生态。六、安全边界:必须认真看的一段 官方页面的警告原文:The MCP server will execute LLM generated code in Blender without any guards in place to protect your data from removal or being sent to a remote location. To keep your data safe it is recommended to use a virtual machine, or a system without access to sensitive information.翻译成人话:这套东西的本质是「让模型写的 Python 在你的 Blender 里跑」,没有任何沙箱。模型判错一次,就可能删掉你的场景、把数据发到别的地方。 具体风险点:任意代码执行。官方 execute_blender_code 和社区的同名工具都能跑任意 Python。 Socket 无认证无加密。社区插件 README 明确说:任何能访问到 9876 端口的人都能在你 Blender 里跑 Python。所以只监听 localhost,绝不要暴露到公网,远程连接走 SSH tunnel。 没有 undo 保护。社区插件的建议很实在:ALWAYS save your work before using it. 官方 add-on 还需要「网络访问」权限。为了开本地 socket,Blender 的 Online Access 必须打开——这本身也放宽了一点系统级限制。对应的防护手段:用虚拟机跑 Blender,或者至少别让这台机器碰敏感数据 社区插件开启 BLENDER_MCP_SAFE_MODE=1(会拦截读写真文件、运行外部程序、访问网络、装常驻代码) 手动保存 .blend 文件再开聊 只监听 localhost 官方 add-on 的偏好设置里打开 Log,能打印每次工具请求和响应状态,出了问题好回溯顺带一提,官方 add-on 里还带了个 weak_sandbox.py 模块,说明这层防护是被官方承认的长期方向,而不是我多虑。七、资源链接 官方Blender MCP 主页:https://www.blender.org/lab/mcp-server/ 官方仓库:https://projects.blender.org/lab/blender_mcp Llama.cpp 接入文档:https://projects.blender.org/lab/blender_mcp/wiki/Llama.cpp Setup 文档(stdio 客户端):https://projects.blender.org/lab/blender_mcp/wiki/Setup Releases(.mcpb Bundle / Add-on zip):https://projects.blender.org/lab/blender_mcp/releases Blender Lab 扩展仓库:https://lab.blender.org/社区mcp-for-blender:https://github.com/ahujasid/mcp-for-blender 项目官网:https://mcp-for-blender.com/ PyPI:https://pypi.org/project/mcp-for-blender/客户端Llama.cpp:https://github.com/ggml-org/llama.cpp OpenCode MCP 文档:https://opencode.ai/docs/mcp-servers/本文所有命令与配置均来自官方 Wiki、官方仓库源码与社区项目 README 实测核对。配图取自 Blender 官方页面与社区项目仓库,版权归原作者所有,仅作技术说明用途。

PLE 逐层嵌入:$8 芯片是如何跑起大模型的?

PLE 逐层嵌入:$8 芯片是如何跑起大模型的?

如果你对 AI 模型略有关注,2026 年上半年有一个趋势已经很明显了:模型正在从云端走向端侧。 无论是手机上的 Gemma 3n/E2B,还是 slvDev 在 ESP32-S3 上跑起来的 28.9M 参数 LLM,大家都在做同一件事——让小模型拥有大智慧。而其中一个关键的技术突破,叫 Per-Layer Embeddings(PLE,逐层嵌入)。 这篇文章,我就来把它拆开讲清楚。标准 Transformer 有一个隐藏的瓶颈 在经典的 Decoder-only Transformer 里,token 的处理方式是教科书级的:输入层做一次 embedding 查表,得到一个向量 e ∈ Rd_model 这个向量通过残差流(residual stream)贯穿所有的 Transformer 层 每一层在此基础上做 Attention + FFN,逐步提取语义看起来没问题?问题出在第三步。 随着层数加深,原始 token 的身份信息——「这个位置是"猫"还是"狗"」——会逐渐被后续计算稀释、混杂,甚至丢失。到了第 20 层,模型已经不太记得第 0 层输入的 token 到底是谁了。 这只靠一层 embedding 表来解决,就像一个公司的前台要在你进门的那一秒把你接下来所有会议的需求都交代清楚——不现实。唯一的补偿方式是把 embedding 表做得特别大、信息密度特别高。 但这也恰好是瓶颈所在:embedding 表成为小模型的主要内存杀手。vocab_size × d_model 这么大的矩阵,对于端侧芯片来说是要命的。PLE 的核心思想:给每一层一张「专属提示卡」 PLE 的思路很直觉——既然一层 embedding 不够用,那就给每一层都准备一个专属的 token 信号通道。 可以这样类比:标准模型:一本书只在封面写了目录,后面章节只能靠记忆回忆 PLE 模型:每一章开头都有一张针对本章内容的「专属提示卡」,而且这张卡是自适应的具体来说,PLE 让模型在每一层都能「重新接收」该 token 的身份信息,而不是依赖输入层一次性塞入所有信息。这意味着:输入 embedding 表不必再承担「记住一切」的压力 身份信息被分散到所有层,每一层只携带当前层需要的那一小部分 深层计算再也「忘不掉」token 是谁技术实现:两个组件 + 一个门控 PLE 信号由两个互补部分组成,在进入 Transformer 层循环之前一次性准备好。 第一步:准备 PLE 信号 (1)Token-Identity 组件(纯身份信息) 使用一个巨大的查找表 embed_tokens_per_layer,形状大约为: (vocab_size, num_layers × ple_dim)对当前 token ID 做一次查表,然后 reshape 成: (batch, seq_len, num_layers, ple_dim)通常还会乘以缩放因子 √ple_dim。 (2)Context-Aware 组件(上下文感知信息) 将标准输入 embedding 通过一个线性投影层 per_layer_model_projection 映射到相同的 packed 空间。再进行缩放(通常 1/√d_model)和 RMSNorm。 (3)融合 ple_input = (token_identity + context_aware) × 1/√2得到每个层专属的切片。 第二步:门控注入(最关键的一步) 在每一层内部:正常执行 Attention + FFN 用当前层的 hidden state 生成一个 gate——通常是 GELU(Linear(h)) 将 gate 与该层的 PLE 向量做逐元素乘法(自适应控制注入强度) 将结果投影回 d_model 维度,归一化后作为额外的 residual 加回去这意味着什么?每一层都能根据当前计算状态,有选择地吸收该 token 的身份信息。不是被动接收,而是主动调节——当前层需要多少身份信号,就拿多少。为什么这对边缘设备特别重要 这才是 PLE 真正的巧思所在:它完美适配了边缘芯片的内存分层架构。 以 ESP32-S3 为例,它的存储结构是这样的:存储类型 速度 容量 用途SRAM 极快 ~512KB 频繁访问的激活值和核心权重PSRAM 中速 8MB 输出头等Flash 大但慢 16MB 巨大的 PLE 查找表PLE 表虽然大(可达 25M 参数),但它的读取模式是 稀疏的——每个 token 只需要读取大约 6 行,约 450 字节。 这意味着:25M 参数的大表可以安心放在 Flash 里,几乎不占用快速内存 真正做矩阵乘法的「思考核心」(dense core)可以缩小到几十万到一两百万参数 总参数量可以做到 28.9M,而实际活跃计算参数极小 在 $8 的芯片上跑本地 LLM 成为可能这正是 slvDev/esp32-ai 项目能成功的关键原理:把大部分参数变成「只读查找表」,而不是「需要计算的权重」。优缺点一览 优点显著提升小模型的有效容量:Gemma E2B 标称 2.3B 有效参数,但总参数含 embedding 达 5.1B 缓解深层 token 身份信息丢失问题,尤其是在深层仍能保持 token 级别的精度 完美适配内存分层设备:手机、MCU、边缘芯片天然受益 推理额外开销可控:主要是查表 + 小规模投影和门控,计算量不大缺点总参数量明显增加:大量参数存在于 PLE 表中,模型文件更大 实现复杂度较高:双组件融合 + 门控注入,不是 plug-and-play 对训练数据质量和超参更敏感:门控机制需要充分训练才能稳定 在超大模型上收益可能递减:大模型本身容量已足够,PLE 的边际收益下降与其他技术的关系 PLE 不是孤立的创新,它和整个端侧模型优化生态是互补的:与 ALBERT 的 factorized embeddings 有概念相似之处,但 PLE 更激进——直接给每一层独立信号 与 KV-sharing、MoE 等技术是互补的:Gemma 4 同时使用了多种技术,PLE 是其中关键一环 在极端边缘场景中,PLE 的「大表慢存、小核快算」理念,比单纯量化更关键量化是把模型「压缩」到能放进内存。PLE 是从架构层面改变了参数的组织方式——让大部分参数不必参与计算,而变成了可查表的知识库。一句话总结 PLE 把「token 身份知识」从单一的输入瓶颈,分散成贯穿全网络深度的低成本、可自适应的条件信号,从而让模型在极小的活跃计算预算下,仍能拥有远超其规模的知识容量。 这正是它能同时服务于手机端 Gemma 和 $8 ESP32 的根本原因。参考来源:Google DeepMind Gemma 3n / Gemma 4 技术报告、slvDev/esp32-ai GitHub 仓库、Gemma 模型卡(Hugging Face)

不用花钱订阅AI绘画,我开始尝试本地部署文生图模型了|Flux 2.0 + Draw Things 体验

不用花钱订阅AI绘画,我开始尝试本地部署文生图模型了|Flux 2.0 + Draw Things 体验

最近几年,AI 绘画的发展速度真的有点夸张。 从最开始需要复杂的提示词,到现在各种在线产品已经可以直接生成电影海报、产品图、插画,效果越来越接近专业设计师的工作流。 像 Midjourney、即梦、Higgsfield 这些在线产品,现在的体验已经非常成熟,打开网页输入一句话,很快就能得到高质量图片。 但是在体验这些工具的时候,我一直有一个想法: 如果未来 AI 创作成为一种基础能力,我们是不是应该拥有属于自己的本地 AI 工具? 所以最近开始尝试一些可以免费部署的小模型。 今天体验的是 Draw Things + Flux 2.0 模型。 Draw Things 是一个可以在本地运行 Stable Diffusion、Flux 等模型的 AI 绘图工具,支持 Mac、iPhone、iPad 等设备。 这次使用 Flux 2.0 生成了一组手绘插画风格图片。这次生成的成果 这是我用 Draw Things + Flux 2.0 生成的一张世界地标插画:整体效果让我有点惊喜。尤其是在这些细节上: ✅ 木刻版画那种不规则的线条感 ✅ 老式旅行海报的复古色彩 ✅ 手绘插画中的纸张纹理 ✅ 素描和版画结合的艺术效果 虽然和一些顶级在线模型相比,在理解复杂场景、人物细节方面还有差距,但是对于这种风格化创作,本地模型已经完全可以满足很多需求。Draw Things 是什么? Draw Things 是一款完全免费、开源的本地 AI 绘图应用,专门为 Apple 设备优化(Mac、iPhone、iPad)。它本质上是一个 Stable Diffusion / Flux 模型的 GUI 客户端。 核心特点特点 说明完全免费 无需订阅,无次数限制本地运行 所有计算都在你的设备上,数据不上传云端支持多种模型 Stable Diffusion 1.5/SDXL、Flux.1/2.0 等Apple Silicon 优化 针对 M1/M2/M3/M4 芯片做了深度优化跨设备同步 Mac、iPhone、iPad 可以共享模型和工作流Flux 2.0 是什么? Flux 是由 Black Forest Labs(前 Stability AI 核心团队)开发的下一代开源图像生成模型。Flux 2.0 [klein] 4B 是其精简版本——只有 40 亿参数,但在风格化创作、文本理解方面已经非常接近顶级闭源模型。💡 Draw Things 的中文界面非常友好,左侧可以选择模型(基本设置)、调节 LoRA、强度等参数,中间是画布,右侧是历史记录和工具。下面是我实际操作时的界面截图:可以看到我正在使用 FLUX.2 [klein] 4B (8-bit S) 模型生成一张乞力马扎罗山和维多利亚瀑布的复古旅行海报。完整的提示词分享 为了在 Draw Things 中重现这种风格,我构建了一个详细的提示词。这种风格结合了手绘素描、复古版画纹理和低饱和度的泥土配色。 提示词(Prompt) 你可以直接复制以下英文提示词到 Draw Things 的提示词输入框中:Hand-drawn illustration, vintage woodblock print texture, sketch-style art, printed on aged, textured cream-colored paper with visible fibers and grain. A world landmark collage panorama featuring, from left: a section of terracotta-colored Great Wall fortifications, the Colosseum in Rome, a white Mayan-style step pyramid, the Taj Mahal, and the Christ the Redeemer statue. The landmarks are arranged across rolling olive-green and brown hills, with stylized bushes and trees in the foreground. The sky is a large expanse of the textured paper with a few sketched, fluffy brown clouds. The color palette is muted and earthy: terracotta, olive green, muted gold, and off-white. All elements have irregular, dark brown ink lines with some stippling and cross-hatching textures. Small radiating light lines emanate from the tops of the Colosseum and the Taj Mahal. Nostalgic, educational, handcrafted travel poster aesthetic, intricate detail, high resolution, vector illustration style with organic textures.提示词详解 为了帮助你理解并根据需要进行微调,以下是提示词的详细解析:风格与纹理 (Style & Texture): Hand-drawn illustration, vintage woodblock print texture, sketch-style art(手绘插画,复古木刻版画纹理,素描风格艺术)。这是核心。 纸张背景 (Paper Background): printed on aged, textured cream-colored paper with visible fibers and grain(印在带有明显纤维和纹理的陈旧米色纸张上)。这决定了图像的基础质感。 主体内容 (Subject Matter): World landmark collage panorama featuring, from left: a section of terracotta-colored Great Wall fortifications, the Colosseum in Rome, a white Mayan-style step pyramid, the Taj Mahal, and the Christ the Redeemer statue.(世界地标建筑拼贴全景,从左起依次为:赤陶土色的长城城墙、罗马斗兽场、白色的玛雅式阶梯金字塔、泰姬陵和救世主基督像)。明确了具体元素和位置。 场景与构图 (Scene & Composition): Arranged across rolling olive-green and brown hills, with stylized bushes and trees in the foreground. The sky is a large expanse of the textured paper with a few sketched, fluffy brown clouds.(排列在连绵起伏的橄榄绿和棕色山丘上,前景有风格化的灌木和树木。天空是大片的纹理纸张,有几朵手绘的、蓬松的棕色云朵)。 颜色与线条 (Color & Line): Muted and earthy color palette (terracotta, olive green, muted gold, off-white). All elements have irregular, dark brown ink lines with some stippling and cross-hatching textures.(柔和的泥土色调调色板:赤陶土、橄榄绿、柔和金、米白。所有元素都有不规则的深棕色墨水线条,带有一些点画和交叉影线纹理)。强调了非纯黑线条和低饱和度色彩。 特殊细节 (Special Details): Small radiating light lines emanate from the tops of the Colosseum and the Taj Mahal.(斗兽场和泰姬陵顶部散发出小的放射状光线)。 氛围与质量 (Atmosphere & Quality): Nostalgic, educational, handcrafted travel poster aesthetic, intricate detail, high resolution, vector illustration style with organic textures.(怀旧、教育性、手工制作的旅游海报美学,复杂的细节,高分辨率,带有有机纹理的矢量插画风格)。负面提示词建议 为了确保风格纯正,建议在 Draw Things 的负面提示词中添加以下内容,以防止 AI 生成过于现代或逼真的效果:photorealistic, 3d render, clean lines, modern, digital art, bright colors, glossy texture, sharp edges, gradients, vector clean, photo, painting (照片级真实感,3D 渲染,干净线条,现代,数字艺术,亮色,光滑纹理,锐利边缘,渐变,矢量洁净,照片,绘画)进阶玩法:替换主题 如果你想用同样的风格生成其他主题,比如「中国地标插画」,只需要替换 Subject Matter 部分: A world landmark collage panorama featuring, from left: a section of the Forbidden City in Beijing, the Shanghai Oriental Pearl Tower, a traditional Chinese pagoda, the Potala Palace in Tibet, and the Terracotta Warriors. The color palette is muted and earthy: vermillion red, ink black, jade green, and rice paper white.其他部分(风格、纸张、线条)保持不变,就能得到一张风格一致的中国地标插画。为什么我开始关注本地 AI 创作? 更重要的一点: 它没有次数限制。 不用考虑每个月几十美元的订阅费用,也不用担心自己的创作数据上传到云端。 当然,本地部署也有明显缺点: 比如需要一定硬件配置,模型下载需要几十 GB 空间,生成速度也没有云端 GPU 那么快。 但是我觉得这可能是未来一个重要趋势: 云端 AI 负责极致效果,本地 AI 负责自由创造。 未来每个人可能都会拥有一个属于自己的 AI 工作站。 它了解你的审美、你的工作习惯、你的创作方向。 本地 vs 云端:创作工具的两种哲学维度 云端 AI(Midjourney / 即梦) 本地 AI(Draw Things)使用成本 每月 $10-$60 订阅 完全免费硬件要求 任何能上网的设备 需要较强的 GPU/统一内存生成速度 5-15 秒 30 秒-几分钟次数限制 有 无限制数据隐私 提示词和图片会上传 完全本地商用授权 取决于订阅档位 Flux 等开源模型可商用模型可定制 不可 可加载 LoRA、ControlNet 等后面还想尝试的方向 这次只是简单测试了一下 Flux 2.0 的插画能力,后面还会继续尝试:本地 AI 图片工作流:结合 ControlNet、IP-Adapter 实现更精准的控制 AI 视频生成:Wan 2.2、HunyuanVideo 等本地视频模型的部署 AI 声音克隆:用 Fish Speech / CosyVoice 搭建自己的语音工作站 AI Agent 自动化创作:让 AI 帮我们调度模型、批处理图片、自动发布AI 时代真正有价值的能力,可能不是会不会使用某一个工具,而是能不能搭建属于自己的 AI 生产系统。资源链接Draw Things 官网:https://drawthings.ai Draw Things GitHub:https://github.com/drawthingsai/drawthings Flux 模型(Black Forest Labs):https://blackforestlabs.ai Hugging Face 模型下载:https://huggingface.co/black-forest-labs推荐配置:Apple Silicon Mac(M1 Pro 或更高)、16GB+ 统一内存、50GB+ 可用存储。

AI 工作台设计手记:从 7 款工具里学到的 4 个模式

AI 工作台设计手记:从 7 款工具里学到的 4 个模式

我正在设计一款面向故事创作和影视前期制作的 AI 原生工作台,内部代号 StoryCanvas。 我不是设计师出身。所以在动手画界面之前,我需要先搞清楚一个问题:市面上的 AI 工作台是怎么做的?它们是怎么组织上下文、怎么管理生成产物、怎么支持协作的? 于是我花了一周时间研究了 7 款产品。下面是我的第一阶段学习笔记——不是竞品分析报告,而是一个正在做产品的人,把学到的东西摊开来看。欢迎拍砖。 研究问题 动手之前先给自己列了几个问题:AI 工作台和「AI 功能」到底有什么区别? 项目状态、AI 状态、协作状态三者之间应该是什么关系? 在设计界面之前,我应该先验证哪些工作台模式?从 7 款产品里学到的 4 个模式 模式一:工作台即上下文容器 Notion AI 在页面、文档、任务、数据库和已连接的应用内运作。Cursor 在一个代码库内运作,能访问文件、终端、规则文件和 diff。Figma AI 在设计文件内运作,能访问组件库、设计令牌、评论和组件实例。 从这些产品里我学到的最重要的一课是:有用的 AI 工作发生在持久的工作台内部,而不是在脱离上下文的聊天里。一个全局聊天框如果不了解你当前在看什么、选中了什么,它的回答就像一个新同事没看你的文档就开始提建议——敬业但没用。 放在我的场景里,这意味着 StoryCanvas 需要一个持久的项目容器:让 AI 能访问已选定的故事上下文、已采纳的参考素材、已生成的资产,以及过往的决策记录。不是一个聊天窗口,而是一个有记忆的工作空间。 模式二:工作台即共享视觉状态 Figma、Higgsfield、Lovart、Milanote 和 Obsidian Canvas 都用了空间状态来帮助用户组织复杂素材。画板不只是装饰——它是协作和记忆的载体。 这让我想到一个问题:StoryCanvas 的画布布局是一个重要视图,但它不能是唯一的真相来源。如果用户把角色卡从画布左上角拖到右下角,后台数据里这个角色所属的剧本、场景、关系仍然应该可以查询。空间表达服务于视觉思维,但项目数据本身应该保持结构化、可查询。 模式三:工作台即操作面板 Cursor 的 Agent 可以搜索、读取、编辑、执行命令、调用 MCP 工具和应用变更。Figma 的 Agent 可以生成和优化设计,并连接设计库。Higgsfield 的画布让用户可以串联模型输出、重跑工作流。 观察这些产品后,我开始思考 StoryCanvas 的 AI 应该能做什么——不是「能做任何事情」,而是有明确权限边界的操作。我目前清单上的候选操作包括:提议场景重写、生成镜头变体、提取角色设定表、整理参考素材、创建分镜分支、更新资产元数据。每个操作都应该有清楚的作用域和审查机制。AI 可以提议,但不能静默修改。 模式四:工作台即协作记录 Higgsfield 强调实时协作和附着在节点上的评论。Figma 强调可分享的 AI 对话线程和团队评审。Milanote 强调在画板上收集团队和客户的反馈。 这是我在设计 StoryCanvas 时最想避免掉进的一个坑:让决策消失在聊天里。一个导演说「这个场景不太对」,AI 重新生成了一个版本——三个月后,没人记得为什么要改。所以我在考虑:AI 运行记录、评论、审批和被否决的替代方案,都应该附着在它们所影响的对象上。不是聊天记录的 scrollback,而是对象附带的设计历史。后续要研究的能力清单 在进入原型阶段之前,我列了一个待验证的能力列表——都来自这次调研的启发:项目级上下文索引:覆盖剧本、场景、角色、参考素材和已生成的媒体。 对象级 AI 操作:从选中和检查器面板中暴露出来,而不是藏在聊天框里。 生成队列:包含状态、成本/额度可见性、失败恢复和重试。 版本历史和分支:针对故事和媒体资产,不是简单的 undo/redo。 可复用的配方/模板:用于重复的视觉风格和镜头类型。 审查模式:在提交前查看 AI 提议的变更。 协作锚点:附着在对象上的评论、线程和审批。5 个必须避免的反模式 以下是从调研里总结的 5 个设计陷阱——每一条背后都有反例产品:一个看不到画布选中上下文的全局聊天框。 AI 不知道用户在做什么,只能给泛泛的回答。 一堆没有来源追溯的生成资产文件。 这张角色概念图是哪个版本的剧本生成的?没人知道。 一个要求用户先选模型、再描述意图的工作流。 用户不是 AI 工程师,他们只想说「帮我画一个雨中的东京街头」。 AI 静默修改项目状态而不告知用户。 「咦,这个角色的设定什么时候被改了?」 仅靠画布存储数据,导致搜索、自动化和导出变得困难。 当画布上有一百多个节点时,你不想一个个去找。下一步 这篇笔记是一个开端。我从 7 款产品里看到了清晰的模式,也知道了我需要避开哪些坑。 接下来我会把这些观察变成 StoryCanvas 的低保真原型——不是追求好看,而是验证一个假设:AI 原生工作台的核心设计问题不是「提示框放哪里」,而是项目上下文、空间组织、生成溯源、审查和协作如何拼装在一起。 如果你也在做 AI 工具的产品设计,或者对 StoryCanvas 的方向有兴趣,欢迎在评论区聊聊。Build in public 这件事,一个人想容易走偏。参考来源Notion AI: https://www.notion.com/en-gb/product/ai Cursor overview: https://docs.cursor.com/chat/overview Cursor tools: https://docs.cursor.com/en/agent/tools Figma AI: https://www.figma.com/ai/ Figma AI agent: https://www.figma.com/solutions/ai-design-agent/ Higgsfield Canvas: https://higgsfield.ai/canvas-intro Lovart ChatCanvas launch: https://www.lovart.ai/news/lovart-design-agent-public-launch-chatcanvas Milanote: https://milanote.com/ Obsidian Canvas: https://obsidian.md/canvas

你放弃英语,不是因为不够努力,而是你讲错了自己的故事

你放弃英语,不是因为不够努力,而是你讲错了自己的故事

每个学英语的人都想成功,但残酷的现实是,大多数人最终都会放弃——而且,这里面包括你。 除非,你先改变对自己讲的故事。没有技巧分享,没有单词列表,没有语法讲解。这篇文章想讲一个关于人类、关于权力、关于你是谁的故事。 看完之后,你也许会明白一件事:我们放弃语言学习,从来不是因为资源不够或方法不对,而是因为我们给自己写了一个「我学不好」的剧本,并且演到了放弃那一幕。 四万年前的电影制片人 先从一个看起来和学习毫无关系的故事开始。 1990 年,一位大学教授在法国参观岩洞。大多数洞穴装的是现代电灯,但有一个洞穴还在用煤油灯——摇曳的火光会在岩壁上制造出跳动的阴影。 就在那一刻,他看到了一个秘密。 现代灯光下,岩壁上画的是静态的动物轮廓。但在火光中,那些看似拙劣的刻画——多头山羊、多腿猛犸、被反复划过的线条——全部活了过来。「在短短几秒钟内,我看到了切割和溶解、变化和运动。形状出现又消失,颜色转移和改变——简言之,我在看一部电影。」 四万年前的人类,就已经在用岩壁做银幕了。他们不是在犯「画错了」的错,他们在做动画。 这个故事说明了一件根本的事:人类天生就是讲故事的动物。这是刻在 DNA 里的本能,比农业、比文字、比国家都更古老。而故事,有改变现实的力量。 信念比药片更管用 再讲一个更小的故事:疣。 很多人身上长过无害的疣子。现代医学有很多方法可以去除它们,但研究还发现了一件奇怪的事——暗示疗法同样有效。 告诉患者「你的疣会在没有任何治疗的情况下自行消失」,只要你让他们足够相信这个故事,效果堪比药物。 关键点不是「安慰剂效应」的科学机制。关键点是: 你对自己讲的故事,会改变你的身体。那它当然也能改变你的行为。 你的叙事身份是什么? 现在回到你自己。 心理学里有一个概念叫叙事身份认同(Narrative Identity):你对自己讲述的关于「我是谁」的故事,最终定义了你,也创造了你。 每一个语言学习者,都有自己的剧本。也许是这样的:「我记性很差,永远记不住新单词。」 「我的发音很糟糕,别人总是听不懂。」 「我考了两次都没过,可能我真的不是学英语的料。」 「别人学得都比我快,我永远追不上。」这些不是客观描述。这是你在给自己写的叙事——而你最终会成为你反复讲述的那个故事。 语言学习动机研究领域的世界级学者 Zoltán Dörnyei 画过一个「语言学习者心理图谱」,他把叙事身份认同放在正中心。他说:「人们塑造自己人生叙事的方式,会塑造他们的整个心态。」换句话说,如果你每天给自己讲的故事是「我很差,我会失败」,那么不管你用什么 App、跟什么 AI 练口语、背多少单词,你都会放弃。因为放弃,才是那个剧本的结局。 谁偷走了你的故事? 但问题比个人心态更深。 我们需要问一个真正锋利的问题:在英语学习的体制里,你并不是自己故事的主角。 想想看——你的教材是远在另一个大陆的人写的,他们不知道你是谁、你关心什么。你参加的考试是标准化的,考的是出题人认为重要的东西,不是你认为重要的。有时候,甚至不是人在评判你,而是机器。你从一开始就被一个体系接管了叙事权。 在这个世界里,「你是谁」不是正确的问题。正确的问题是:「你被允许做什么?」 你被允许进那所大学吗?你被允许做那份工作吗?你被允许说那种语言吗?「这是你对抗一个十亿美元产业。这是你对抗母语者。」这不是危言耸听。听最后一个故事就明白了。 空难中沉默的人 1990 年 1 月 25 日,Avianca 52 号航班从哥伦比亚波哥大起飞,目的地纽约。 前几个小时一切正常。但纽约上空天气恶劣,飞机被要求在空中盘旋等待降落指令。一圈又一圈,燃油开始耗尽。 但他们没有宣布紧急状态。 等到只剩 27 分钟燃油、跑道还在 17 分钟之外的时候,他们仍然没有说出那个词。 最后一次着陆尝试因强风失败。空管要求他们绕一圈重来。此时只剩 7 分钟燃油,跑道在 15 分钟以外。坠毁已经是数学上的必然。 空管问了机组一句话:「你们的燃油状况没问题吧?」副驾驶回答:「I guess so, thank you very much.」然后他转头对机长说:「那个人生气了。」 几分钟后,引擎熄火。飞机无声地坠入地面。 让人不寒而栗的不是空难本身,而是这个事实:即使在面对确定的死亡时,这两位飞行员仍然觉得自己没有权力用语言来拯救自己和乘客。他们还在担心「被评判」。 他们有足够的词汇,有无线电,有空管的频道。他们唯一没有的,是说出「Mayday」的勇气——因为在他们的叙事里,自己没有资格这样做。 那么——这也是你的故事吗?你也要放弃自己的力量,安静地消失在黑夜里吗? 拿回你的叙事权 解法不是方法,不是技巧,而是一句话: 现在,你就可以改变你的故事。 当老师指着你的鼻子问一个你不会的语法题时,不要害怕。你说:「我不知道,请教我。」这五个字,才是真正的学习心态。 一个「重写叙事」之后的例子——同样的事实,完全不同的故事:「学英语确实很难,要学的东西太多了。但正因如此我才有老师帮忙。我每天都在进步一点点。」 「我在考试里常犯一些低级错误,但我提醒自己,考试能帮我找到需要改进的地方。」 「课堂上我们学了大量的语法和词汇,但我知道那只是语言的一部分。课堂之外,人们并不太在意语法。」 「我的目标是在新工作中能用英语自如交流,所以我逼自己参加每一次对话和会议。我不知道还要多久才能完全适应,有好的时候也有不好的时候,但我知道只要持续练习就会不断进步。」这不是盲目乐观。这是一个拿回了叙事主权的人说的话。 同一个学习者,同一个现实,但因为换了剧本,结局完全不同。 你才是主角 没有人能替你写你的故事,因为那永远是陌生人的心理学。只有你自己真正了解自己。这是你的叙事身份。 看看你面前的屏幕——屏幕上映出了你自己的脸。你就是你自己故事里的主角。是时候像主角一样行动了。这篇文章没有教你一个单词表,没有讲一道语法题,没有分享一个学习技巧。但它讲的可能是语言学习中最重要的一件事:在你说出第一个英语单词之前,你已经在用一种语言定义自己了——那种语言,就是你对自己讲的故事。 如果你一直在学英语、放弃、再学、再放弃的循环里,也许该停下来问自己一个问题:不是「我的方法对不对」,而是「我给自己写的剧本,结局是什么」。 改掉那个结局。然后,一切都会不一样。