科技爱好者周刊(第 404 期):你需要知道的 AI 内存知识

作者: 阮一峰

日期: 2026年7月17日

这里记录每周值得分享的科技内容,周五发布。

本杂志开源,欢迎投稿。另有《谁在招人》服务,发布程序员招聘信息。合作请邮件联系([email protected])。

封面图

上海某商场正在举办的"海绵宝宝"展览。(via)

你需要知道的 AI 内存知识

自己在家运行 AI 模型,可以选择两种硬件。

一种是独立显卡,目前最顶级的消费级显卡是英伟达的 RTX 5090,带有 32GB 显存,售价3万元人民币左右。

另一种是采用板载芯片组(CPU + 板载显卡 + 板载内存)的家用电脑,比如采用 AMD 公司 Strix Halo 芯片组(具体型号 Ryzen AI Max+ 395)的迷你电脑,自带 128GB 内存,售价2万元人民币左右。

我问大家,哪种硬件更好?

大部分人可能不假思索,就会选择独立显卡,毕竟独立显卡的算力远大于板载芯片组。

根据我查到的资料,下面是两者的单精度32位浮点数算力(FP32)。

  • 独立显卡(RTX 5090):104.8 TFLOPS
  • 板载芯片组(AMD Ryzen AI Max+ 395):14.8 TFLOPS

可以看到,独立显卡的算力,足足是板载芯片组的7倍。如果是更小位数的浮点数计算(比如 FP16 和 FP4),算力差距就更大了。

但是,我告诉你,正确的答案其实是"不确定"。很多时候,板载芯片组的迷你 PC,才是更好的本地 AI 模型解决方案。

原因很简单,大多数的 AI 模型(只要参数规模稍大),RTX 5090 根本运行不了。

问题出在它的 32GB 显存实在太少了。一个 70B 参数的模型,如果每个参数使用4位精度,那么将所有参数的权重读入内存,大约需要 32.6GB 的内存,这超出了 RTX 5090 的显存大小,它根本跑不起来。

相比之下,AMD 迷你电脑的板载内存有 128GB,载入模型毫无困难。板载芯片组的内存是显卡和 CPU 共用的,所以称为"统一内存"。它的好处是可以分出尽可能多的内存给单个处理器,所以能处理内存消耗量很大的 AI 模型。

苹果的 M 系列芯片一直是这种"统一内存"架构,其他厂商现在也跟进了,AMD 的 Strix Halo、NVIDIA 的 DGX Spark、Intel 的 Core Ultra 和高通的 Snapdragon X 都采用这种架构。除了内存容量大,它的价格也比独立显卡低。

读到这里,你可能会问,既然板载芯片组有这些优点,还有必要购买独立显卡吗?

回答是,内存有两个指标,除了容量大小,还有一个指标"内存带宽"。板载芯片组的弱点,恰恰就是内存带宽。

所谓"内存带宽",指的是内存向处理器传送数据的速度。虽然 RTX 5090 显存不多,但是内存带宽极大,达到了 1792GB/s,而 AMD 的内存带宽只有 256GB/s。

AI 模型每生成一个 Token,需要处理器从内存中读取整个模型,进行计算。如果内存带宽是 256GB/s,那么 40GB 大小的模型,处理器一秒只能读取6次(256除以40),也就是说每秒只能生成6个 Token(这是理论值,实际可能还达不到)。这样的龟速,谁能忍受?

即使是内存带宽最大的苹果 M3 Ultra 芯片,带宽为 819GB/s,每秒可以生成20个 Token,远不如 RTX 5090 的 1792GB/s。

所以,内存大小和内存带宽,两者都是 AI 模型的瓶颈。这也是高带宽内存(HBM)价格涨疯了的原因。

如果你选择板载芯片组的迷你电脑,就要做好心理准备,忍受非常慢的 Token 生成速度。

好在为了节省计算量,出现了"混合专家模型(MoE)"这种架构,它计算 Token 时,不需要读取全部参数,只需要激活一部分参数即可。

以 Qwen3-30B-A3B 模型为例,它包含 30B 个参数,但每次只激活 3B 个参数,因此每个 Token 需要读取的数据量不是 20GB,而是 2GB。那么在 AMD 迷你电脑上,每秒理论上可以生成100多个 Token,这样的速度就相当不错了。

因此,如果你用"统一内存"模式的迷你电脑,就选用 MoE 模型吧。

另外,迷你电脑还有一个很大的缺点,跟内存无关,而跟它的算力慢有关。

我们知道,模型必须先处理用户的提示词,然后才能生成 Token。因为迷你电脑的算力慢,所以它处理提示词也很慢。

根据实际测算,AMD 迷你电脑使用 70B 的模型,提示词处理速度是每秒95个 Token。那么,用户提交4000个 token 的一个文档,大约需要40秒才能处理完,然后才能输出第一个 Token。

可以想象,一旦用户往上下文窗口塞入更多的内容,单单是处理提示词,就会变成几分钟到几十分钟。

总之,现阶段想在本地电脑运行大模型,无论是独立显卡还是板载芯片组,都有缺陷。你最多只能运行一些中等规模的 MoE 模型,而且提示词不能很长。

布尔变量如何起名

传说中,编程有两大难题,一个是缓存失效,另一个是变量起名。

其中,布尔变量尤其难起名。怎样才能贴切地表达,这个变量是表示"真"(true)和"伪"(false)的布尔值呢?

我最近读到一篇文章《布尔变量起名的艺术》,提出使用四个前缀就能给布尔变量正确起名,我觉得很有启发。

(1)is-:描述事物的状态,后面跟形容词,比如 isActive,isDeleted,isEmpty。

(2)has-:描述事物的所有权或包含关系,后面跟名词,比如 hasAccess,hasChildren,hasValidationErrors。

(3)can-:描述事物的能力或权限,比如 canEdit,canDelete,canRetry。

(4)should-:描述事物的意图或逻辑,比如 shouldRetry,shouldCacheResponse。

除了这四个前缀,起名还有另一条规则:永远不在布尔变量名中使用否定词。

比如,不使用 isDisabled,而要用 isEnabled = false。

科技动态

1、OpenAI 键盘

OpenAI 公司刚刚推出了一款便捷键盘,方便操作 AI 代理。

键盘下方是一排快捷键,用于批准、否决、语音输入等操作。上方是一排 RGB 灯,表示 AI 代理目前的状态(思考、运行、等待、完成)。

这东西售价230美元,看上去毫无新意,也未必比普通键盘方便。

著名设计师乔纳森·艾维(Jony Ive)离开苹果公司后,现在负责 OpenAI 硬件设计。大家都盼望,他能拿出让人眼前一亮的智能硬件,但最先亮相的这个小键盘真是让人失望。

2、小行星 2016HO3

天问二号探测器于2025年5月发射,经过约400天的飞行,终于到达了目标----小行星 2016HO3,并传回了照片。

这个小行星长度在20米左右,只比半个标准篮球场大一点,形状不规则,并有尖角,这表明它应该是碰撞后的碎片,而不是熔岩冷却形成的。

天问二号拍摄照片时,距离这个小行星20公里,下一步将按照计划,采集这个小行星的岩石样本,送回地球。

这件事的难点在于,天问二号翼展达到15米,只比这个小行星小一点,采样时可能会改变小行星的轨道。

3、风力编织机

一个荷兰设计师发明了家用的风力编织机,可以安装在阳台或楼顶。

风力带动叶片,在一个圆形的编制转盘上,将毛线编织成围巾。

风大的时候,编织速度非常快。它看上去是一个纯粹的机械装置,没有用到风力发电。

设计师的原意是向人们展示,在城市的楼宇里,也可以利用风力。

文章

1、机器学习博士求职指南(英文)

作者是一个美国的机器学习博士毕业生,已经进入了 DeepMind 工作,本文是求职过程回顾和总结。

另有一篇类似的文章。

2、使用 DNS 通过 ACME 认证(英文)

免费 HTTPS 证书需要通过 ACME 协议颁发。该协议要求认证域名所有权,一种认证方法就是使用 DNS,本文介绍这是怎么回事。

3、Go 语言的困境(英文)

本文认为,Go 语言的处境尴尬,前途不看好。"随着慢语言变得更快,难语言变得更容易,Go 所占据的中间地带将不复存在。"

4、JavaScript 哈希算法速度比较(英文)

MD5 和 SHA256 都是常用的哈希算法,本文探讨在 JavaScript 语言中,这两种哈希算法,谁的生成速度更快?答案可能跟你想的不一样。

5、终端控制字符一览表(英文)

作者做了一张图(上图),列出命令行可以使用的控制符快捷键(比如快捷键 Ctrl-C 是终止当前命令),一共33个。

6、理查德·费曼加入我的创业公司(英文)

作者回忆著名物理学家理查德·费曼,曾经加入他的创业公司,一起开发超级计算机,有很多有趣的内容。

工具

1、WhatCable

macOS 的顶部菜单栏应用,可以显示当前插入电脑的 usb-c 电缆特征。

2、amber

一种简化 Bash 语法的新语言,它的脚本可以编译成 Bash。

3、 Ant

一种轻量级的 JS/TS 语言运行时,好像是自己从头开始写的,二进制文件只有 8MB。

4、屏译(Screen Translator)

开源安卓应用,实时屏幕翻译工具。(@ciddwd 投稿)

5、TurboOCR

使用 GPU 进行高速文字识别(OCR)的工具。(@nataell95 投稿)

另有一个纯本地的文字识别库 light-ocr,提供 JS/C++ API。(@eric8810 投稿)

6、Visprex

该网站可以上传 CSV 数据文件,自动生成可视化图形。

7、Loro

一个开源的 CRDT 的同步算法库,用来多人实时同步状态。

8、File Wizard

一个自托管的、基于 Web 的常见文件格式转换服务,还支持图像 OCR、音频转文字。

AI 相关

1、Oh My HuggingFace

非官方的 Hugging Face 开源跨平台客户端,用来浏览和下载模型、数据集等。(@fzlzjerry 投稿)

2、pi-auto-approval

编程代理 Pi agent 的插件,自动批准低风险的权限确认,高风险依然会交给用户确认。(@Europa2061 投稿)

3、GPT Crawler

这个工具将指定网站的内容,抓取成一个 JSON 文件,然后上传到 ChatGPT,从而生成该网站的聊天机器人,允许你跟该网站聊天。

4、Tokenwiz

一个模仿 OpenAI 将输入文本进行词元分解(tokenization)的开源实现。

资源

1、Goto Onion

暗网 Tor 网站的网关,使得普通浏览器可以访问 Onion 网址。

2、Fading Maize

一个很有意思的网站,一支美国大学乐队在2001年录制了专辑,随后就解散了。

现在,他们让 AI 将当年的录音改成2026年的风格。该网站就将两种录音同时放出来,让大家比较。

音乐真是很神奇,20多年前的音乐,毫无时光的痕迹,吉他声仿佛还是昨天。

3、迷宫算法(Maze Algorithms)

这个网站收集各种迷宫生成算法。

图片

1、海底环岛

环岛一般都在交通繁忙的路口,但是在大西洋的法罗群岛,有全世界独一无二的海底环岛。

上图是法罗群岛的海底隧道示意图,在黄圈处,隧道一分为二,通向两个不同的岛屿。这里就建了一个海底环岛。

为了引起司机的注意,政府请了艺术家,将其画成水母的形状。

文摘

1、AI 本应节省时间,减少工作量

人们本以为 AI 会节省时间,减少工作量,加州大学的一项调查发现,事实恰恰相反。AI 增加了工作量,让工作强度变大,使得人们产生职业倦怠。

为什么 AI 不仅没有减少工作,反而增加了工作呢? 原因可能有下面几点。

(1)工作职责范围扩大。产品经理现在开始编写代码,研究人员开始维护服务器,人们的工作职责不再那么分明,而变得模糊不清。员工们开始处理职责范围之外的工作,AI 让这种转变变得切实可行。

这产生了连锁反应。工程师们突然发现,自己需要审查、纠正和指导非程序员同事的代码,因为那些同事正在"氛围编码"(vibe coding)。

在自己专业以外进行工作自动化的人,实际上是给其他人带来了更多的工作。

(2)工作/生活界限模糊化。AI 的对话式界面让工作变得轻松便捷,不再有面对空白页面的无助感,也没有令人望而生畏的学习曲线。

因此,员工们开始在离开办公桌前(比如上厕所前)发送"快速提示",让 AI 在他们离开期间处理一些琐事。许多人甚至在休息时间也输入提示词,让 AI 去跑。这些在非工作时间使用 AI 处理的工作累积起来,导致休息时间减少,工作时长大幅增加。

(3)多任务处理激增。由于 AI 给人一种错觉,任务可以在后台处理,因此员工被要求同时管理多个工作流程。

这样做表面上可以提升生产力,但实际上往往转化为不断切换注意力以及更长的任务清单。

(4)以上因素的自我强化循环。 AI 让事情变得更简单,于是员工们做了更多事情,导致更加依赖 AI 来简化这些事情。如此循环往复,最终导致倦怠。

研究人员指出:"一些参与者表示,虽然他们感觉工作效率更高了,但并没有感觉轻松,反而感觉比以前更忙了。"

(5)解决方法。研究人员提出,为了解决 AI 带来的职业倦怠,公司应该制定有意识的对策,规范员工如何使用 AI。

  1. 做出重要决定前,停一会手头的工作。
  2. 安排工作顺序,以减少上下文切换。
  3. 预留时间进行真正的人际交往。

言论

1、

如果你是太阳,我就是黑洞。

---- 史蒂芬·霍金

2、

AI 模型的世界就像一个城市,里面有五个企业总部区域,以及一个中国城。

-- 《奇点越来越近了》

3、

AI 是一个完全的黑箱,这意味着所谓的"AI 工程"或"提示工程"完全是骗局,任何声称能够以某种巧妙的方式操控黑箱的说法都是虚假的。

你无法探究 AI 的运行逻辑,它只是一种机器实现的"相信我,兄弟"。

-- 《AI 是一个糟糕的工具》

4、

我有一台面包机,它几乎包办一切:揉面、发酵、烘焙。我把原料倒进去,按下一个按钮,三个小时后面包就出炉了。

嗯,三年里我大概只用过这台机器两次。相反,我每周都会去超市买一条包装好的预切片面包。

这解释了为什么即使 AI 可以轻松生成代码,SaaS 公司仍远未走向衰落。

-- 《为什么便利总是胜出,以及为什么 SaaS 不会消亡》

往年回顾

稳定币的博弈(#357)

不要看重 Product Hunt(#307)

黄仁勋的 Nvidia 故事(#257)

汽车行业的顶峰可能过去了(#207)

(完)

留言(32条)

著名设计师乔纳森·艾维(Jony Ive)离开苹果公司后,现在负责 OpenAI 硬件设计。大家都盼望,他能拿出让人眼前一亮的智能硬件,但最先亮相的这个小键盘真是让人失望。

在已有的平台已有的框架已有的理念上做一些改动,难度要低于从头开始!

395 max 首先只能跑MoE模型,稠密模型那蹦字速度基本不能用(两百多G的显存带宽,就是个水龙头,卡的死死的)。MoE模型有个最大的问题(比如Qwen3.6 A3B)就是Thinking容易陷入死循环,等待实际超长,而且处理不了。如果你是接入openclaw,那问题更大了,openclaw有时候会同时向模型发送多个请求,然后,这个395Max有时候就会卡死。最后,也是最重要的一点,去年一万五的时候,你不推荐,现在两万了你出来推荐

《奇点越来越近了》的超链接是“ 史蒂芬·霍金”的

“布尔变量的起名”感觉就是苹果swift语言的官方推荐方法。

> 为什么 AI 不仅没有减少工作,反而增加了工作呢

有AI确实是更累了, 而且是那种进入不了心流, 一直在频繁切换对话思维的累

我认可AI没有减少工作这个观点,但是老板可不这么认为

现在大部分编程语言都支持中文变量名,并且绝大多数中国人编写的代码也只给中国人看,其实完全可以用中文变量名,比用那些半生不熟的英语单词好多了。
比如isEnabled完全可以写成“启用状态”,写在代码中就是if (False == 启用状态) {}
使用中文变量名之后,你会发现写代码轻松了许多。

AI 本应节省时间,减少工作量
太真实了,公司恨不得你把所有工作都干了

《奇点越来越近了》 这个链接不对

风力编织机 那个为什么会考虑要先发电?即便是电动的,不也是带动机械结构吗? 很早就有 手摇的织毛衣机器了啊

解决方法。研究人员提出,为了解决 AI 带来的职业倦怠,公司应该制定有意识的对策,规范员工如何使用 AI。

做出重要决定前,停一会手头的工作。
安排工作顺序,以减少上下文切换。
预留时间进行真正的人际交往。


不应该说如何解决,而是解决这些能带来什么好处。因为公司只会关注你的产出和你的效率,而不会关注你是否会因为懈怠而离职或者降低效率。因为卖方市场导致他们只需要唯结果论就行了,除非有一天他们没得选。

404啦!
任何技术的迭代都是为了提高效率,即使用更少的资源达到同样的产出,AI也是如此。用更少的人,完成更多的工作,即靠使用工具赚取生活资源的人,从时间长度上看,技术的发展不会减少其劳动

我有一台面包机,它几乎包办一切:揉面、发酵、烘焙。我把原料倒进去,按下一个按钮,三个小时后面包就出炉了。

嗯,三年里我大概只用过这台机器两次。相反,我每周都会去超市买一条包装好的预切片面包。

这解释了为什么即使 AI 可以轻松生成代码,SaaS 公司仍远未走向衰落。
------------这个是什么意思?没看懂啊

明白了,自己买豆浆机,买大豆,自制豆浆,和去商店买一杯现成的豆浆,哪个更划算呢?

引用xiaolong的发言:

我有一台面包机,它几乎包办一切:揉面、发酵、烘焙。我把原料倒进去,按下一个按钮,三个小时后面包就出炉了。

嗯,三年里我大概只用过这台机器两次。相反,我每周都会去超市买一条包装好的预切片面包。

这解释了为什么即使 AI 可以轻松生成代码,SaaS 公司仍远未走向衰落。
------------这个是什么意思?没看懂啊

你如果是老板,你是愿意花点钱买行业验证过的saas软件并且获得技术支持,还是选择自己用AI手搓一个不知道好不好用、会不会出问题的AI应用

ai出来后都要全栈和agent岗位。岗位确实也多,但是agent这种职业才出来2年多吧。为什么就要2年和3年的agent工作经验了。我这个应届生根本找不到工作。。。。

bool命名成古法编程时代的文章了
C++天下第一性能需求起来了
还有agent客户端用不习惯还是喜欢vscode那种能看代码diff的好用很多

布尔变量取名那里没问题。但是对于java来说规范是直接xxx,不带前缀。

@xiaolong:

他没有想到saas公司之间也有人效竞争的压力啊,现在公司老板普遍比较焦虑,一旦其它竞争对手使用十分之一的人力,收获了十倍的产出,那将是毁灭性的打击

引用mht的发言:

395 max 首先只能跑MoE模型,稠密模型那蹦字速度基本不能用(两百多G的显存带宽,就是个水龙头,卡的死死的)。MoE模型有个最大的问题(比如Qwen3.6 A3B)就是Thinking容易陷入死循环,等待实际超长,而且处理不了。如果你是接入openclaw,那问题更大了,openclaw有时候会同时向模型发送多个请求,然后,这个395Max有时候就会卡死。最后,也是最重要的一点,去年一万五的时候,你不推荐,现在两万了你出来推荐

那假设去年,一万五的时候推荐,今年变成一万了,你是不是又要怪博主为什么去年推荐更贵的?没有谁能预测未来的价格市场,就像股票一样。找到适合自己的就可以了。

AI 不仅没有减少工作,反而增加了工作,确实是这样

引用Yuki的发言:

ai出来后都要全栈和agent岗位。岗位确实也多,但是agent这种职业才出来2年多吧。为什么就要2年和3年的agent工作经验了。我这个应届生根本找不到工作。。。。

因为市场上已经有很多2年和3年agent经验的工程师了,敏锐的开发者早就入局了。公司有的选当然选有经验的

《AI 是一个糟糕的工具》让我想起了以前打死不用IDE开发的老古董们。坚持用文本编辑器手搓代码,并以此为豪。有部分人本能的厌恶工具,任何能提高效率的工具在他们眼里都是异端,好像只有经过他们自己手搓出来的东西才能信任一样。这类人永远看不到代码世界的本质:我们需要的是代码本身,而不是实现代码的方式。不论代码是用编辑器写的,还是IDE写的,还是AI写的,只要代码能解决现实世界的问题,那就是好代码。

有了AI后,以前有的问题还需要调研分析的,现在老板都是一句,丢给AI,尽快分析出问题解决掉,但是AI解决不掉咋办呢,有的暗坑AI也无法完全分析出来,导致越来越累

阮老师用的翻译软件是什么

引用Neo的发言:

现在大部分编程语言都支持中文变量名,并且绝大多数中国人编写的代码也只给中国人看,其实完全可以用中文变量名,比用那些半生不熟的英语单词好多了。
比如isEnabled完全可以写成“启用状态”,写在代码中就是if (False == 启用状态) {}
使用中文变量名之后,你会发现写代码轻松了许多。

打中文效率太低

人们本以为 AI 会节省时间,减少工作量,加州大学的一项调查发现,事实恰恰相反。AI 增加了工作量,让工作强度变大,使得人们产生职业倦怠。

------------------------------

我觉得伴随着AI的便利,人们越来越处于多任务的状态之中,就像是CPU,不停的执行上下文的加载和切换,可是人并非机器,会因为不断的“性能”开销而疲倦

那个 OpenAI 键盘跟段子那个只有复制快捷键的键盘一样

引用JoJoJo的发言:

《AI 是一个糟糕的工具》让我想起了以前打死不用IDE开发的老古董们。坚持用文本编辑器手搓代码,并以此为豪。有部分人本能的厌恶工具,任何能提高效率的工具在他们眼里都是异端,好像只有经过他们自己手搓出来的东西才能信任一样。这类人永远看不到代码世界的本质:我们需要的是代码本身,而不是实现代码的方式。不论代码是用编辑器写的,还是IDE写的,还是AI写的,只要代码能解决现实世界的问题,那就是好代码。

你还不如直接说,我们要的是销售,是业务。
如果一个生意不用一句代码就能做成,商人绝对不会雇佣一个开发人员的。
而用VM的老登们,他们是试图让代码上升到艺术的那种人,是极客,是与JOBS一起创业的史蒂夫·沃兹尼亚克,是Linus,是高德纳这些人。当然我猜你是BS的。反正 MONEY TALKS。

引用JoJoJo的发言:

《AI 是一个糟糕的工具》让我想起了以前打死不用IDE开发的老古董们。坚持用文本编辑器手搓代码,并以此为豪。有部分人本能的厌恶工具,任何能提高效率的工具在他们眼里都是异端,好像只有经过他们自己手搓出来的东西才能信任一样。这类人永远看不到代码世界的本质:我们需要的是代码本身,而不是实现代码的方式。不论代码是用编辑器写的,还是IDE写的,还是AI写的,只要代码能解决现实世界的问题,那就是好代码。

你说的对也不全对,“打死不用IDE开发的老古董们”可能只是享受这种编码的过程,而你只想要结果。这就好比手工艺品和工业制品一样,你不能说手工艺品全无价值,但毕竟相对小众了一些。

The act of discovery was not complete for him until he had taught it to someone else.
费曼老师真是伟大,总是分享自己的发现,这也是开源精神的体现

OpenAI 的那个键盘,不是 OpenAI 原创的,是跟另一家叫 Work Louder 的公司联名的。Work Louder 网站上有一款 Creator Micro 2 跟这个键盘几乎一模一样,售价还便宜一些。

我要发表看法

«-必填

«-必填,不公开

«-我信任你,不会填写广告链接