【LLM】Stanford CS336 Language Modeling from Scratch | Lecture 17: Alignment — Multimodality — 学习笔记

Monday, Sep 14, 2026

CS336 讲到第十七讲，主题一直是语言模型：输入 text，输出 text。但 Percy 开场的第一张图就把问题摊开了——真实世界是多模态的，文本只是其中一格。

【LLM】Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 13: Data (Sources, Datasets) — 学习笔记

Monday, Sep 14, 2026

Percy 用一句话定了这一讲的调子：data is the most important thing to get right in language models。他给出的第一条证据不是技术论证，而是一个观察：去看公司实际披露了什么。

【LLM】Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 14: Data (Filtering, Deduplication, Mixing, Synthetic Data) — 学习笔记

Monday, Sep 14, 2026

Percy 开门见山定了基调：今天是数据部分的第二天。上一讲（Lecture 13）回答的问题是数据从哪来——互联网上是一堆活着的服务，数据要么被定期 dump、要么被爬，然后还有一堆法律与协议层面的问题（terms of service、版权、许可或 fair use）。

【机器学习】梯度优化器系统复习：从 GD 到 Muon 的一张类型地图

Monday, Sep 7, 2026

从梯度的类型出发，把 GD、动量、AdaGrad、Adam 一直到 Muon 串成一张优化器地图：为什么 Adam 需要偏差修正、L2 与 weight decay 为何不等价、Newton–Schulz 迭代在做什么。12 张配图全部由脚本真实计算生成。

【LLM】Stanford CS336 Lecture 4: Attention Alternatives + MoE — 学习笔记

Tuesday, Sep 1, 2026

Tatsu 开场先交代了一点课程事务（这一讲的 slides 上传晚了，现在已经在课程网站和 GitHub 上），然后把这节课在整个课程中的位置摆清楚：上一讲讲的是基础 Transformer，以及如何微调它的各个部件得到一个现代语言模型；这一讲要讲的是他认为"复杂得多、也高级得…

【计算机图形学】双树遍历与自碰撞：BVH 加速的穿插检测体系

Thursday, Jun 4, 2026

BVH 双树遍历实现穿插检测（O(n²) → O(n log n)），自碰撞检测的核心原理与实现。

【计算机图形学】渲染验证与闭环融合：从看见问题到解决问题

Thursday, Jun 4, 2026

几何验证无法发现的缺陷——贴图扭曲、材质错配、语义异常；多模态融合的验证闭环。

【计算机图形学】空间加速与几何验证：BVH 到法线一致性

Thursday, May 14, 2026

3D 几何验证的核心问题——BVH 树、射线奇偶法、绕序传播法，构成从粗筛到细判的完整工具链。

【计算机图形学】3D 模型的内部世界：从 OBJ 文件到验证框架

Wednesday, May 13, 2026

理解 3D 文件底层数据结构——顶点、面片、法线、UV，建立起 3D 验证的四维度框架。

【深度学习】Day 3：Transformer——从注意力机制到 Encoder-Decoder

Friday, May 8, 2026

自注意力机制、QKV、多头注意力、位置编码、LayerNorm、Encoder-Decoder 架构详解