Blog

Series & Tag View on the left, newest posts on the right.

Posts (Newest First)

Stanford CS336: lecture 2 Pytorch, Resource Accounting

主要介绍训练模型所需的基本要素，从张量到模型、再到优化器与训练循环，强调资源效率，尤其是内存（GB）与计算量（FLOPs）的核算。课程不涉及 Transformer，而是通过更简单的模型来讲解。

2025-09-25 · 25 min read

#large-language-model

Stanford CS336: lecture 1 Overview, tokenization

过去八年，研究人员与底层技术的联系逐渐减弱——八年前他们会自己实现并训练模型，六年前开始下载现成模型（如 BERT）并微调，如今更多只是对专有模型（如 GPT-4、Claude、Gemini）进行提示。虽然抽象层级的提升提高了生产力，但这些抽象并不完全封闭，仍存在漏洞。要进行真正的基础研究，仍需“拆开技术栈”深入理解其原理。本课程的目标就是通过从零构建语言模型来获得这种理解。

2025-09-18 · 20 min read

#large-language-model

DP-Gen Training Tutorial

DP-Gen运行环境配置，已经低内核版本超算集群适配。

2025-04-23 · 30 min read

#ai-for-science

电卡效应物理基础

铁电体（这里指"广义铁电体"，包括常规铁电体、弛豫铁电体和反铁电体）

2024-12-06 · 20 min read

#materials#physic

VASP结构优化计算

结构优化又叫结构弛豫（structure relax），是指通过对体系的坐标进行调整，使得其能量或内力达到最小的过程，与动力学退火不同，它是一种在０Ｋ下用原子间静力进行优化的方法。可以认为结构优化后的结构是相对稳定的基态结构，能够在实验之中获得的几率要大些（当然这只是理论计算的结果，必须由实验来验证）。

2024-11-22 · 15 min read

#ai-for-science