最近几天都在读这篇文章，作者是大名鼎鼎的 Stephen Wolfram，就是创建数学软件 Wolfram 的那位。

此文从 GPT 开始谈起，实际上回溯了神经网络的主线发展历程，从最基础的权重计算，讲到 n-grams 最终到 transformer 的 attention 机制。
虽然我多年前就学习过神经网络，但是有很多细节更多的是知其然不知其所以然，这篇文章读来让我有醍醐灌顶的感觉，把关键的部分的意义都讲清楚了。

作者还很清晰地阐述了神经网络的几个天然局限，这是人脑能轻松做到而神经网络只能望洋兴叹的：…