Oddbean new post about | logout
 李沐估计没少看玄幻小说,这个对大语言模型原理的解释类比太好玩了。

“我说机器学习像是老中医,深度学习可能跟玄幻小说的炼丹有点像。

所以你看现在的语言模型就很像炼丹,你要把一些材料放进一个丹炉里面,然后有个丹方去把它炼出来。

那么数据就是你要找的材料。

你看那些小说里面,主角大部分时间都在找材料,包括去深山里面找、去拍卖会上买,所以搞数据是很难的事情,是个体力活。

但是你必须得有这些数据,而且要多弄一些,因为你不知道到时候会不会毁掉一些。

算力也很重要,就是说火要大一点,设备要先进一点,因为越好的设备炼出来的东西越好。

算法就是你的丹方了。
丹方这个东西可能跟小说不一样。
它每年都在进步,而且对于细节的把控非常重要。

就算别人告诉过你这个东西怎么弄,但在真实的场景里面,你会发现还是挺不一样的。

这就有点像你去徒手发射火箭,发之前你要动手调一调,没调好的话就炸掉了。”

原文地址:https://t.co/YCdpN0hYv1