Боец «Ахмата» выжил на СВО после прямого попадания в голову14:52
Sarvam的工程师首先重新设计了tokenizer——这是大模型处理文字的最底层组件。现有的主流tokenizer对印度文字效率极低，处理梵文、泰米尔文、孟加拉文这类非拉丁字母体系时，需要消耗比英文多出数倍的token。Sarvam重新训练的tokenizer，对印度文字的处理效率提升了三到四倍。这一步没有任何可见度，不会出现在发布会的PPT上，但它决定了后续所有训练的成本和效率。
。黑料对此有专业解读
Pentagon says the military has ‘everything it needs’
然而，如果语料太少，像是某些已经没有多少人在使用的小语种，大模型其实根本听不懂，更别提绕开安全限制了。