SberDevices的语言模型被认为是理解俄语文本的最佳选择

Sber 的新闻服务部门告诉 Durov 的代码，根据评估大型文本模型俄罗斯 SuperGLUE 的主要俄语基准的评估，由 SberDevices 开发的 ruRoberta-large 微调文本模型被认为是文本理解方面的最佳选择。在这个评级中，该模型的准确性仅次于人类。

该公司解释说，ruRoBERTa 在架构上与 BERT 相同，在大量文本上进行训练，仅用于恢复屏蔽标记的任务，使用来自 ruGPT-3 神经网络的 BBPE 标记器。值得注意的是，在 Christophari 超级计算机上训练模型需要三周时间。