Meta 发布 Megabyte AI 模型抗衡 Transformer 速度提高40%

Meta 发布 Megabyte AI 模型抗衡 Transformer ，新研发的这款AI模型能够解决Transformer 目前所面临的问题，速度提升40%。

Transformer属于当下超流行的一种AI型,尤其在自然语言处理等领域被广泛的应用。这款模型的序列数据处理方式是逐步进化的，无法并行化处理，所以训练速度比较慢。如果想要处理长序列则比较困难，在反向传播过程中，梯度很容易消失或者爆炸。处理语言的过程中，需要将每一步的操作历史完整保留下来，会消耗巨大的内存。

Megabyte AI 模型把输入序列以及输出序列划分为patch，使用这种架构能够对大多数人物而言的字节级别预测会更加容易，内部预测能够使用更小的模型进行，而且在大型网络中也能够精简字符，让工作效率得到大幅度的提升。