算法|矩阵乘法无需相乘，速度提升100倍，MIT开源最新近似算法( 二 )

文章插图
当然，也有读者指出，这篇论文还存在一些待解决的问题：
①论文用的是VGG16模型，但没有在Transformer等更经典的模型（如BERT）中进行实验；②虽然对矩阵乘法进行了加速，但毕竟只是近似算法，意味着潜在的精度损失；③没有在GPU中测试评估结果。

文章插图
但他仍然认为，这不失为一篇非常有意思的研究。
作者介绍
文章插图
Davis Blalock，MIT的计算机系博士生，致力于研发快速机器学习算法，他认为速度是衡量机器学习模型的一个非常重要的因素。

文章插图
John Guttag，MIT计算机系教授，研究方向是机器学习、AI和计算机视觉，目前的研究项目集中在医疗AI和医学成像上。
值得一提的是，这两位研究人员，此前还炮轰过神经网络中的剪枝算法。

文章插图
他们针对其中的81种算法进行了横向对比，发现“没有明确证据表明，这些算法在10年内，对任务效果有明显改善”。
研究一作Davis Blalock还认为：
这些改进都是所谓的“微调”，而不是科研人员声称的“核心创新”，甚至有些改进方法可能根本就不存在。
在对AI模型进行效率提升上，两位作者确实是很严格了。
项目地址：
https://github.com/dblalock/bolt
论文地址：
https://arxiv.org/abs/2106.10860
参考链接：
[1]https://mp.weixin.qq.com/s/VK2W9zD83ddSzYSLLS21UQ
[2]https://news.ycombinator.com/item?id=28375096
— 完 —
量子位 QbitAI · 头条号签约