第165章 底裤都给你看光(1/2)
天才一秒记住本站地址:[笔趣阁]
https://www.ibqg.vip 最快更新!无广告!
已经成名的孟繁岐,如今在研发技术又或者是写作论文的时候,是否具备理论解释已经不在考虑的范围当中。
在这个比较特殊的领域,算法的实际效果和应用范围才是他关注的重点。
虽然学界接受这一现象可能还需要一定的时间。
但这已经不是孟繁岐关心的事情了,在人工智能技术上面,他一直都是实践派。
结构重参数化虽然在数学上反直觉,但实际的效果确实相当惊艳。
它的主要提升来自两方面,一当然是分支合并带来的提升,原本复杂的支路在推理的时候被合并了起来,节约了计算量。
二却是来自一般人想不到的性能提升。
结构的重参数化,既然可以合并复杂分支,那为什么不在训练的时候,把分支设计得更加复杂一点呢?
反正最后都可以合并起来。
遵循这个思路,重参数化还允许相同的最终结构,通过复杂训练的方式获得更高的性能。
作为最终的结果,重参数化在轻量级网络上,大概取得了1.8倍左右的速度提升。
这个数字看起来没有先前8-9倍那么夸张,但这是在已经优化的高速网络上取得的结果。
在已经优化得很好的结果之上,继续优化的难度当然是更大的,同样是一秒钟的速度提升,后面的那一秒含金量当然不可与前面的同日而语。
就像是百米长跑,原本只能30秒跑完,提升一秒没什么大不了的。
可若是你能跑到10秒左右,再快一秒那可就不得了了,博尔特看了都得给你跪下。
博尔特跪不跪下不知道,马斯克确实是差点跪下了。
他上次与孟繁岐的沟通,一定程度上算是鸡同鸭讲。
从相当程度上,他只是在单纯客观地分析一个现实情况,那就是目前的模型计算量,对特斯拉来说很难负担。
后来特斯拉初版的自动驾驶还是使用了传感器,就是因为计算量负担不起,马斯克也不得不向现实低头。
如果要说他原本的计划,其实是打算从硬件方面解决这个问题的,没有指望孟繁岐能够继续优化。
面对已经比较夸张的提升,马斯克怎么也想不到,还能有什么手段可以继续简化模型的结构。
可偏偏孟繁岐就做到了,而且一共也没用到多久的时间。
本章未完,点击下一页继续阅读。