第113章 李曉軍和方麟(第2/3 頁)

不能給老師幹活的博士生當然不是好博士生。

李曉軍遲疑道：“這算是通用人工智慧的範疇了，有點太超前了吧？”

方麟瘦瘦高高，頂著一腦袋的長頭髮，雖然還沒長到盡顯藝術家的風範，但也足以像雞窩一樣亂糟糟的。

方麟：“王棟不就是想要超前的東西麼，越超前越好。”

餘下的同學都點頭贊同，表示深以為然。

李曉軍也覺得有理：“大家現在都在做自監督預訓練，有大模型大算力加持，出現了智慧湧現。”

“這幾年連續學習相關的研究工作的確進展緩慢，好像沒有什麼清晰的方向，不好做啊。”

“不過，好做的都被申請完了，做連續學習也不錯，但咱們得弄出一個具有可行性的解決方案來。”

方麟：“連續學習面對的主要問題是災難性遺忘。如果讓深度神經網分多次學習，學了後面的知識，就把前面的知識忘掉了，或者說覆蓋掉了。”

“所以，這是個如何在深度模型中保留記憶的問題。”

“已有方法大概採用瞭如下三種技術路線：”

“一是保留以前學過的部分代表性樣本作為記憶，這些樣本要參與到後面的模型訓練，從而把記憶轉化為模型引數；”

“二是在模型學習新知識時限制引數在一個限定的範圍內變化，而這個範圍是由舊知識決定的，所以就達到了不會遺忘它們的效果；”

，！

“三是每次弄出不同的網路分支以對應不同的知識。”

“第三種方法效能最差，較少被關注到，但我反倒覺得最具合理性。”

“模擬人類的情況，我們的記憶難道不應該是神經網路形式的，不同的記憶難道不應該是不同的子網路麼？。”

“以前遇到的困難是如何將這些分支融合以達到記憶選擇的效果，然而不融合直接選擇也是一種辦法。”

“假設面對一種任務，其所要學習的知識有一萬種子模式，每種模式我們都可以保留三個模型：一個用於生成已習得資料的模型，大模型形式的生成模型現在就很好用；另一個用於對新到達樣本做資料增強，達到將一個樣本變成上千個內容相同但表示不同的樣本的目的；最後一個才是這個子模式對應的處理模型。”

“用這三個模型來代表對某種模式知識的記憶。”

“訓練時，先將新到達樣本在每個記憶模式裡分別做資料增強，然後用對應的生成模型生產大量記憶樣本。把記憶樣本與增強樣本一起去重新訓練處理模型”

“如果該處理模型對各種生成樣本仍舊有較高的準確率，該子模式就被選中，把處理模型更新為重訓模型，當然，生成模型和增強模型也需要一起被重新訓練。”

“推理時，過程也是一樣的，將待處理樣本在每個知識子模式中都進行增強，然後與生成樣本一起重訓處理模型，根據重訓模型對各種生成樣本的準確率，決定是否接受其識別結果。”

李曉軍已經聽得眉頭緊皺：“有點道理，這是用模型訓練來解決模型選擇問題，或者說記憶選擇問題。”

“假如真有上萬個知識子模式，每一個樣本都要進行上萬次模型訓練才能完成對它的學習和推理。學習時還行，慢就慢了。但推理時必須經過上萬次模型訓練，這能忍受麼？”

方麟：“我看王棟已經提供的那些計算平臺，算力也都高得離譜。我們可以大致估算出來，我們這個方案如果要達到實時的推理速度，大概需要什麼樣的算力，比現在最高算力還要高几千萬倍。”

“不過這不是我們的問題，是王棟的問題，如果他能提供這樣的算力，我們就可以按照這一思路進行研究。”

“