科研動(dòng)態(tài)
動(dòng)態(tài)變化環(huán)境下專(zhuān)家場(chǎng)景遷移學(xué)習(xí)率的自適應(yīng)權(quán)重更新
中文題目：動(dòng)態(tài)變化環(huán)境下專(zhuān)家場(chǎng)景遷移學(xué)習(xí)率的自適應(yīng)權(quán)重更新
論文題目：The adaptive weight updating of learning rate for migrating expert scenarios on dynamic and changing environments
錄用期刊/會(huì)議：CCC2025 （CAA A類(lèi)會(huì)議）
錄用時(shí)間：2025.1.2
作者列表：
1)宋宇 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
2)周佳佳 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研18級(jí)
3)代思怡 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研23級(jí)
4)劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
摘要:
首先，我們選擇相對(duì)熵?fù)p失函數(shù)作為自適應(yīng)權(quán)值動(dòng)態(tài)更新工具，用于獲取遷移專(zhuān)家學(xué)習(xí)場(chǎng)景的后悔上界。 其次，參考在線觸發(fā)器算法的討論，推導(dǎo)了如何自適應(yīng)地動(dòng)態(tài)調(diào)整學(xué)習(xí)速率。我們也得到了學(xué)習(xí)率的上界。 最后將學(xué)習(xí)率的上界轉(zhuǎn)化為后悔函數(shù)的上界，討論了如何在后悔函數(shù)上得到一個(gè)更小的上界，實(shí)現(xiàn)超參數(shù)的自適應(yīng)調(diào)整。
主要內(nèi)容:
定理:假定
, 
, 比較序列
具有k次遷移: 
權(quán)值更新算法
具有下列后悔上界:
這里,
結(jié)論:
本文討論了遷移專(zhuān)家場(chǎng)景中學(xué)習(xí)速率的優(yōu)化和調(diào)整對(duì)學(xué)習(xí)效果的影響。遷移專(zhuān)家場(chǎng)景在不同的學(xué)習(xí)階段有不同的模型，所以我們首先使用混合權(quán)重更新公式來(lái)討論在線學(xué)習(xí)中的遷移學(xué)習(xí)場(chǎng)景，通過(guò)混合不同時(shí)刻之前的權(quán)重，可以在很大程度上減少遷移帶來(lái)的損失，從而得到一個(gè)新的誤差上界。混合權(quán)重更新公式可以解決稀疏復(fù)雜模型的問(wèn)題，該方法對(duì)許多真實(shí)數(shù)據(jù)集非常有效。同時(shí)，考慮到在遷移場(chǎng)景中，很難自始至終給出一個(gè)最優(yōu)的學(xué)習(xí)速率，在線觸發(fā)器算法可以獲得更好的學(xué)習(xí)效果。我們討論了使用損失函數(shù)和近似損失函數(shù)之間的差來(lái)設(shè)定學(xué)習(xí)率的切換條件，這樣可以得到更小的誤差損失。
作者簡(jiǎn)介:
劉建偉，教師。