強化学習の学習済み方策の転移について

12 views (last 30 days)
一馬 平田
一馬 平田 on 1 Aug 2021
Answered: Hiro Yoshino on 2 Aug 2021
お世話になります。
強化学習(DQN)の学習済み方策を別の制御モデルに転移させる時、学習済みのQ-Networkを転移させることは可能でしょうか。
また、転移学習の例題では最終層以外の層の学習率を0にすることで最終層以外の重みを凍結させていましたが、一部の層の重みのみを凍結することは可能でしょうか。

Accepted Answer

Hiro Yoshino
Hiro Yoshino on 2 Aug 2021
やったことが無いのですが、可能だと思います。
DQN なので、rlQValueRepresentation で学習済みのネットワークを渡せば良いと思います。
また、学習済みのネットワークを追加で学習する際に、一部のレイヤーの一部のパラメータの学習率をコントロールすることが任意で可能です。setLearnRateFactor で 任意のパラメータの学習係数を指定できます。
これにグローバルの学習率が掛け合わさって、そのパラメータの学習率になります。従って、これを使ってゼロを設定すれば、そのパラメータは学習において更新されません。

More Answers (0)

Categories

Find more on 時系列、シーケンス、およびテキストを使用した深層学習 in Help Center and File Exchange

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!