はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:45 講演：論文紹介　Overcoming catastrophic forgetting in NeuralNetworks （山田真徳） 発表35分、質疑応答15分
• 19:45〜20:35 講演：論文紹介 Distral: Robust Multitask Reinforcement Learning（森山朋美） 発表35分、質疑応答15分

※ 19:00にビル入り口が施錠されるため、19時以前に起こしください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者1：山田真徳

• タイトル：論文紹介　Overcoming catastrophic forgetting in NeuralNetworks

• アブストラクト： 　Catastrophic forgetting(taskAの後にtaskBを学習すると taskAを忘れてしまうこと)を回避する方法を提案

• 参考文献： Overcoming catastrophic forgetting in NeuralNetworks, https://arxiv.org/abs/1612.00796

発表者2：森山朋美

• タイトル：論文紹介　Distral: Robust Multitask Reinforcement Learning

• アブストラクト： 　類似タスクから転移（パラメタ共有）することでサンプル効率化を図る取り組みがうまくいかなかったのは異なるタスク間の勾配が干渉し、学習を不安定にしていたのが原因だ。本論文が提唱する新しいアプローチ「Distral=Distill(蒸留)+transfer(転移)学習」では、パラメタではなく、タスク間に共通する挙動を捉えた「蒸留した（Distilled）方策」を共有する。各ワーカーは、固有のタスクを解きつつ、全タスクの重心となる共有方策からは離れないような制約を受けている；つまり異なる（固有の vs 共有の）目的関数を同時に最適化することで学習が進む。提案手法では、3D環境における既存手法を凌ぐ転移効果を示せた。また学習プロセスも、深層強化学習に重要な資質：堅牢性と安定性を有している。

• 参考文献： Distral: Robust Multitask Reinforcement Learning, https://arxiv.org/abs/1707.04175