はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group: https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack: https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg
• Twitter: #rlarch 勉強会のハッシュタグを作りました．コメントや質問等にご活用ください．

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:45 深層強化学習を用いたロボット制御のサーベイ

※ 19:00にビル入り口が施錠されるため、19時以前にお越しください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者：島田史也（東京大学）

• タイトル：深層強化学習を用いたロボット制御のサーベイ

• アブストラクト
  ロボットアームなどの固定ロボットにおいて深層強化学習を適用した研究をサーベイした結果について報告する．ロボットの強化学習を難しくする要因の一つとして，現実での試行が時間的・安全性・コストの制約を受けることがあげられる．この問題に対するアプローチは二つに大別される．一つはサンプル効率の良い学習手法を用いること，もうひとつはシミュレーションを活用することである．前者については深層強化学習一般において様々な手法が考案されているが今回は実機へのデプロイに成功した研究を主に参照しモデルベース学習，教示データの活用，潜在空間の活用などのアプローチに対して実例[1][2]を交えながら紹介する．後者については シミュレーションと現実の差異reality-gapが問題になる．これを解決するアプローチとしては①シミュレータの精度自体を上げる②シミュレータを上手く現実に適合させる(Domain Adaptation)③シミュレータをランダム化してreality-gapにロバストな方策を獲得する．強化学習に際して行われるのは基本的に②，③のアプローチである．今回はDomain Randomizationを利用して直接実機へのデプロイに成功したOpen AIによる研究[3]を中心に関連研究を紹介する．

• 参考文献
  [1]Levine, Sergey, et al. "End-to-end training of deep visuomotor policies." The Journal of Machine Learning Research 17.1 (2016): 1334-1373. [2]Zhu, Henry, et al. "Dexterous Manipulation with Deep Reinforcement Learning: Efficient, General, and Low-Cost." arXiv preprint arXiv:1810.06045 (2018). [3]Andrychowicz, Marcin, et al. "Learning dexterous in-hand manipulation." arXiv preprint arXiv:1808.00177 (2018).