このエントリーをはてなブックマークに追加

2月

13

第12回 強化学習アーキテクチャ勉強会

Organizing : 山川宏

Registration info

参加者

Free

FCFS
54/40

Description

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や,実世界で動かす強化学習(ロボット・自動運転),強化学習を部品として組み合わせる(アーキテクチャ),といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

スケジュール

  • 18:50 〜18:55 オープニング
  • 18:55〜20:25 講演:DQNからRainbowまで 〜深層強化学習の最新動向〜(奥村 純)発表75分、質疑応答15分

※ 19:00にビル入り口が施錠されるため、19時以前に起こしください(万が一19時を過ぎてしまった場合はインターホンにてご連絡ください)

講演概要:

発表者:奥村 純 (DeNA)

  • タイトル: DQNからRainbowまで 〜深層強化学習の最新動向〜

  • アブストラクト: 近年Atariや囲碁、StarCraftに代表されるような様々なゲームが、深層強化学習の進展等によって高い成績を出せるようになってきている。これらのゲームタスクにおいて機運が変わった一つのきっかけはDeep Q Network (DQN) の登場であり、その後もDQNは様々な改良が加えられながらベンチマークタスクのSotAが更新され続けている。 この講演では、2017年に提案された"Rainbow"アルゴリズムを元に、DQN以前・以後に提案されてきたいくつかの深層強化学習アルゴリズムを概観する。また、これらのアルゴリズムは、総合評価として"全タイトルのパフォーマンス統計"が参照されているためにSotAであることが目立ちがちであるが、ここでは各アルゴリズムに対して議論を重ねることでなるべく批判的に内容を読んでいきたい。本講演では、model-freeかつoff-policyなアルゴリズムのみに着目し、タスクとしてはAtariを中心に取り上げる予定である。

  • 参考文献
    [1] Riedmiller, Martin. "Neural fitted Q iteration–first experiences with a data efficient neural reinforcement learning method". In: European Conference on Machine Learning. Springer, Berlin, Heidelberg, 2005. p. 317-328.
    [2] Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529.
    [3] Van Hasselt, Hado, Arthur Guez, and David Silver. "Deep Reinforcement Learning with Double Q-Learning." AAAI. Vol. 16. 2016.
    [4] Schaul, Tom, et al. "Prioritized experience replay." arXiv preprint arXiv:1511.05952 (2015).
    [5] Wang, Ziyu, et al. "Dueling network architectures for deep reinforcement learning." arXiv preprint arXiv:1511.06581 (2015).
    [6] Sutton, Richard S., and Andrew G. Barto. "Reinforcement learning: An introduction." Vol. 1. No. 1. Cambridge: MIT press, 1998.
    [7] Wang, Ziyu, et al. "Dueling network architectures for deep reinforcement learning." arXiv preprint arXiv:1511.06581 (2015).
    [8] Wang, Ziyu, et al. "Dueling network architectures for deep reinforcement learning." arXiv preprint arXiv:1511.06581 (2015).
    [9] Hessel, Matteo, et al. "Rainbow: Combining Improvements in Deep Reinforcement Learning." arXiv preprint arXiv:1710.02298 (2017).

Feed

rl_architecture

rl_architectureさんが資料をアップしました。

02/27/2018 10:59

rl_architecture

rl_architecture published 第12回 強化学習アーキテクチャ勉強会.

02/08/2018 17:30

第12回 強化学習アーキテクチャ勉強会 has been published!

Group

Ended

2018/02/13(Tue)

18:45
20:25

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

Registration Period
2018/02/08(Thu) 17:30 〜
2018/02/13(Tue) 20:25

Location

φcafe

東京都文京区本郷5丁目24-5 角川本郷ビル6F

Organizer

Attendees(40)

hiroaki

hiroaki

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

teddy14

teddy14

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Fujiki Nakamura

Fujiki Nakamura

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

ター

ター

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

ajk

ajk

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

always19

always19

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

3110foobar

3110foobar

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

kaihatsu

kaihatsu

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

rysk

rysk

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

ShigeharuMukai

ShigeharuMukai

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

Attendees (40)

Waitlist (14)

Tatsuya Matsushima

Tatsuya Matsushima

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

miku39

miku39

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

ymym3412

ymym3412

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

msekine

msekine

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

Zanadu

Zanadu

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Shumpei Kobayashi

Shumpei Kobayashi

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

cute_na_cat

cute_na_cat

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

hakubishin

hakubishin

第12回 強化学習アーキテクチャ勉強会に参加を申し込みました!

kazuwo7

kazuwo7

第12回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Haochen Xie (謝昊辰)

Haochen Xie (謝昊辰)

I joined 第12回 強化学習アーキテクチャ勉強会!

Waitlist (14)

Canceled (12)