このエントリーをはてなブックマークに追加

2月

5

第32回 強化学習アーキテクチャ勉強会

Organizing : 山川宏

Registration info

参加者

Free

FCFS
88/50

Description

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や,実世界で動かす強化学習(ロボット・自動運転),強化学習を部品として組み合わせる(アーキテクチャ),といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

スケジュール

  • 18:50〜18:55 オープニング
  • 18:55〜20:35 状態表現学習と世界モデルの最近の研究,および深層生成モデルライブラリPixyzの紹介

※ 19:00にビル入り口が施錠されるため、19時以前にお越しください(万が一19時を過ぎてしまった場合はインターホンにてご連絡ください)

講演概要:

発表者:松嶋 達也 (東京大学工学系研究科 修士課程1年)

  • タイトル:状態表現学習と世界モデルの最近の研究,および深層生成モデルライブラリPixyzの紹介

  • アブストラクト

    1) 強化学習のための状態表現学習と世界モデル

    強化学習問題において,「状態」は所与のものとして考えがちであるが,必ずしもエージェントの観測そのものを用いることが良いとは限らない.例えば,部分観測問題であれば,エージェントが過去の観測を何らかの形で記憶して利用することが有益であろう.そのため,効率的な強化学習のためには,エージェントの過去の観測から有益な「状態」の表現を学習するようにモデルを設計することが有望である.このような状態表現や状態遷移を学習し,エージェントの環境のモデリングを行うモデルは「世界モデル」[1]や,「内部モデル」と呼ばれており,近年,画像など高次元の入力に対応するために状態表現学習に深層生成モデルを用いる研究が数多く発表されている.これらの研究を,2018年にarXivに投稿されたレビュー論文[2]に基づきながら整理して議論する.

    2) 深層生成モデルライブラリPixyzハンズオン

    様々な深層生成モデルを簡潔に記述することのできる,PyTorchベースのライブラリであるPixyz[3]のハンズオンを行う(PyTorchが使用可能なラップトップがあると便利だと思います).

    3) 最近の世界モデル研究紹介: GQN・TD-VAE

    英DeepMind社から2018年に発表された世界モデル関連の研究である,Generative Query Network (GQN)[4] とTemoral Difference Variational Auto-Encoder (TD-VAE) [5]の2つのモデルに関して,Pixyzによる実装例を交えながら説明を行う.これらのモデルの応用やその先の展望を議論したい.

  • 参考文献
    [1] David Ha, et al. "World Models". https://arxiv.org/abs/1803.10122
    [2] Timothée Lesort, et al. "State Representation Learning for Control: An Overview". https://arxiv.org/abs/1802.04181
    [3] https://github.com/masa-su/pixyz
    [4] S. M. Ali Eslami, et al. "Neural scene representation and rendering". https://deepmind.com/blog/neural-scene-representation-and-rendering/
    [5] Karol Gregor, et al. "Temporal Difference Variational Auto-Encoder". https://arxiv.org/abs/1806.03107

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

rl_architecture

rl_architecture published 第32回 強化学習アーキテクチャ勉強会.

01/29/2019 18:37

第32回 強化学習アーキテクチャ勉強会 has been published!

Ended

2019/02/05(Tue)

18:45
21:00

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

Registration Period
2019/01/29(Tue) 18:33 〜
2019/02/05(Tue) 21:00

Location

φcafe

東京都文京区本郷5丁目24-5 角川本郷ビル6F

Organizer

Attendees(50)

Autoalge

Autoalge

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

ksyundo

ksyundo

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

yukono

yukono

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Kosuke Miyoshi

Kosuke Miyoshi

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

TakayukiSaruta

TakayukiSaruta

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

RHiga

RHiga

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

arima

arima

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

ShigeharuMukai

ShigeharuMukai

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Kenshi Abe

Kenshi Abe

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

MotoShin

MotoShin

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Attendees (50)

Waitlist (38)

t_okudo

t_okudo

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

3110foobar

3110foobar

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

keijikk

keijikk

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

nobuki-hayashi

nobuki-hayashi

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

shinya16864

shinya16864

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Yo Iida

Yo Iida

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

omuram

omuram

第32回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

hirokuni_kawasaki

hirokuni_kawasaki

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

lfs

lfs

第32回 強化学習アーキテクチャ勉強会に参加を申し込みました!

Waitlist (38)

Canceled (22)