お知らせ 【グループ管理者の皆さま】成長し続けるエンジニアを支援する「Forkwell」と「connpass」が連携し、connpass上でイベントを開催するグループを2020年3月末まで支援いたします。詳しくはこちら by Forkwell

このエントリーをはてなブックマークに追加

8月

24

第3回 強化学習アーキテクチャ勉強会

Organizing : 山川宏

Registration info

参加者

Free

FCFS
22/40

Description

はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や,実世界で動かす強化学習(ロボット・自動運転),強化学習を部品として組み合わせる(アーキテクチャ),といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

今回は、東京大学の冨山さんと株式会社Nextremerの壹岐さんにご講演いただく予定です。興味の有る方は奮ってご参加下さい。

スケジュール

  • 18:50 〜18:55 オープニング
  • 18:55〜19:55 講演: 深層学習を用いた逆強化学習 (冨山 翔司) 発表45分、質疑応答15分
  • 19:55〜20:40 講演:論文紹介 "Bridging the Gap Between Value and Policy Based Reinforcement Learning" (壹岐太一) 発表30分、質疑応答15分
  • 20:40〜21:30 フリーディスカッション

※ 19:00にビル入り口が施錠されるため、19時以前に起こしください(万が一19時を過ぎてしまった場合はインターホンにてご連絡ください)

講演概要:

発表者1: 冨山 翔司 (東京大学)

  • タイトル:深層学習を用いた逆強化学習
  • アブストラクト:本発表ではGuided Cost Learning(Finn, 2016)とGenerative Adversarial Imitation Learning(Ho, 2016)を中心に,近年の深層学習を用いた逆強化学習について紹介する.また,逆強化学習とGANsとの関連についても紹介する.

発表者2:壹岐太一(株式会社Nextremer)

  • タイトル:論文紹介 "Bridging the Gap Between Value and Policy Based Reinforcement Learning"
  • アブストラクト:強化学習には、大きく分けて行動価値の更新を通して方策を更新するもの(value-based)と方策勾配を求めて直接更新するもの(policy-based)の二種類がある。これらをつなぎ合わせることによって、より効率的で安定した深層強化学習アルゴリズムができると期待されている。紹介する論文は2つをつなぎ合わせた新しいアルゴリズムの提案である。具体的には、通常の期待報酬に割引エントロピー正則化項も含めた最適化対象関数を考え、それを最大化する行動価値関数についての方程式(Softmax temporal consistency)をベースに、そこから状態価値と方策に関する方程式を導出する。そして、この方程式からTD(λ)法にエントロピー項を加えたようなn-stepアルゴリズム(Path Consistency Learning, PCL)が提案される。今回はこのPCL導出の概説を行う(論文補遺にある状態価値と方策に関する方程式の解と最適解の必要十分性の証明には立ち入らない)。
主要参考文献:

冨山さん:

壹岐さん:

  • Ofir Nachum, Mohammad Norouzi, Kelvin Xu, Dale Schuurmans. (2017). Bridging the Gap Between Value and Policy Based Reinforcement Learning. arXiv. https://arxiv.org/abs/1702.08892

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

rl_architecture

rl_architecture published 第3回 強化学習アーキテクチャ勉強会.

08/22/2017 18:53

第3回 強化学習アーキテクチャ勉強会 has been published!

Group

Ended

2017/08/24(Thu)

18:45
21:30

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

Registration Period
2017/08/22(Tue) 18:50 〜
2017/08/24(Thu) 21:30

Location

φcafe

東京都文京区本郷5丁目24-5 角川本郷ビル6F

Organizer

Attendees(22)

pollen

pollen

第3回 強化学習アーキテクチャ勉強会に参加を申し込みました!

ryohei1102

ryohei1102

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

ikeyasu

ikeyasu

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

akahori_lapis

akahori_lapis

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

KSaka

KSaka

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

masa_s

masa_s

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

i-shota

i-shota

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

keijikk

keijikk

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

iwata1985

iwata1985

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

川村 正春

川村 正春

第3回 強化学習アーキテクチャ勉強会 に参加を申し込みました!

Attendees (22)

Canceled (3)