A unified framework for linear function approximation of value functions in stochastic control

Sánchez Fernández, Matilde; Valcarcel Macua, Sergio y Zazo Bello, Santiago (2013). A unified framework for linear function approximation of value functions in stochastic control. En: "21st European Signal Processing Conference (EUSIPCO)", 09/09/2013 - 13/09/2013, Marrakech, Morocco. pp. 1-5.

Descripción

Título: A unified framework for linear function approximation of value functions in stochastic control
Autor/es:
  • Sánchez Fernández, Matilde
  • Valcarcel Macua, Sergio
  • Zazo Bello, Santiago
Tipo de Documento: Ponencia en Congreso o Jornada (Artículo)
Título del Evento: 21st European Signal Processing Conference (EUSIPCO)
Fechas del Evento: 09/09/2013 - 13/09/2013
Lugar del Evento: Marrakech, Morocco
Título del Libro: 21st European Signal Processing Conference (EUSIPCO)
Fecha: 2013
Materias:
Palabras Clave Informales: Approximate dynamic programming, Linear value function approximation, Mean squared Bellman Error, Mean squared projected Bellman Error, Reinforcement Learning
Escuela: E.T.S.I. Telecomunicación (UPM)
Departamento: Señales, Sistemas y Radiocomunicaciones
Licencias Creative Commons: Reconocimiento - Sin obra derivada - No comercial

Texto completo

[img]
Vista Previa
PDF (Document Portable Format) - Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (1MB)

Resumen

This paper contributes with a unified formulation that merges previ- ous analysis on the prediction of the performance ( value function ) of certain sequence of actions ( policy ) when an agent operates a Markov decision process with large state-space. When the states are represented by features and the value function is linearly approxi- mated, our analysis reveals a new relationship between two common cost functions used to obtain the optimal approximation. In addition, this analysis allows us to propose an efficient adaptive algorithm that provides an unbiased linear estimate. The performance of the pro- posed algorithm is illustrated by simulation, showing competitive results when compared with the state-of-the-art solutions.

Más información

ID de Registro: 28942
Identificador DC: http://oa.upm.es/28942/
Identificador OAI: oai:oa.upm.es:28942
URL Oficial: http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6811729&tag=1
Depositado por: Memoria Investigacion
Depositado el: 30 Jun 2014 16:04
Ultima Modificación: 22 Sep 2014 11:43
  • Open Access
  • Open Access
  • Sherpa-Romeo
    Compruebe si la revista anglosajona en la que ha publicado un artículo permite también su publicación en abierto.
  • Dulcinea
    Compruebe si la revista española en la que ha publicado un artículo permite también su publicación en abierto.
  • Recolecta
  • e-ciencia
  • Observatorio I+D+i UPM
  • OpenCourseWare UPM