# Deployar modelo de Pytorch en Amazon

**URL:** <https://pyar.discourse.group/t/deployar-modelo-de-pytorch-en-amazon/272>\
**Category:** Sin categoría\
**Created:** [4 Mayo, 2020 17:06 UTC](https://pyar.discourse.group/t/deployar-modelo-de-pytorch-en-amazon/272 "2020-05-04T17:06:13Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![t0n1](https://avatars.discourse-cdn.com/v4/letter/t/8797f3/32.png) [@t0n1](https://pyar.discourse.group/u/t0n1)\
**Post date:** [4 Mayo, 2020 17:06 UTC](https://pyar.discourse.group/t/deployar-modelo-de-pytorch-en-amazon/272/1 "2020-05-04T17:06:13Z")

</div>

Gente como les va?

Les escribo para ver que opinan ustedes, o como resolvieron lo de poner modelos de pytorch en produccion.

Actualmente tengo los modelos dentro de los servers y esto en cuando a deploy y descarga de los mismos se esta volviendo pesado y denso.

Me puse a ver posibilidades y la mas simple es docker con un flask pero para la instalacion de pytorch demanda recursos.

Alguno probo deployar con Sarge de Amazon? lei documentacion pero la verdad entendi muy poco, sigo por ahi? o alguno me puede recomendar cual es la mejor alternativa?

---

<div class="post-metadata">

**Author:** ![ssebastianj](https://avatars.discourse-cdn.com/v4/letter/s/ed8c4c/32.png) [@ssebastianj](https://pyar.discourse.group/u/ssebastianj)\
**Post date:** [4 Mayo, 2020 22:39 UTC](https://pyar.discourse.group/t/deployar-modelo-de-pytorch-en-amazon/272/2 "2020-05-04T22:39:29Z")

</div>

Hola, no lo probé (todavía) pero podrías darle un vistazo a [`FastAPI`](https://fastapi.tiangolo.com/).

A la fecha (`2020/05//04`), leyendo las [opiniones en la documentación](https://fastapi.tiangolo.com/#opinions) al parecer [_Microsoft_ utiliza `FastAPI` para servicios de ML](https://github.com/tiangolo/fastapi/pull/26#issuecomment-463768795).

Saludos.

---

<div class="post-metadata">

**Author:** ![t0n1](https://avatars.discourse-cdn.com/v4/letter/t/8797f3/32.png) [@t0n1](https://pyar.discourse.group/u/t0n1)\
**Post date:** [5 Mayo, 2020 20:41 UTC](https://pyar.discourse.group/t/deployar-modelo-de-pytorch-en-amazon/272/3 "2020-05-05T20:41:03Z")

</div>

Gracias Seba, me encanto FastAPI, pero el problema va mas por Infra que por dev, por ahora creo que voy a armar un docker con todo listo adentro y colocar los modelos en S3.

---

<div class="post-metadata">

**Author:** ![litox](https://yyz2.discourse-cdn.com/free1/user_avatar/pyar.discourse.group/litox/32/130_2.png) [@litox](https://pyar.discourse.group/u/litox)\
**Post date:** [11 Mayo, 2020 00:22 UTC](https://pyar.discourse.group/t/deployar-modelo-de-pytorch-en-amazon/272/4 "2020-05-11T00:22:18Z")

</div>

T0n1, nosotros buildeamos las imágenes Docker con el modelo adentro. Esto para agilizar el levantado de los containers (clave para el auto-scaling).  
La API _alrededor_ es con Flask.  
Para el servidor de aplicaciones usamos uWSGI y también Gunicorn. En cualquier caso, vas a tener que revisar con cuidado la configuración, ya que la misma debería cambiar en función de tu caso de uso. Sobre todo para que el modelo se cargue en memoria una sola vez y puedas tener múltiples workers.  
Hay una [charla de Nassty sobre la config de uWSGI](https://www.youtube.com/watch?v=B-8ndakL6i4), en PyConAr 2019, que vale la pena.

---

<div class="post-metadata">

**Author:** ![t0n1](https://avatars.discourse-cdn.com/v4/letter/t/8797f3/32.png) [@t0n1](https://pyar.discourse.group/u/t0n1)\
**Post date:** [11 Mayo, 2020 17:01 UTC](https://pyar.discourse.group/t/deployar-modelo-de-pytorch-en-amazon/272/5 "2020-05-11T17:01:47Z")

</div>

Excelente gracias Litox!