Pytorch/cpu (sin CUDA) y optimizar resto dependencias image docker

[geru-scotland]

La imagen docker lore-nexus:latest (link), al tener soporte CUDA, así como otras dependencias innecesarias termina teniendo un tamaño final enorme. Claro, todo esto no es necesario para inferencia del modelo, así que, no dependemos de ello.

El tema es que Pytorch no distribuye versión cpu a través de pip, así que hay que instalar manualmente. Para reducirlo, he:

• Instalado directamente a través del Dockerfile la versión cpu con:

  pip install torch --index-url https://download.pytorch.org/whl/cpu

• También ha ayudado mucho hacer análisis de dependencias con pipdeptree y eliminar las que no eran innecesarias (unas cuantas había).

De 12 GB, ha pasado a un tamaño final de 782.84 MB

Referencias: Gracias a este post he dado con el problema de la versión sin CUDA.

[geru-scotland]

Actualmente estoy trabajando en un API que esté en comunicación con el modelo y así poder servir requests de inferencias. Una vez tenga listo el servicio publicaré el repositorio y en él toda la información.