Buenas gente, necesito ayuda para optimizar la actualización de la base.
Tengo que actualizar una tabla de noticias cada 10 minutos, la información la recibo mediante una API. Al principio ningún problema, pero no es escalable lo que tengo. Las noticias son agrupadas en canales (relación m2m).
En el momento tengo 300 canales, y tengo que consultar a la API las últimas noticias de cada canal e insertarlas en la base. Obviamente llega un punto en que se achancha y empieza a haber demora, resultando en que las noticias se carguen con una hora de atraso o incluso que no se carguen.
Como puedo solucionar esto?
A tener en cuenta: la API no va a soportar que le mande pedidos simultaneos, a duras penas soporta los pedidos uno después del otro, ya pensé en utilizar hilos. Pensé en usar Celery, pero no sé si mejoraría la situación.
Saludos!