# Sistemas Distribuidos I

TA050 · DISTRO · FIUBA · https://alfonsocampodonico.com/classes/distributed-systems?lang=es

> Clases 16 a 22: cómo se entrena un modelo de lenguaje en miles de GPUs, cómo se sirve, cómo se reparte un clúster entre muchos modelos y trabajos, y cómo se juntan las dos mitades en el post-entrenamiento.

Entrenar y servir un modelo de lenguaje grande es, antes que un problema de machine learning, un problema de sistemas distribuidos. Estas siete clases cierran la materia: dos sobre entrenar (paralelismo de datos, tensores y pipeline, y la escala de Llama 3 y DeepSeek-V3), tres sobre servir (vLLM por dentro, lo que pasa afuera de cada réplica con Mooncake, y cómo entran cientos de modelos y miles de fine-tunes en pocas GPUs), una sobre cómo se reparte un clúster de GPUs entre muchos trabajos, y una última sobre el post-entrenamiento con refuerzo, donde entrenar y servir pasan a la vez.

Cada clase tiene un paper ancla, sus slides, sus apuntes y código en Go sin dependencias para correr en clase. De la 17 en adelante, cada una tiene además un simulador en el navegador.

Las clases se dieron en castellano; también hay una versión en inglés.

## Code

- [ta050-sistemas-distribuidos](https://github.com/AlfonsoCampodonico/ta050-sistemas-distribuidos) · [zip](https://github.com/AlfonsoCampodonico/ta050-sistemas-distribuidos/archive/refs/heads/main.zip) · `gh repo clone AlfonsoCampodonico/ta050-sistemas-distribuidos`

## Lessons

### Entrenar modelos

- [Clase 16: Entrenamiento distribuido de modelos](https://alfonsocampodonico.com/classes/distributed-systems/entrenamiento-distribuido.md?lang=es): Datos, tensores y pipeline: cómo se parte el entrenamiento de un modelo y qué cuesta cada corte.
- [Clase 17: Entrenamiento a escala de frontera](https://alfonsocampodonico.com/classes/distributed-systems/entrenamiento-a-escala-de-frontera.md?lang=es): Paralelismo 4D, expertos, fallas como estado normal y DiLoCo: entrenar a la escala de Llama 3 y DeepSeek-V3.

### Servir modelos

- [Clase 18: Cómo se sirve un modelo de lenguaje](https://alfonsocampodonico.com/classes/distributed-systems/como-se-sirve-un-modelo.md?lang=es): Batching continuo y PagedAttention: qué pasa adentro de un motor de inferencia como vLLM.
- [Clase 19: Del motor al clúster](https://alfonsocampodonico.com/classes/distributed-systems/del-motor-al-cluster.md?lang=es): Guardar, encontrar, separar y escalar el KV cache: de una réplica a un servicio, con Mooncake.
- [Clase 20: Muchos modelos, pocas GPUs](https://alfonsocampodonico.com/classes/distributed-systems/muchos-modelos-pocas-gpus.md?lang=es): Cientos de modelos y miles de fine-tunes en pocas GPUs: arranques en frío de segundos con ServerlessLLM y muchos LoRA a la vez con S-LoRA.

### Repartir el clúster

- [Clase 21: Repartir un clúster de GPUs](https://alfonsocampodonico.com/classes/distributed-systems/repartir-un-cluster-de-gpus.md?lang=es): Quién corre, cuándo y en qué GPUs: todo o nada, localidad, fragmentación y planificar sin conocer las duraciones, con la traza de Philly y Tiresias.
- [Clase 22: Entrenar con lo que se sirve](https://alfonsocampodonico.com/classes/distributed-systems/entrenar-con-lo-que-se-sirve.md?lang=es): El post-entrenamiento con refuerzo junta las dos mitades: rollouts que se sirven, gradientes que se entrenan y dónde poner cada uno, con HybridFlow.
