Mesh LLM - verteile LLMs auf dein eigenes Netzwerk

Meshllm (Mesh LLM) ist ein Tool, das große lokale Sprachmodelle (Large Language Models, LLMs) über mehrere Maschinen hinweg bereitstellt – und das über einen einzigen, OpenAI-kompatiblen Endpunkt. Das ermöglicht es, die Rechenlast zu verteilen und so auch sehr große Modelle effizient zu nutzen, ohne dass diese auf einem einzelnen Gerät laufen müssen. Die offizielle Website beschreibt es so: „Mesh serves large local models across multiple machines through one OpenAI-compatible endpoint“