Die Verlagerung von KI-Workloads aus der Cloud an den Edge gehört zu den prägendsten technologischen Trends des Jahrzehnts. Während Cloud-Inferenz für klassische ML-Modelle lange Zeit der Standard war, verschiebt sich das Bild durch drei parallele Entwicklungen: erstens wachsende Datenschutz- und Compliance-Anforderungen, zweitens die Notwendigkeit latenzarmer Echtzeitverarbeitung und drittens die Verfügbarkeit leistungsfähiger embedded Hardware wie der NVIDIA Jetson-Familie.
Large Language Models galten noch vor wenigen Jahren als unteilbare Domäne riesiger GPU-Cluster. Mit der Reife von Techniken wie Quantisierung, Pruning, Knowledge Distillation und spezialisierten Compilern hat sich diese Situation grundlegend geändert. Modelle wie Llama 3.1 8B, Phi-4, Qwen2.5 oder Mistral 7B lassen sich inzwischen auf Hardware mit weniger als 25 Watt Verlustleistung in akzeptabler Geschwindigkeit betreiben – vorausgesetzt, die Toolchain ist optimal abgestimmt.
hostazar.com begleitet diese Entwicklung mit konkreten Tutorials, Benchmarks und Hosting-Empfehlungen. Dieser Artikel bündelt das aktuelle Wissen zum Stand der Technik im Jahr 2026 und zeigt, welche Jetson-Plattformen für welche LLM-Szenarien am besten geeignet sind. Wir betrachten sowohl die Hardware-Architektur als auch die Software-Stack-Optionen und liefern reproduzierbare Konfigurationsbeispiele.
Besonders relevant ist die Kombination aus Vision-Sprache-Modellen, klassischen Computer-Vision-Pipelines und agentenbasierten Systemen, die direkt am Edge laufen. Ein Jetson Orin Nano kann heute ein Multimodales Modell mit 4B Parametern parallel zu einer Objekterkennungspipeline betreiben, ohne dass ein einziges Byte in die Cloud übertragen werden muss.
Die Jetson-Familie deckt 2026 ein breites Leistungsspektrum ab. Vom ultra-kompakten Jetson Orin Nano 8GB für energiesensitive Anwendungen bis zum Jetson AGX Orin 64GB für anspruchsvolle Multi-Model-Workloads. Jede Variante kombiniert eine ARM-basierte CPU mit einer NVIDIA-GPU, die Tensor-Cores für KI-Workloads bereitstellt.
Die wichtigste Neuerung im Jahr 2026 ist die breite Verfügbarkeit des Jetson Orin NX 16GB mit überarbeitetem thermischen Design sowie erste Dev-Kits des Jetson Thor, der auf der Blackwell-Architektur basiert. Thor-Module erreichen FP4-INT8-Performance-Werte, die selbst 70B-Parametermodelle in greifbare Nähe rücken lassen.
Für Einsteiger empfiehlt sich das Jetson Orin Nano Developer Kit, das mit Carrier-Board, Kühlkörper und 8 GB LPDDR5 ausgeliefert wird. Industrielle Anwender greifen typischerweise zu den Modulen der Orin-Serie mit erweitertem Temperaturbereich (-25 °C bis +80 °C) und längerer Verfügbarkeit. Die folgende Tabelle vergleicht die aktuell verfügbaren Varianten.
| Modell | GPU | CPU | RAM | AI-TOPS (INT8) | TDP | Ideal für LLM |
|---|---|---|---|---|---|---|
| Jetson Orin Nano 4GB | 512 CUDA + 16 Tensor | 6× Cortex-A78AE | 4 GB LPDDR5 | 20 | 7–15 W | ≤3B Modelle |
| Jetson Orin Nano 8GB | 1024 CUDA + 32 Tensor | 6× Cortex-A78AE | 8 GB LPDDR5 | 40 | 7–15 W | 3B–7B (Q4) |
| Jetson Orin NX 8GB | 1024 CUDA + 32 Tensor | 8× Cortex-A78AE | 8 GB LPDDR5 | 70 | 10–25 W | 7B (Q4)–13B (Q2) |
| Jetson Orin NX 16GB | 1024 CUDA + 32 Tensor | 8× Cortex-A78AE | 16 GB LPDDR5 | 100 | 10–25 W | 7B (Q8), 13B (Q4) |
| Jetson AGX Orin 32GB | 1792 CUDA + 56 Tensor | 12× Cortex-A78AE | 32 GB LPDDR5 | 170 | 15–60 W | 13B (Q8), 30B (Q4) |
| Jetson AGX Orin 64GB | 1792 CUDA + 56 Tensor | 12× Cortex-A78AE | 64 GB LPDDR5 | 170 | 15–60 W | 30B (Q8), 70B (Q2) |
| Jetson Thor (2026) | Blackwell GPU + Gen5 Tensor | 14× Cortex-A78AE | 128 GB LPDDR5X | 1200 (FP4) | 40–130 W | 70B+ FP4 |
Die Wahl des richtigen Modells hängt von drei Faktoren ab: der gewünschten Modellgröße, der erforderlichen Token-Rate und dem Energiebudget. Für batteriebetriebene Drohnen oder mobile Roboter führt kein Weg am Orin Nano 8GB vorbei. Stationäre industrielle Anwendungen mit Vision-Sprache-Modellen profitieren am stärksten vom AGX Orin 64GB.
Ein Jetson-Modul ist weit mehr als nur eine kleine GPU. Es handelt sich um ein vollständiges System-on-Module, das CPU, GPU, Speicher, I/O und Spannungsversorgung auf einer kompakten Platine vereint. Die Architektur folgt dem NVIDIA-SOI-Prinzip (System-on-Module mit integriertem Carrier-Board), wodurch sich kundenspezifische Trägerboards kostengünstig realisieren lassen.
Die CPU basiert auf ARM Cortex-A78AE Kernen im 12 nm bzw. 8 nm Fertigungsprozess. Diese Kerne übernehmen das Pre- und Postprocessing, das Token-Streaming sowie das Scheduling mehrerer Inferenz-Pipelines. Die GPU nutzt die gleiche Architektur wie NVIDIAs Data-Center-Beschleuniger, allerdings mit reduziertem Takt und reduziertem Speicherinterface. Beim AGX Orin kommen 1792 CUDA-Kerne und 56 Tensor-Cores der dritten Generation zum Einsatz.
Der Speicher ist LPDDR5 mit einer Bandbreite zwischen 68 GB/s (Orin Nano) und 204 GB/s (AGX Orin 64GB). Diese Bandbreite ist der entscheidende Flaschenhals für LLM-Inferenz, da jeder Token die kompletten Modellgewichte aus dem Speicher lesen muss. Aus diesem Grund profitieren LLMs überproportional von höherer Speicherbandbreite und aggressivem Caching des KV-Cache im selben Speicherbereich.
Tensor-Cores unterstützen neben FP16 und BF16 auch INT8, INT4 und seit dem AGX Orin auch FP8. Die neue Blackwell-basierte Thor-Plattform erweitert dies um FP4, was eine Verdopplung der effektiven TOPS pro Watt ermöglicht. Für LLM-Inferenz ist diese niedrige Präzision besonders relevant, da viele Modelle nach entsprechender Kalibrierung kaum Qualitätsverluste zeigen.
Die I/O-Ausstattung umfasst PCIe Gen4, USB 3.2, 2.5/10 GbE, MIPI-CSI für Kameras und CAN für industrielle Vernetzung. Damit lässt sich ein Jetson-Modul als komplettes Edge-Gateway betreiben, das Sensoren einliest, Modelle ausführt und Ergebnisse an eine übergeordnete Steuerung weiterleitet – ohne dass ein zusätzlicher Industrie-PC erforderlich ist.
Die zentrale Frage vieler Entwickler lautet: Welche Modellgröße lässt sich auf welcher Jetson-Variante sinnvoll betreiben? Die Antwort hängt von vier Parametern ab: Quantisierung, Kontextlänge, Batch-Größe und Token-Rate. Ein 7B-Modell in INT4 benötigt etwa 4 GB Speicher, ein 13B-Modell in INT4 etwa 7,5 GB und ein 70B-Modell in INT4 etwa 38 GB.
Für Echtzeit-Konversationen ist eine Token-Rate von mindestens 10 Tokens pro Sekunde erforderlich. Diese Rate erreichen moderne Jetson-Module mit Modellen bis 13B Parametern, sofern der Kontext kurz gehalten wird. Längere Kontexte erfordern mehr KV-Cache-Speicher und reduzieren die effektive Rate. Ein typisches 7B-Modell mit 4K Kontext belegt im KV-Cache zusätzlich 1–2 GB, was die Skalierungsmöglichkeiten weiter einschränkt.
In der Praxis haben sich 2026 folgende Kombinationen bewährt: Orin Nano 8GB mit Llama 3.2 3B in Q4_K_M, Orin NX 16GB mit Qwen2.5 7B in Q4_K_M oder Llama 3.1 8B in Q5_K_M, AGX Orin 64GB mit Mixtral 8x7B (MoE) in Q4 oder Qwen2.5 14B in Q8. Die Thor-Plattform ermöglicht erstmals 70B-Modelle in akzeptabler Geschwindigkeit, allerdings zu deutlich höheren Anschaffungskosten.
Ein oft unterschätzter Aspekt ist das Speichermanagement. Da der Arbeitsspeicher zwischen Modellgewichten, KV-Cache, Betriebssystem und Anwendungspipeline geteilt wird, ist eine sorgfältige Konfiguration von swappiness, zram und Hugepages erforderlich. Viele Performance-Probleme entstehen nicht durch zu langsame Berechnung, sondern durch Speicher-Paging und Kontextwechsel.
Quantisierung ist der Schlüssel, um LLMs auf embedded Hardware nutzbar zu machen. Sie reduziert die Bitbreite der Modellgewichte und damit den Speicherbedarf sowie die benötigte Speicherbandbreite. NVIDIA unterstützt nativ INT8, INT4 und FP8, während die Community mit FP4, INT2 und sogar binären Quantisierungen experimentiert.
Die gängigsten Formate für Jetson stammen aus dem GGUF-Ökosystem (GPT-Generated Unified Format) und werden über llama.cpp bzw. deren NVIDIA-Backend vLLM-TensorRT genutzt. GGUF unterscheidet zwischen verschiedenen Quantisierungsstufen: Q2_K (sehr klein, spürbare Qualitätsverluste), Q4_K_M (guter Kompromiss), Q5_K_M (hohe Qualität) und Q6_K sowie Q8_0 (nahezu verlustfrei). Für Edge-Szenarien ist Q4_K_M der Standard.
Post-Training Quantization (PTQ) mit Methoden wie GPTQ, AWQ oder SmoothQuant liefert bessere Ergebnisse als naives Runden. AWQ (Activation-aware Weight Quantization) ist besonders für LLMs geeignet, da es die wichtigen Gewichte anhand der Aktivierungsverteilung identifiziert und diese präziser quantisiert. NVIDIA bietet mit TensorRT-LLM eine eigene Quantisierungspipeline, die speziell auf die Hardware zugeschnitten ist.
Zusätzlich zur Gewichtequantisierung spielt die KV-Cache-Quantisierung eine wachsende Rolle. Dabei wird der Attention-Cache in INT8 oder INT4 gespeichert, was den Speicherbedarf bei langen Kontexten drastisch reduziert. In Kombination mit PagedAttention (vLLM) lassen sich so Kontextlängen erreichen, die auf der reinen Speichergröße nicht möglich wären.
| Format | Bits/Weight | Größe 7B (GB) | Qualität | Jetson-Empfehlung |
|---|---|---|---|---|
| FP16 | 16 | ~14 | Referenz | AGX Orin 64GB |
| Q8_0 | 8.5 | ~7.5 | sehr gut | AGX Orin 32GB |
| Q6_K | 6.6 | ~5.8 | gut | AGX Orin 32GB |
| Q5_K_M | 5.7 | ~5.0 | sehr gut | Orin NX 16GB |
| Q4_K_M | 4.9 |
