AI技术 | John's Blog

📄️ 通用大模型和推理大模型区别

深入解析通用大模型与推理大模型的核心区别、应用场景和选择策略。从GPT、Claude到DeepSeek，帮助开发者和用户选择最适合的AI工具，提升工作效率和问题解决能力。

对比分析常见的大模型训练和推理框架，包括TensorFlow、PyTorch、TensorRT-LLM、vLLM、ONNX Runtime、Triton等，详细介绍各框架的优缺点及其在训练和推理方面的支持情况

本文详细介绍Kubernetes中的Node Feature Discovery (NFD)和GPU Feature Discovery (GFD)技术，包括其基本概念、背景、作用、实现原理及支持的标签列表，帮助用户更好地理解和使用这些技术进行高效的资源调度。

本文详细介绍NVIDIA GPU Operator的主要作用、组件构成、与GPU DevicePlugin的区别、Kubernetes兼容性以及部署方法，帮助用户在Kubernetes环境中更轻松地管理GPU资源。

本文详细介绍GPU DCGM-Exporter监控方案，提供完整的监控指标列表和Prometheus配置示例，帮助用户构建高效的GPU监控系统。

详细介绍NVIDIA GPU共享技术MPS和MIG的原理、优缺点、适用场景以及在Kubernetes环境中的具体配置和操作步骤，帮助用户实现GPU资源的高效利用

深入探讨LLM推理中的PD(Prefill&Decode)分离技术，分析其原理、指标、优势及实现方案，提升大模型推理性能和用户体验

介绍NVIDIA Dynamo，一个分布式AI推理的高效引擎，分析其架构设计、组件功能及工作原理，了解如何通过PD分离、智能路由和分布式KV缓存管理等技术提升大模型推理性能

梳理AI模型训练推理中的常见业务场景，包括资源批量调度、碎片化处理、多租户隔离、弹性资源管理、优先级调度、异构资源调度、训推动态平衡、分布式通信优化、成本分析和容错恢复等核心问题及解决方案