GGML是一个轻量级、高效的张量库，使用C语言编写，旨在帮助您在日常硬件上（如笔记本电脑、手机甚至树莓派）运行大型机器学习模型。它支持整数量化（减小模型体积并加速处理）、自动微分，并能跨多个平台运行，无需额外的软件支持。GGML在运行时不进行内存分配，这提升了性能，非常适合资源有限的边缘设备。您可以轻松构建和运行模型，包括GPT-2，并且它支持CUDA、Android等多种硬件。这意味着您可以利用现有设备更快、更经济地使用先进的人工智能模型。
#cplusplus #automatic_differentiation #large_language_models #machine_learning #tensor_algebra #Git202511061330
https://github.com/ggml-org/ggml