谷歌发布了LiteRT-LM早期版本,这是一个C++库,用于在边缘平台上高效运行语言模型。
LiteRT-LM支持跨平台高效运行Gemma-3N系列模型,支持2B和4B参数模型,适用于桌面环境(Mac/Windows/Linux)及物联网设备。
LiteRT-LM的README写道:
语言模型不再是一个单一模型,而是一个由多个模型和组件协同工作的流水线。LiteRT-LM 基于 LiteRT 构建,以支持这些流水线,包括:
- C++ API 高效运行语言模型
- 跨平台支持,通过便携式 C++实现广泛部署场景
- 灵活可定制,满足您的特定功能需求
- 硬件加速,释放设备硬件的全部潜能
开源地址
https://github.com/google-ai-edge/LiteRT-LM
https://huggingface.co/google/gemma-3n-E2B-it-litert-lm-preview