谷歌发布高效运行语言模型的 C++ 库:LiteRT-LM


谷歌发布了LiteRT-LM早期版本,这是一个C++库,用于在边缘平台上高效运行语言模型。

LiteRT-LM支持跨平台高效运行Gemma-3N系列模型,支持2B和4B参数模型,适用于桌面环境(Mac/Windows/Linux)及物联网设备。

LiteRT-LM的README写道:

语言模型不再是一个单一模型,而是一个由多个模型和组件协同工作的流水线。LiteRT-LM 基于 LiteRT 构建,以支持这些流水线,包括:

  • C++ API 高效运行语言模型
  • 跨平台支持,通过便携式 C++实现广泛部署场景
  • 灵活可定制,满足您的特定功能需求
  • 硬件加速,释放设备硬件的全部潜能

开源地址

https://github.com/google-ai-edge/LiteRT-LM

https://huggingface.co/google/gemma-3n-E2B-it-litert-lm-preview


相關推薦

2025-04-09

,开发者可直接用 Python 编写算法,并在英伟达 GPU 上高效执行,无需手动调用底层内核或依赖 C++ 接口封装。 Stephen Jones 补充道:“这不仅仅是把原来的 C 语言翻译成 Python,而是要让 Python 保持本色,让 Python 开发者也感到

2023-04-02

NGPTL++ 的发布似乎已经引起了科技巨头们的关注。据悉,谷歌、微软和苹果等公司已经开始研 NGPTL++ 的潜力,并考虑将其应用到未来的项目中。开源PHP(OSCHINA)将持续关注 NGPTL++ 的动态。 项目地址:https://github.com/NGPTLlang-projec/

2023-10-26

,Istio 从 CNCF 孵化项目中毕业,在云原生社区中获得包括谷歌、IBM、红帽、Solo.io 等公司在内的支持和贡献。 Kata Containers Kata Containers 结合了容器的速度和虚拟机的隔离性,是一种安全的容器运行时,使用了英特尔 Clear Containers

2022-06-01

谷歌 Chrome 安全团队称其一直在致力于改善 Chrome 浏览器的内存安全;近期,该团队正在研究使用 heap scanning 技术来提高 C++ 的内存安全。 虽然从内存安全方面出发,Rust 当下可能更受大众喜爱。但 Chrome 安全团队认为,尽管人们

2022-07-26

谷歌工程师 Chandler Carruth 近日在多伦多举办的 CppNorth 大会上宣布,正式开源谷歌内部打造的编程语言:Carbon,并称 Carbon 是 C++ 的继任者(目前处于实验性阶段)。 Chandler 列举了当今流行编程语言演进的一些例子,比如:Java

2022-10-24

然重要。除了蓬勃发展的创业生态系统,微软、亚马逊、谷歌、Fastly、Cloudflare、Mozilla等科技巨头也开始认识到Wasm是支持下一代云工作负载的有效底层,他们正在积极为标准机构和非营利组织(如W3C和字节码联盟)做出贡献,以

2023-06-20

WasmEdge 0.12.1 发布:新的 plugin 系统、用于 AI 的 Wasm API、高级 socket networking WasmEdge 0.12.0 和 0.12.1 已经发布。这两个版本带来了大量新的特性、优化和错误修复,进一步提高了 WasmEdge 的性能、安全性和通用性。 主要特性: 新

2024-06-04

中,底层软件如PyTorch和TensorFlow都是用C或C++实现,编译成高效率的Python包供调用。如果底层硬件是英伟达的GPU,那么需要调用CUDA库实现各种算法;如果底层是华为的昇腾GPU,那么需要用华为的Ascend C接口和相关编译器。 使用最

2023-07-20

,如 Twitter、Crunchbase 或 Github 都有应用。 8、GO Go 是谷歌在 12 年前创建的一种年轻语言。谷歌设计 Go 是为了在多核、联网机器和大型代码库时代提高编程效率。如下图所示,Go 的受欢迎程度正在缓慢增长,DevJobsScanner 预

2022-07-27

谷歌工程师 Chandler Carruth 此前在多伦多举办的 CppNorth 大会上宣布,正式开源谷歌内部打造的编程语言 Carbon,并号称 Carbon 是 C++ 的继任者(目前处于实验性阶段)。此举不可避免的在 C++ 社区中引发了很多讨论,同时也引来了 C++

2022-12-14

d: 125K (~5%) Keywords: ruby, ruby on rails 8、GO Go 是谷歌在 12 年前创建的一种年轻语言。谷歌设计 Go 是为了在多核、联网机器和大型代码库时代提高编程效率。如下图所示,Go 的受欢迎程度正在缓慢增长,DevJobsScanner 

2022-09-19

引用:引用值 求值算法 变量解析 函数调用 运行时支持 动态类型检查 动态加载和执行 不依赖 GC 不安全操作 PTC(proper tail call) 互操作 对 C++ 友好的对象模型 在 C++ 中调用 Unilang 代码 FFI :调用 C 和

2024-10-28

但它在就业市场上的存在仍然值得信赖。 8 - GO Go 是谷歌在 12 年前创建的一种年轻语言。谷歌设计 Go 是为了在多核、联网机器和大型代码库时代提高编程效率,Uber、Twitch 等公司都在使用 Go。 如下图所示,Go 的受欢迎程度

2024-08-06

特别是对于最相关的程序构造。” 过去几年来,包括谷歌和微软在内的科技巨头一直在宣传内存安全漏洞带来的问题,并推广使用 C 和 C++ 以外不需要手动内存管理的语言。这些消息也引起了拥有大量遗留代码的美国政府公