全球最小AI超级计算机诞生！仅手掌大小，本地运行120B参数大模型，实现零Token费用

📝

全球最小AI超级计算机诞生！仅手掌大小，本地运行1200亿参数大模型产品介绍 Tiiny AI Pocke

原文链接：https://mp.weixin.qq.com/s/auafxFeDpi0tURZxk5c3YA

全球最小AI超级计算机诞生！仅手掌大小，本地运行1200亿参数大模型
产品介绍
Tiiny AI Pocke

产品介绍

Tiiny AI Pocket Lab 是一款获得健力士世界纪录认证的全球最小个人AI超级计算机。这款设备尺寸仅为 14.2×8×2.53 厘米，重量约 300 克，相当于一部小型平板电脑的大小，却拥有强大的AI运算能力。

硬件配置

处理器：ARMv9.2架构的12核ARM处理器
内存：80GB LPDDR5X RAM（48GB系统内存 + 32GB AI专用内存）
运算模块：定制的异构运算模块（SoC + 独立NPU）
性能：约190TOPS（每秒190万亿次操作）(CPU+DNPU)

核心功能与技术特点

本地运行120B参数大模型

Tiiny AI Pocket Lab 最大的亮点在于能够完全在本地离线状态下运行高达 1200 亿参数（120B）的大语言模型，无需依赖云端、服务器或高端GPU。

支持多种开源模型

该设备支持多种流行的开源大模型，包括：

Llama系列
Qwen（通义千问）
DeepSeek
GPT-OSS等

先进的AI加速技术

Tiiny AI Pocket Lab 采用了两项核心AI加速技术：

TurboSparse技术：

加速稀疏预训练模型
提供高效的LLM推理能力
实现高性能与低功耗的平衡

PowerInfer技术：

在消费级GPU上实现更快的推理速度
是第一个能够在175B参数模型上运行推理的方法
与传统RTX 4090方法相比，速度提高了8倍
能够在消费级GPU上以40-60 tokens/秒的速度生成文本

支持多种输入类型

该设备支持多种输入格式：

文本（Text）
图像（Image）
音频（Audio）
视频（Video）

低功耗设计

整机功耗仅需 65W，远低于传统GPU系统，在能源使用及碳排放表现上更具可持续性，为大型模型运算带来了绿色解决方案。

价格与可用性

Tiiny AI Pocket Lab 在Kickstarter上进行众筹，价格范围大约在 $1,399–1,799 之间，目前已成功突破200万美元的筹款目标。

性能表现

输出性能

Tiiny AI Pocket Lab 在保持模型原始智能的同时，实现了出色的输出性能：

对于12B参数的模型，保持原始智能（OSS-First Policy）
对于120B参数的模型，保持92-95%的原始智能
输出速度为0.5-50 tokens/秒
功耗仅为30W

真实世界性能测试

在消费级GPU上的测试结果（使用PowerInfer技术）：

GPU型号

加载时间

生成512个token所需时间

输出速度

功耗

RTX 4090

87.7秒

61.3秒

214.5 tokens/秒

4.45%

RTX 4080

105.0秒

57.1秒

170.9 tokens/秒

0.62%

RTX 2080

77.8秒

97.0秒

29.5 tokens/秒

0.76%

这些测试结果展示了PowerInfer技术在不同消费级GPU上的出色性能表现。

应用场景

这款口袋大小的AI超级计算机适用于多种场景：

开发者进行本地模型测试
科研人员进行AI研究
企业进行边缘AI部署
个人用户进行隐私保护的AI应用

总结

Tiiny AI Pocket Lab 以其超小体积和强大的本地AI运算能力，为AI硬件领域带来了革命性的突破。它不仅打破了传统AI计算对云端和高端GPU的依赖，还提供了隐私保护和绿色计算的新解决方案。对于需要随时随地进行AI计算的用户来说，这款设备无疑是一个极具吸引力的选择。

注：本文内容基于公开资料整理，具体产品信息以官方发布为准。

💬 本文评论区已开启，但暂无读者留言。

本文转载自微信公众号，如有侵权请联系删除。