谷歌发布MediaPipe LLM Inference API，28亿参数模型本地跑-阿里云开发者社区

谷歌发布MediaPipe LLM Inference API，28亿参数模型本地跑

2024-03-15 100

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 【2月更文挑战第24天】谷歌发布MediaPipe LLM Inference API，28亿参数模型本地跑

在人工智能领域，模型的规模和性能一直是推动技术进步的关键因素。随着计算能力的提升和算法的优化，AI模型变得越来越庞大，它们能够处理更复杂的任务，提供更精准的服务。然而，这些大模型往往需要强大的硬件支持，限制了它们在移动设备和个人电脑上的应用。谷歌最新发布的MediaPipe LLM Inference API，正是为了打破这一限制，让28亿参数的大模型也能在本地设备上流畅运行。

这一API的推出，是谷歌在跨设备AI技术领域的又一重要里程碑。它不仅简化了开发者在不同设备上部署AI模型的过程，还通过一系列技术创新，实现了模型在不同平台上的高效运行。这些技术包括新的操作、量化、缓存和权重共享等，它们共同作用，使得AI大模型能够在网页、安卓、iOS等设备上无缝运行。谷歌的这一举措，无疑为AI技术的普及和应用开辟了新的道路。

MediaPipe LLM Inference API目前支持的模型包括Gemma、Phi 2、Falcon和Stable LM，这些模型的参数规模从1B到3B不等。这些模型不仅能够在网页上运行，还能在安卓和iOS设备上提供服务。开发者可以根据需要选择使用基本模型权重，或者利用社区微调版，甚至使用自己的数据进行微调，以适应特定的应用场景。这种灵活性，使得AI模型能够更好地服务于用户，满足多样化的需求。

在iOS设备上，尽管目前只有Gemma 2B（int4）模型能够运行，但谷歌正在积极努力，以期让更多模型能够在iOS平台上启用。这一努力，体现了谷歌对于跨平台兼容性的重视，也预示着未来AI技术将更加普及和便捷。

为了确保模型能够在设备上高效运行，谷歌对MediaPipe LLM Inference API进行了细致的优化。这些优化措施包括权重共享、优化的全连接操作、平衡计算和内存使用、自定义操作符、伪动态性和优化的KV缓存布局等。这些技术的应用，不仅提高了模型的运行效率，还保证了在不同设备上的兼容性和稳定性。

谷歌的这一创新，不仅仅是技术上的突破，更是对AI大模型跨设备运行的一次大胆尝试。它将推动AI技术在更多领域的应用，为用户带来更加智能化的体验。随着谷歌计划将MediaPipe LLM Inference API扩展到更多平台和模型，未来的AI技术将更加强大，更加贴近人们的生活。