主题
已发布内容
端侧AI,快抓住这个机会!:产业链核心环节、技术原理、三大主流端侧AI框架、Google AI Edge Gallery、可部署到手机端的模型
今年是谁的元年呢?:行业资讯、产业链条三大环节、人形机器人使用案例、OpenLoong开源了公版人形机器人
"听说"一体化小模型:实时TTS模型(Fun-CosyVoice3 0.5B)、实时ASR模型(Fun-ASR-Nano-2512 0.8B)
硅谷的疯狂抢人大战正在上演!人才+技术授权,掐尖式并购:英伟达"收购"了Groq、Meta收购了Manus
端侧AI
产业链核心环节
- AI芯片:提供端侧算力支持,涵盖IPC、物联网、智能硬件等领域。
- 通信模组:为设备提供无线连接,推动AI模型在端侧落地
- 智能终端:涉及智能穿戴、AI眼镜/耳机、智能音箱等硬件制造与解决方案。
- AI玩具:结合AI交互功能,可开发智能玩具与童伴机器人。
- 其他关键部件:提供传感器、存储等配套技术支持。
Open-AutoGLM: 搭建及测试、项目地址、获取模型、技术博客
三大主流端侧AI框架
1、TensorFlow Lite
TensorFlow Lite 是 Google 官方推出的、用于移动设备和嵌入式设备的轻量级解决方案。
官方项目链接:https://www.tensorflow.org/lite
案例与教程文档:https://www.tensorflow.org/lite/examples
2、PyTorch Mobile
PyTorch Mobile 是 PyTorch 官方支持的、在移动端进行推理的部署框架。
官方项目链接:https://pytorch.org/mobile/home/
安卓和苹果手机使用方法:https://pytorch.org/mobile/android/ 和 https://pytorch.org/mobile/ios/
Android 官方 Demo 应用:https://github.com/pytorch/android-demo-app
iOS 官方 Demo 应用:https://github.com/pytorch/ios-demo-app
3、ONNX Runtime
ONNX Runtime 是由 Microsoft 维护的高性能跨平台推理引擎,支持包括 CPU, GPU, NPU 在内的多种硬件。
官方项目链接:https://onnxruntime.ai
GitHub 主仓库:https://github.com/microsoft/onnxruntime
官方示例代码:https://github.com/microsoft/onnxruntime-inference-examples
这个仓库包含了在Python, C++, C#, Java, JavaScript等多种语言/平台上运行 ONNX 模型的详细示例,是学习和集成的主要参考。