手机上部署大语言模型

操作步骤

1、下载并部署ollama服务+大语言模型

ollama： 一键运行/部署大语言模型服务

2、下载并配置ngrock

ngrok: 内网穿透(NAT穿透)允许局域网内的电脑被外部访问。通过获取鉴权TOKEN并执行相关命令，可以将内网服务保暴露到外网

配置

choco install ngrok
ngrok config add-authtoken xxxx

xxx.ngrok.yml

服务映射

ngrok http 9999 --host-header="localhost:9999"

3、iOS 下载并配置Enchanted