|
阅读：331回复：1
主题课:llama.cpp部署本地ai模型实战
主题课，大约5课时左右，为了后面AI开发打下基础。
大模型有训练和推理两个角度。传统模式下的推理我们需要python等依赖且需要较大的资源消耗。有了llamacpp后我们就可以在普通服务器上进行大模型部署。后面要用到此知识所以开个主题课 第1讲:课程内容、部署千问模型、普通服务器运行 直接开干，就是基操。没啥好啰嗦的 第2讲:把自己部署的模型发布成http 服务 我们使用两种方式把自己部署的模型用http发布，方便外部访问 每周更新一课时 |
|
|
