阅读:1377回复:1
新课: 云原生(k8s)下AI运维实战
前面我们单独开了好多个AI卡覅课程,然,一直没有和之前的云原生、k8s相结合。本课程重点就来演示一下k8s下如何玩转ai应用和模型控制。本课程要求已经有k8s基操基础
本课程主要包含 1、LLM应用 在k8s中部署、调用 、agent、mcp 2、ai网关基操、鉴权、限流 3、看情况加入边缘AI节点 本课程不包含ai训练(没钱,穷~~~) 第1讲:在k8s中部署ollama并运行模型访问 试听 直接开干,没啥好啰嗦的 第2讲:MCP python镜像打包(docker)、k8s最简单部署 今天先来个裸部署,后面还要加上代理和网关 第3讲:MCPO的k8s部署、代理所有MCP服务 本课时我们把MCPO部署到k8s中 第4讲:引入higress作为网关、代理MCP服务 higress课时大约要讲10课时左右 第5讲:结合nacos实现任何rest api转MCP 服务 网关的一个特色功能,需要结合nacos来完成,今天我们演示一把 本课程每周不定期更新 |
|
|