ShellAgent 快速开始
一个支持创建Workflow以及App的无代码编辑器:
当前主要支持图像流的Workflow和Chatbot的App,并且可以相互结合形成多维智能化应用,我们还支持将创建好的App发布到MyShell获取利润。
从最简单的来说,就是可以将comfyui的端口,完整包装成一个myshell应用市场中的应用,其可以通过简单的对话交互即可实现使用智能化应用
这里一个简单的例子为你阐述整个状态机的概念
视频教程主要面向ComfyUI创作者
Nenly同学如何将ComfyUI工作流变成月入$1000的AI图像“App”(零代码)| ShellAgent入门教程
第一步:下载与安装
首先到My Shell.ai进行账号注册,推荐使用Google账号
1. 下载并安装ShellAgent
将更新后的ShellAgent下载好在本地:https://huggingface.co/myshell-ai/ShellAgent/tree/main
请下载最新版本 ,项目下载好后,直接点击运行即可,完全一键式运行!
如果你不想使用本地Shellagent你可以同样使用我们的云端版ShellAgent利用Workflow板块在线搭建工作流。https://shellagent.myshell.ai/app
ps:你需要在主站登录过之后,才能使用云端Shellagent
2. 本地准备:下载安装好ComfyUI
找到ComfyUI主页,下载安装好ComfyUI。
3. 启动ComfyUI,安装ShellAgent-Plugin
下载或者
git clone
https://github.com/myshell-ai/ComfyUI-ShellAgent-Plugin 仓库的内容到ComfyUI/custom_nodes/
目录下。
custom_nodes目录下使用
git clone <https://github.com/myshell-ai/ComfyUI-ShellAgent-Plugin.git
> 命令安装在 ShellAgent-Plugin目录下使用
pip install -r requirements.txt
安装依赖用ComfyUI-Manager 搜索 ShellAgent,点击安装
重启ComfyUI,开始搭建工作流
4. 启动ComfyUI
使用 ComfyUI Widget需要在 ShellAgent 外启动ComfyUI。
并将ComfyUI的服务地址复制到 ShellAgent 的 settings 中。
我们当前支持远程的ComfyUI服务地址。只要 ShellAgent 的运行环境能访问到该地址,你可以使用任意URL。
首先打开shellagent之后设置好这里。请注意,这里在环境中进行复制
请在主站这里找到你的MyShell_api key并填入:
MyShell AI | Build, Share, and Own AI APP
一定要注意去填你的Proxy变量,有的人填了网络才正常,有的人不填才是正常。
根据大家自己使用的梯子,去填你的代理地址,如下
打开代理后,点到windows里网络代理,查看:则你在setting里填写代理地址
第二步:Workflow的创建与导入
举个简单的例子——Clay you 工作流
在ComfyUI中,将整个workflow指定明确的输入输出,利用ShellAgengt节点确定好一开始的输入端口,只要workflow的使用者愿意,任何节点的任何选项都可以输入,任何有运行结果展示的节点也都可以被当成输出。就需要指定它的输入输出。
将左侧的输入端,改为ShellAgent Input Image;右侧的输出端改为ShellAgent Save Images
更改后,如下:
两者有明显区别,对比如下
搭建工作流,指定输入输出端
为workflow指定输入输出: 目前ShellAgent共有四种输入输出
点击 Create 按钮,你将会看到下面的这个界面
从右侧拖拽一个State文件进来,就会创建一个新的State
将右侧的ComfyUI的选项拖拽到这个新State上面。
点开这个ComfyUI的选项,点击这个编辑按钮
此时在后台ComfyUI正常运转的情况下,你就会看到这样的画面
点击右上方的import,将刚刚从ComfyUI导出的JSON文件导入进来,可以在这个窗口下执行队列进行跑图测试,测试无误后点击右下角的保存Save按钮
如果你的有需要私有的模型或者lora需要上传,点击左侧展开
1.1 ComfyUI云平台的选择(RunningHub合作伙伴)
请一定要使用Runninghub.ai 登录拿到的workflow id
请一定要使用Runninghub.ai 登录拿到的workflow id
当然为了考虑广大Comfy创作者的环境复杂性,我们也扩大了合作伙伴,
现在你可以将整个
ComfyUI widget
替换为Runinghub Widget
了
去runnninghub.ai 中调整工作流,将输入输出节点进行替换
到shellagent中点开runningHub Widget,你调试好的workflow id 进行填入
同时注意你的input变量引入
此时可能会由于网络原因会有几秒延迟,input没有及时出现,请耐心等待
第三步:构建App Builder
在一切开始之前 你可以稍微拆解一下这个对话机器人的交互逻辑
当然如果不拆解直接往下走也是可以的
以Clay you这个APP为例,这是整个机器人交互的对话逻辑
在理解这个模式的基础上,我们开始对话机器人的搭建
1. 引导页制作
找到你的intro,点击之后将选项中的text部分,打开书写自己的整体应用的介绍,再点开下方的Image模块上传自己制作的引导页,这个会作为打招呼语,出现在所有人点进来的第一时间。
所以它承担的角色就是让别人一眼就知道你这个 Agent 应该怎么使用
这个部分最后就会在应用被打开的第一时间发送给使用者,介绍该应用的使用方法。所以他应该具有一定吸引力。他的效果如下
效果展示:
请坚持看完,理解这个State的概念
然后在下方添加一个Button,点击add,把他重新命名,尽量明确,避免用户混淆作用
2. 模块一:GPT搭建 (这里我们利用GPT进行图像反推)
将刚刚放好的State放在一边,开始一个新的交互对话模式,拉出一个新的State出来,然后我们在这个State里我们去做gpt的设计内容
那我们就把Gpt拉进来给这个State
这个时候我们拉出一个Form表单,用来填充内容,输入内容
点击这个Form,把你需要输入的内容增加到这个Form中。注意你需要选择你的数据类型
在这个例子中我们需要输入图片让gpt反推,所以我们选择image
从这个Intro里的Button点拉到Form中
再将Form连接到刚刚有GPT的State当中
点开gpt的State,在input这里新建input内容
注意保持跟前面form表达数据类型一致
这里点开Form中间连接的这跟线
点击这里的Target input旁边的小窗格,改成refmode
把这个确保这个变量引用上去
我们点击GPT这个窗格你会看到关于GPT非常详细的设置
这里只需要注意上方的四个变量
这里的变量分别解释为
System_prompt:代表你需要设定的这个gpt的预设人格。此刻这个gpt应该发挥什么作用-
User_prompt:是代表的是每次对话都需要输入给gpt的内容,你如果需要建立一个输入端,并选择Ref mode 里的input
在这个例子里我们需要上传图片,把这个类型选成ref mode
变量选择成我们前面的input image选择上去
然后在
System_prompt
这里写上:“你是一个专业的Prompt工程师,我需要你详细描述图片里的内容并把他转换成粘土风格的提示词,优化语法,并且翻译成英文给我。”
你在这里output这里add一个变量,将gpt的内容输出出来
将这里的变量选出来
在拉出来一个Form节点,在form中新建一个output,将gpt的那个state的输出变量选中
3.模块二:ComfyUI State搭建
将第二个Form链接上ComfyUI的State,并在Comfyui的State里面新建Input
input变量这里同样add内容,选择好你的变量类型
我这里因为是要接受gpt反推的结果文生图,所以我选择text模式
点开齿轮,在value处将变量选择为form中的gpt内容
最后点击你的ComfyUI Widget部分,确保你的变量有引用到
我这里是文生图所以是引用text
最后输出,注意在下方的Message中,最后你需要输出结果。将结果渲染出来。保留出最后workflow会输出的内容。这里我们以image类型为例,需要在这里选择Ref mode将workflow中的输出结果反馈出来
将你的Task中的ComfyUI输出结果选上,
如果你这里用的是
Runninghub Widget
,你会看到的是对应的Runninghub中的out_image
此外如果你想要在这个图返回给你时,同时加上一些话,你可以在Text栏位写上,如图
其中
<h2>xxxxxx</h2>
的写法为HTML语言,即为加粗放大字体
输出结果即显示为如下
注意如果此处你需要多图输出,你可以将这里image的Ref mode切换成codemode,然后利用这种方式进行输出,再敲入” / “将你的图片链接嵌入进来。
如果你需要的是视频输出,请在下方的Video标签下选择Ref mode并将变量选择
最后我添加了一个button,
并在这个button连线,末端连线到一开始输入的地方
这样就可以做到在交互上不断进行反复交互,如下图
这里全部搭接完成后,这个App Builder基本就做完了,我们需要先让他Run一下测试是否还有问题,如果没有报错,并运行完整,可以点击save后点击Export,注意文件名不能可以带+号。
最后完美运行,那么恭喜你,我们可以进入到发布阶段!
当然你每次制作也可以不用从头开始,我们提供了大量可以复用的模板
它们就放在Create按钮旁边,每次你就可以从这些模板上进行调整,更加迅速!
我们非常鼓励你使用!
第四步:发布到Myshell
1.创作工坊
点开myshell的应用市场首页,选择创作工坊,点击创建机器人,到设置界面,跳转到shellagent
2.上传json
将我们刚刚做好的Shellagent的json文件上传上去,并进行保存,返回对话界面进行测试。记得上传后记得点击下方的Deloy ,在线部署环境
请注意,如果你使用
Runninghub_widget
,整体没有使用ComfyUI_Widget将不需要进行Deploy操作,上传之后,直接保存即可运行 即可
如果开局并没有出现任何主动对话,你可以通过下方的,清楚记忆等方式将机器人激活
3.上架市场
如果测试完成可以完整运行,此时我们的产品基本已经完成了。点击下方的share按钮,复制链接,发给MyShell的管理员进行产品测试以及发布了.
如果你是新开发者,请联系管理员的时候复制上你的钱包地址,在此处找到:Launchpad|My Shell
4.发布bot并丰富画廊
当收到了pass通过之后,请到你的bot的设置页面,把公布机器人按钮按开
当bot已经通过审核并且发之后请到Chat界面找到自己的bot,多交互几次,将交互得到的图片右键点击Pubblish to gallery,将所有的bot交互得到的图片作为范例放到 Gallery 当中
在发布的第一时间也许你还没有具备画廊功能,请隔3个小时后再来查看
第五步:收取Bot收益
(请重点观看)
非常感谢您的开发与支持~
以下是我们的更新日志以及相关应用交互奖励机制
⚪ 更新日志
⚪ FAQ