在数字化时代，人工智能（AI）技术的迅猛发展不断改变着我们的生活方式，让生活变得更加便利。今天，我们将深入探讨如何通过AI Agent（智能体）来实现外卖点餐操作，以“AutoGLM”这款智能体App为例，详细分享其操作过程及背后的技术原理。
一、使用Agent点外卖的流程
在“AutoGLM”这款智能体App上，我输入了指令：“在京东点一份湘菜外卖，要求店铺评价高，明天中午12点送到。”令人惊讶的是，整个下单过程只需我进行两步操作。首先，在“结算”环节，我点击了“继续任务”进行确认；其次，在“支付”环节，我接管了手机，完成了支付。支付完成后，我的京东App中便显示出了一个外卖订单。
接下来，我们将逐步拆解这款AI Agent点外卖的操作步骤，深入分析其背后的技术原理和实现逻辑。
二、Agent的操作步骤
首先，在使用Agent智能体时，我在其界面上输入了指令，要求在京东点一份湘菜，并指定送达时间为明天中午12点。此时，Agent智能体开始对这一任务进行拆解，生成一个任务规划清单，包括多个可执行的子任务。具体步骤如下：
打开京东App：Agent首先找到并打开京东App，进入“秒送外卖”页面。 搜索湘菜：在搜索框中输入“湘菜”并进行搜索。 筛选商家：在搜索结果中，Agent会点击“综合排序”，选择“销量优先”，并筛选出星级“四星以上”的商家。 选择商家：从搜索结果中选择排名第一的店铺，点击进入后，将店铺的第一个商品加入购物车。 结算操作：此时，Agent暂停任务，等待我的确认，确认后进入支付页面。 支付环节：在支付环节，Agent再次暂停，等待我接管手机，完成支付。完成支付后，我在京东App中能看到一个已完成支付的外卖订单，商家已接单。整个过程下来，我只需操作两步，便顺利完成了点外卖。
三、AI Agent的技术原理与实现逻辑
很多人可能会好奇，AutoGLM这款AI Agent是如何操作京东App并完成下单的？它是否在我的手机上操作，是否会存在隐私和安全问题？其实，背后的技术原理相当复杂。
1. 云手机的概念
AutoGLM并不是直接在我的手机上操作京东App，而是操作一个运行在远程服务器上的虚拟“云手机”。每位用户在使用AutoGLM时，都会被配备一台已安装了京东、美团、饿了么等40多款常用App的“云手机”。在首次打开京东App时，我需要在这台云手机上登录自己的京东账号。AI Agent根据我的指令，操作这台“云手机”完成点外卖任务。
简单来说，这就像我的朋友在外地登录我的京东账号帮我点外卖，我依然能在自己的手机上看到这个订单。即便我本地手机没有安装京东App，AutoGLM依然能完成下单，因为它只是在云端操作。
2. 多模态大语言模型
AI Agent的工作原理依赖于多模态大语言模型，它能够理解任务、规划步骤并做出决策。通过计算机视觉技术，Agent能识别手机屏幕的内容，知道哪些是按钮、输入框等。最后，借助Android和iOS系统的辅助功能，AI Agent能模拟人类用户进行点击、输入等操作。
四、面临的挑战与局限
尽管AI Agent在点外卖方面表现出色，但仍然存在一些挑战。例如，反应速度较慢、稳定性不足、偶尔会出现中断或失败等问题。此外，Agent对指令的理解也可能存在偏差，比如配送时间设置不准确，或者选择的配送地址是旧地址。在某些情况下，即使点击“终止任务”，它可能仍然继续进行后续操作，这让用户对其执行能力产生疑虑。
在安全性方面，用户也会担心登录在“云手机”上的京东账号是否会在下单后自动退出，未退出的情况下是否会存在账号风险。此外，频繁使用Agent进行自动操作，可能会触发平台的风控机制，导致账号被限制或要求验证。
五、总结
总的来说，AIAgent能够像人一样思考、理解任务、规划操作步骤，并通过计算机视觉技术“看懂”手机App的界面。虽然目前的技术尚不完美，用户体验还有待提升，但这无疑是AI Agent迈出的重要一步。随着技术的不断进步，未来我们可以期待更快速、更智能的AI应用，或许不久的将来，AIAgent将能够为我们处理更多的日常事务，如购票、订酒店等。
在这个数字化迅速发展的时代，AI Agent的出现不仅是科技的创新，更是我们生活方式的重大转变。返回搜狐，查看更多