什么是 AI 智能体？
定义
AI 智能体是使用大语言模型代表用户规划并执行操作的软件 —— 搜索、调用 API、比较价格、完成订单、进行支付。其定义性特征不是智能,而是委托: 人类陈述一个目标,智能体决定访问哪些网站、调用哪些工具、以及工作何时完成。
这使得智能体成为一种与网络所设想的一切访问者都根本不同的存在。它不浏览 —— 它使用。它看不见你的设计,没有耐心走完你的点击流程,并且在人类会等待的地方有严格的超时。
智能体 vs 机器人 vs 爬虫
这三个词经常被混用,但它们描述的是不同的机器:
| 爬虫 | 机器人 | 智能体 | |
|---|---|---|---|
| 驱动方式 | 调度计划和 URL 队列 | 固定脚本 | 目标和计划 |
| 为谁工作 | 索引或数据集 | 写脚本的人 | 此刻的一位用户 |
| 访问你的网站 | 广泛且反复 | 脚本指定的地方 | 仅当你对任务有用时 |
| 例子 | GPTBot、ClaudeBot | 价格监控脚本 | 帮用户订餐位的 ChatGPT |
混淆是可以理解的,因为同一批厂商运营着全部三种。OpenAI 运营训练爬虫(GPTBot)、搜索索引爬虫(OAI-SearchBot),以及其智能体使用的实时抓取器(ChatGPT-User)—— 三个层级,各有独立的 robots.txt 令牌和独立的行为。robots.txt 指南解释了层级模型;User-Agent 参考记录了其中每一个机器人。
智能体的解剖结构
四个部件,每个部件以不同的方式接触你的网站:
- 规划器 —— LLM 本身。它从不接触你的服务器,只看到其他部件带回的内容。
- 工具 —— 智能体行动的方式。如果你的网站暴露了 MCP 服务器或 OpenAPI 规范,智能体可以直接调用你的能力,而不是抓取页面。
- 抓取器 —— 真正访问你服务器的 HTTP 客户端。内容协商就发生在这里: 请求
text/markdown并获得干净 markdown 的抓取器,可以一次性摄取你的内容。 - 钱包 —— 智能体的支付方式。机器可读的 402 支付质询决定了智能体是从你这里购买,还是推荐你的竞争对手。
智能体需要你的网站提供什么
智能体在你网站上完成任务的程度,恰好等于你的机器可读表面允许的程度。按智能体遇到的顺序排列这些层: 用于定位的发现文件(llms.txt、支持智能体的 robots.txt);用于行动的可调用能力(MCP、OpenAPI);用于阅读的内容协商;用于交易的支付通道。这套堆栈正是智能体就绪度所衡量的。
智能体流量在日志中的样子
比你预期的更隐蔽。一部分会自报身份 —— 参考列表中记录的具名 User-Agent,可与公布的 IP 段核验。但很大一部分匿名到达: 编码智能体和桌面助手从用户自己的机器上抓取,因此请求来自住宅 IP,带着 curl 之类的通用客户端字符串或普通浏览器 UA。如果你的日志显示越来越多的通用客户端只抓取一个页面、从不加载资源,那通常是无法归因的智能体流量。屏蔽它,就是屏蔽了派它来的人。
常见问题
ChatGPT 是 AI 智能体吗？
ChatGPT 是一个包含智能体的助手。当它只是对话时,它不是智能体;当它搜索网页、抓取你的页面、或代表用户完成结账时,那就是智能体行为 —— 并且以 ChatGPT-User 或智能体模式抓取器的身份到达你的服务器。
AI 智能体和聊天机器人一样吗？
不一样。聊天机器人对话;智能体行动。判断标准是软件是否为达成目标而采取真实行动(抓取、调用 API、交易),而不是它是否会说话。
AI 智能体渲染 JavaScript 吗？
大多不渲染。大多数抓取器读取原始 HTTP 响应,从不执行脚本,因此只在 JavaScript 运行后才存在的内容对它们不可见。参见 JavaScript 渲染。
我怎么知道智能体是否访问我的网站？
将访问日志与 User-Agent 参考中的具名令牌比对,并留意匿名模式: 通用客户端字符串、住宅 IP、不加载资源的单页抓取。然后扫描你的网站,看看这些访问者到达后究竟能做什么。