本文作者：莫潇羽@无忆研习社（www.wuyi.wiki）
转载请注明出处，未经授权禁止转载。
2026年1月，谷歌DeepMind团队为Gemini 3 Flash带来了一项令整个AI圈为之震动的重磅更新：Agentic Vision（智能体视觉）。这项技术的发布时间恰好与DeepSeek-OCR2的开源时间高度重合，让人不禁猜测这是否是一场"隔空对决"。无论背后的真相如何，作为长期关注AI技术发展的技术人员，我（无忆研习社站长莫潇羽）认为这项技术的出现标志着视觉AI领域正在经历一场深刻的范式转变——从被动的"看"到主动的"探究"。
在这篇文章中，我将带领大家深入理解Agentic Vision的技术原理、实际应用场景以及具体的操作方法。无论你是刚入门的AI爱好者，还是希望在项目中应用这项技术的开发者，相信都能从本文中获得有价值的信息。
传统视觉模型的困境：为什么AI总是在"猜"
在正式介绍Agentic Vision之前，我们需要先理解传统视觉语言模型面临的核心挑战。这部分内容对于理解后续的技术创新至关重要，所以我会尽量用通俗易懂的方式来解释。作为无忆研习社的技术分享者，我认为只有深入理解问题的本质，才能真正领会技术创新的价值所在。
视觉语言模型的基础架构回顾
在深入讨论问题之前，让我们先简单回顾一下视觉语言模型（Vision-Language Model, VLM）的基本工作原理。一个典型的VLM通常由三个核心组件构成：
首先是视觉编码器（Vision Encoder）。这个组件负责将输入的图像转换为一系列的特征向量。目前主流的视觉编码器通常基于CLIP（Contrastive Language-Image Pre-training）架构，它通过在大规模图文配对数据上进行对比学习，学会了将图像和文本映射到同一个语义空间中。这种设计使得模型能够理解图像的语义内容，并与文本描述建立关联。
其次是视觉-语言连接器（Vision-Language Connector）。这个组件的作用是将视觉编码器输出的特征向量"翻译"成大语言模型能够理解的格式。具体来说，它会将图像特征投影到LLM的词嵌入空间中，使得图像信息可以像文本Token一样被LLM处理。这个连接器通常是一个可训练的神经网络模块，它学习如何最有效地将视觉信息传递给语言模型。
最后是大语言模型（Large Language Model, LLM）。这是整个系统的"大脑"，负责基于图像特征和用户的文本问题生成最终的回答。LLM会将来自视觉连接器的图像Token和用户问题的文本Token拼接在一起，然后通过自回归的方式生成响应文本。由于LLM具有强大的语言理解和生成能力，它能够产生流畅、连贯的回答。
理解了这个基本架构之后，我们就能更好地理解为什么传统的VLM会面临一些根本性的挑战。问题的根源在于：这种"一次编码、一次推理"的流程本身就存在信息瓶颈。
静态观察的局限性
想象一下这样一个场景：你需要阅读一张高分辨率的建筑图纸，上面密密麻麻地标注着各种尺寸数据和技术参数。作为人类，你会怎么做？你一定会放大某个感兴趣的区域，仔细查看细节，然后再移动到其他区域继续阅读。这是一个动态的、有目的的观察过程。
然而，传统的视觉语言模型（VLM）在处理图像时，往往只是"静态地看一眼"。当遇到图像中的细小细节时——比如微处理器芯片上的序列号、远处模糊的路牌文字、或者表格中密密麻麻的数据——模型往往只能基于有限的信息进行"概率性猜测"。
谷歌DeepMind团队的核心产品经理Rohan Doshi在介绍这项技术时明确指出：传统AI模型在处理图片时的这种"一次性观察"模式存在根本性的缺陷。它导致模型在面对细粒度视觉信息时的表现不够可靠，经常出现所谓的"幻觉"（Hallucination）问题——也就是模型会编造图像中实际并不存在的内容。
幻觉问题的深层原因
关于视觉幻觉问题，学术界已经有了大量的研究。从技术角度来看，这个问题的产生有几个主要原因，让我逐一为大家详细解析：
视觉编码器的信息瓶颈
大多数视觉语言模型采用的视觉编码器（如CLIP）虽然能够将图像映射到与文本相同的特征空间，但在处理复杂场景时往往会丢失关键的细节信息。这种信息丢失发生在编码过程的多个阶段：首先，图像在输入编码器之前通常需要进行下采样以适应模型的输入尺寸要求，这个过程会损失高频细节；其次，编码器本身为了提取语义特征而进行的特征压缩也会导致局部信息的丢失；最后，视觉-语言连接器在将图像特征映射到文本空间时，可能无法完美保留所有的视觉信息。
特别是当图像中存在密集的文字、复杂的表格或者微小的视觉元素时，编码过程中的信息损失会直接影响后续的推理质量。这就像是让一个人戴着模糊的眼镜看东西——即使他的大脑再聪明，如果眼睛传递的信息本身就是不完整的，他也很难做出准确的判断。
训练数据的分布偏差
现有的视觉语言模型通常基于大规模的图文对数据进行训练，但这些数据集中存在明显的分布不均衡问题。某些类型的图像和描述可能过于集中（例如自然风景照片、日常物品图片等），而其他类型的内容则相对稀缺（例如技术图纸、医学影像、密集表格等）。
这种数据偏差会导致模型在面对训练分布外的图像时表现不佳。更严重的是，当模型遇到不熟悉的视觉场景时，它往往不会承认自己"不知道"，而是会基于训练数据中的相关模式来"编造"一个看起来合理的答案。这就是幻觉问题产生的一个重要机制。
此外，很多训练数据是通过自动化方式生成的（例如使用大语言模型根据图像生成描述文本），这些自动生成的标注本身就可能包含错误或不准确的内容。模型在这样的数据上训练后，自然也会学习到这些错误模式。
模型架构的固有限制
传统的视觉语言模型采用的是"一次编码、一次推理"的处理流程，缺乏对复杂视觉任务进行多步推理的能力。这就像是让一个人只看一眼复杂的数学公式就要求他给出答案，而不允许他进行任何中间计算步骤。
人类在处理复杂的视觉任务时，通常会采用迭代的方式：先获取整体印象，然后聚焦于关键细节，必要时还会多次检查和确认。但传统的VLM没有这种能力——它们只能基于一次前向传播的结果来生成答案，无法进行动态的信息获取和验证。
语言模型的过度自信
大语言模型本身就存在"过度自信"的问题。由于LLM是通过最大化下一个Token的预测概率来训练的，它们天生倾向于生成确定性的、看起来可信的回答，而不是承认不确定性。当LLM接收到模糊或不完整的视觉信息时，它仍然会尝试生成一个"完整"的回答，这往往导致幻觉的产生。
学术界的研究表明，这种过度自信在事实性问题上特别明显。LLM可能会非常自信地给出一个错误的答案，而不是说"我不确定"或"图像信息不足以回答这个问题"。
从"猜测"到"调查"的转变
正是基于对这些问题的深刻理解，谷歌DeepMind团队提出了一个全新的技术方向：将被动的视觉理解转化为主动的智能体过程。换句话说，他们要让AI不再是被动地接收像素信息，而是能够像人类一样主动地探索、操作和验证视觉内容。
这个思路的核心在于：与其让模型基于一次静态观察来"猜测"答案，不如给模型一套"工具"，让它能够主动地对图像进行操作（如裁剪、放大、旋转、标注等），并基于这些操作的结果来做出更准确的判断。
这就是Agentic Vision（智能体视觉）的核心理念。接下来，让我为大家详细介绍这项技术的工作原理。
Agentic Vision技术原理：Think-Act-Observe闭环机制
作为无忆研习社的站长，我（莫潇羽）在研究这项技术时发现，Agentic Vision的核心创新在于引入了一个精心设计的"思考-行动-观察"（Think-Act-Observe）闭环机制。这个机制从根本上改变了视觉模型处理图像的方式，使其从被动的"观察者"转变为主动的"调查者"。
Think（思考）阶段：制定多步计划
当用户向Gemini 3 Flash提交一个视觉相关的查询时，模型首先会进入"思考"阶段。在这个阶段，模型会分析用户的问题以及初始图像，并制定一个多步骤的处理计划。
这个计划制定过程并不是简单的模式匹配，而是基于模型对任务复杂度的评估。例如，如果用户要求模型识别一张高分辨率建筑图纸中某个特定区域的尺寸标注，模型会意识到这个任务可能需要多个步骤来完成：首先需要定位目标区域，然后需要放大该区域以获取清晰的细节，最后才能进行准确的文字识别。
这种"先思考、后行动"的模式与传统的端到端处理方式有着本质的区别。它使得模型能够将复杂的视觉任务分解为一系列可管理的子任务，从而大大提高了处理的准确性和可靠性。
Act（行动）阶段：生成并执行Python代码
"行动"阶段是Agentic Vision最具创新性的部分。在这个阶段，Gemini 3 Flash会主动生成并执行Python代码来操作或分析图像。
这里需要特别强调的是，模型生成的代码不是用于"展示"，而是会被实际执行的。这意味着模型具备了一种全新的能力——它可以通过编程的方式与视觉世界进行交互。
具体来说，模型可以执行的操作包括：
图像裁剪操作：当模型检测到需要关注的细节区域过小时，它会生成代码来裁剪该区域，生成一个局部放大的新图像。这个过程完全是自动化的，模型会根据任务需求自行决定裁剪的位置和大小。
图像旋转和调整：对于方向不正确的图像（如倾斜拍摄的文档），模型可以生成代码来对图像进行旋转校正，使其更适合后续的处理。
视觉标注：模型可以在图像上绘制边界框、数字标签、箭头等视觉元素。这种标注不仅可以帮助模型自身进行推理，还可以让用户更清楚地理解模型的分析过程。
数值计算和数据处理：当涉及到视觉数据的数学运算时（如统计图表中的数据、表格中的数值求和等），模型会将这些计算任务交给Python来执行，而不是依赖自身的概率推理。这种"确定性计算"方式可以有效避免传统模型在数学运算中常见的幻觉问题。
数据可视化：模型可以使用Matplotlib等库来生成专业的图表，将分析结果以可视化的形式呈现出来。
Observe（观察）阶段：基于新数据继续推理
当代码执行完毕后，产生的新图像（如裁剪后的局部放大图、添加了标注的图像、或者生成的图表）会被追加到模型的上下文窗口中。这是一个关键的设计决策——它允许模型在生成最终响应之前，对新产生的数据进行检查和分析。
这种设计创造了一个真正的闭环系统：模型可以不断地迭代"思考-行动-观察"的过程，直到获取足够的信息来给出准确的答案。如果第一次操作的结果还不够清晰，模型可以进行第二次、第三次操作，逐步缩小不确定性，直到达到满意的效果。
技术实现的底层逻辑
从技术实现的角度来看，Agentic Vision是通过在Gemini API中启用"代码执行"（Code Execution）工具来实现的。当这个工具被启用后，模型获得了生成和执行Python代码的能力，而代码执行的环境是一个由谷歌提供的沙盒化Python环境。
这个沙盒环境的设计非常精妙。它在保证安全性的同时，提供了足够的功能来支持各种视觉处理任务。让我详细介绍一下这个环境的特点和限制：
预装的Python库
代码执行环境预装了一系列经过精心选择的Python库，这些库涵盖了大多数常见的视觉处理和数据分析需求：
在图像处理方面，环境提供了PIL（Python Imaging Library）和相关的图像处理工具，支持图像的裁剪、旋转、缩放、滤波、颜色转换等基本操作。这些功能足以完成大多数视觉操作任务，比如放大感兴趣区域、调整图像方向、增强对比度等。
在数据可视化方面，Matplotlib是唯一支持的图形输出库。虽然选择有限，但Matplotlib本身的功能已经非常强大，可以生成折线图、柱状图、散点图、饼图、热力图等各种类型的可视化。对于大多数数据分析和展示需求来说，Matplotlib已经绑绑有余了。
在数值计算方面，NumPy提供了强大的数组操作和数学计算功能。这对于处理从图像中提取的数值数据特别有用——无论是简单的求和、平均值计算，还是更复杂的统计分析，NumPy都能胜任。
此外，环境还包含一些其他的辅助库，用于字符串处理、日期时间操作、正则表达式匹配等常见任务。
执行环境的限制
虽然代码执行环境功能强大，但它也有一些重要的限制需要了解：
时间限制是最重要的约束之一。代码执行的最长时间是30秒，如果代码运行超过这个时间，执行会被强制终止。这意味着模型生成的代码必须足够高效，不能包含耗时过长的操作。对于复杂的任务，可能需要考虑将其分解为多个较小的子任务。
不支持文件I/O是另一个重要限制。代码执行环境不允许读写本地文件系统，所有的数据处理都必须基于内存中的数据。这意味着模型不能保存中间结果到文件中，也不能读取外部数据文件。所有需要处理的图像数据都是直接在内存中传递的。
不支持网络访问也是一个需要注意的点。代码执行环境是完全隔离的，不能访问互联网或任何外部资源。这保证了安全性，但也意味着模型不能在代码中调用外部API或下载数据。
库的限制同样值得关注。用户不能在代码执行环境中安装自定义的Python包。如果某个任务需要使用环境中未预装的库，就需要考虑替代方案或者改变处理策略。
安全性保障
谷歌在设计代码执行环境时非常重视安全性。沙盒化的环境确保了恶意代码不会对系统造成损害，也不会泄露敏感信息。每次代码执行都在独立的、临时的环境中进行，执行完成后环境会被销毁，不会留下任何痕迹。
这种安全设计使得Agentic Vision可以放心地用于各种应用场景，包括处理敏感的商业文档或个人数据。用户不需要担心他们上传的图像会被代码执行环境以不安全的方式处理。
技术优势解析：为什么Agentic Vision能够提升性能
在谷歌的官方测试中，启用代码执行功能后，Gemini 3 Flash在各类视觉基准测试中实现了5%到10%的性能提升。这个数字看起来可能不算惊人，但在AI领域，这样的提升幅度已经相当显著了。下面我来分析一下这种性能提升背后的技术原因。
从概率推理到确定性验证
传统视觉模型的一个核心问题是它们完全依赖于概率推理。当模型需要回答"这张表格中的数据总和是多少"这类问题时，它实际上是在进行一种"有根据的猜测"——基于对图像内容的理解，模型会生成一个它认为最可能正确的答案。
但是，大语言模型在数学计算方面的能力是众所周知的短板。它们可能会犯一些看起来很低级的计算错误，或者在多步骤运算中累积误差。这就是为什么传统模型在处理"视觉数学"任务时经常出现幻觉的原因。
Agentic Vision通过将计算任务"卸载"到Python环境来解决这个问题。当需要进行数值计算时，模型会生成相应的Python代码，由Python解释器来执行实际的计算。Python的计算结果是确定性的、可验证的，不存在"概率性猜测"的问题。
这种"用确定性执行替代概率性猜测"的策略是Agentic Vision能够显著提升性能的核心原因之一。
像素级精度的视觉操作
另一个重要的优势是Agentic Vision提供了像素级精度的图像操作能力。当模型需要检查图像中的细小细节时，它可以通过代码精确地指定要裁剪的区域，确保获取到最相关的视觉信息。
举个实际的例子：假设用户上传了一张包含多个仪表盘的工业设备照片，并询问某个特定仪表的读数。在传统模型中，模型可能会因为图像分辨率不足或者目标区域过小而给出不准确的答案。但在Agentic Vision中，模型可以：
- 首先定位目标仪表的大致位置
- 然后生成代码裁剪出该区域的放大图
- 基于放大后的清晰图像进行准确的读数识别
这种"先放大再识别"的策略大大提高了模型处理细粒度视觉信息的能力。
可追溯的推理过程
Agentic Vision的另一个显著优势是它的推理过程是可追溯的。由于模型会生成可读的Python代码，用户可以清楚地看到模型是如何一步步得出最终结论的。
这种透明性在许多应用场景中都非常重要。例如，在医疗影像分析、金融数据处理、法律文档审查等领域，用户不仅需要知道答案是什么，还需要了解答案是如何得出的。Agentic Vision的代码执行机制自然地提供了这种可解释性。
自我纠错能力
由于Agentic Vision采用了闭环的处理机制，模型具备了一定程度的自我纠错能力。当第一次操作的结果不够理想时，模型可以在"观察"阶段发现问题，并在下一次迭代中采取不同的策略。
例如，如果模型在第一次裁剪时选择的区域不够精确，它可以基于第一次的结果进行调整，在第二次裁剪时选择更合适的区域。这种迭代优化的能力使得模型在面对复杂任务时表现得更加稳健。
实战应用场景：Agentic Vision能做什么
说了这么多理论，让我们来看看Agentic Vision在实际应用中能够解决哪些问题。作为无忆研习社（www.wuyi.wiki）的站长，我（莫潇羽）特别关注这些技术的实用价值，所以这部分内容我会结合具体的案例来说明。理解这些应用场景不仅能帮助你判断这项技术是否适合你的需求，还能启发你发现更多潜在的应用方向。
场景一：建筑图纸的智能审查
PlanCheckSolver.com是一个基于AI的建筑图纸验证平台，它是Agentic Vision技术的早期采用者之一。在启用Gemini 3 Flash的代码执行功能后，该平台的准确率提升了约5%。
这个提升来自于什么呢？让我详细解释一下建筑图纸审查的技术挑战：
在建筑行业中，图纸审查是一项至关重要但非常耗时的工作。审查人员需要检查大量的细节——屋顶边缘的尺寸标注、建筑各部分的结构参数、材料规格说明、防火分区的划分、无障碍设施的配置等等。这些信息通常分布在高分辨率图纸的各个角落，而且往往以较小的字体显示。一份完整的建筑图纸可能包含数十页甚至上百页内容，每页都有大量需要核查的技术参数。
传统的AI方法在处理这类任务时面临几个主要问题：首先，高分辨率图纸中的小字体文本在经过图像压缩后往往变得模糊不清；其次，建筑图纸中的专业符号和标注方式非常复杂，模型需要具备专业领域知识才能正确解读；最后，审查工作需要对不同区域的信息进行交叉验证，而传统模型通常只能给出整体性的评估。
使用Agentic Vision，Gemini 3 Flash能够智能地识别需要关注的区域，生成Python代码来裁剪和分析这些特定的"补丁"（patches）。模型会自动检测图纸中包含关键信息的区域，然后对这些区域进行放大处理，在放大后的图像上进行精确的文字识别和数值读取。通过将这些裁剪后的图像追加到上下文窗口中，模型可以在视觉层面"确立"其推理过程，确认是否符合复杂的建筑规范。
这种工作流程大大减少了人工审查的工作量，同时提高了审查的准确性和一致性。更重要的是，由于模型的推理过程是可追溯的，审查人员可以清楚地看到AI是基于哪些具体信息做出的判断，这对于需要承担法律责任的建筑审批工作来说至关重要。
场景二：手指计数——一个看似简单却很有启发性的例子
谷歌在演示Agentic Vision时使用了一个有趣的例子：让模型数一只手上有几个手指。这个任务看起来很简单，但实际上传统模型在这类计数任务上经常出错。这个例子虽然简单，但却揭示了视觉AI的一个核心挑战。
为什么会这样？因为计数需要模型对图像中的每个对象进行精确的定位和区分，而传统模型通常只能给出一个基于整体印象的估计。当图像中的对象相互重叠或者边界不清晰时，错误率会显著上升。此外，人类在计数时会使用一种"逐一点数"的策略，但传统的神经网络并没有这种内置的机制。
学术界已经有大量研究证实了这个问题的普遍性。即使是最先进的视觉模型，在处理计数任务（特别是数量较大或对象密集时）时也经常犯错。这个问题被称为"数值幻觉"（Numerical Hallucination），是视觉AI领域的一个长期挑战。
使用Agentic Vision，模型的处理方式完全不同。它不再依赖模糊的整体印象，而是采用一种更加可靠的方法：首先，模型会生成代码来检测每个手指的位置，使用图像处理技术识别出手指的轮廓和位置；然后，在每个检测到的手指上绘制边界框和数字标签，通过视觉标注来"标记"已经数过的对象；最后，通过计数标签的数量来给出最终答案，而不是依赖神经网络的直觉判断。
这种方法将"估计性计数"转变为"标记性计数"，准确率大大提高。更重要的是，生成的标注图像可以作为"视觉草稿纸"，让用户直观地看到模型的识别过程，验证答案的可靠性。如果模型在某个手指上漏画了边界框，用户可以立即发现问题所在。
这个例子的启发意义在于：对于很多看似需要"视觉智能"的任务，通过引入程序化的处理流程，我们可以将其转化为更加可靠的确定性操作。
场景三：复杂表格数据的提取和分析
在很多业务场景中，用户需要从图像中的表格提取数据并进行分析。这是一个非常常见的需求：财务人员需要处理扫描的报表、研究人员需要从论文截图中提取数据、市场分析师需要整理竞品的公开数据等等。
传统模型在处理这类任务时面临两个主要挑战：一是准确提取表格中的数值——表格的格式可能千变万化，单元格的边界可能不清晰，数值可能包含各种格式（百分比、货币符号、千分位分隔符等）；二是对提取的数值进行正确的数学运算——正如我们前面讨论的，大语言模型在数学计算方面并不可靠。
Agentic Vision为这个问题提供了一个优雅的解决方案。让我以谷歌AI Studio中的一个演示为例来说明整个流程：
假设用户上传了一张包含基准测试结果的表格图像，并要求模型生成一个柱状图来可视化这些结果。使用Agentic Vision，模型会按照以下步骤处理：
首先，模型会分析表格的结构，识别出行标题、列标题和数据单元格的位置。这个过程可能涉及到生成代码来检测表格线、分析单元格的空间关系等。
然后，模型会从每个单元格中提取数值。对于难以识别的单元格，模型可能会生成代码对该区域进行放大或图像增强处理，以提高识别准确率。
接下来，模型会生成Python代码来处理提取的数据。例如，如果需要将所有数值归一化到某个基准值，模型会使用NumPy来完成这个计算。由于计算是由Python执行的，结果是100%准确的，不存在"算错"的可能性。
最后，模型会使用Matplotlib生成专业的柱状图。图表的样式、颜色、标签等都由代码精确控制，确保输出的图表符合专业标准。
整个过程中，模型不需要在内部进行任何数学计算——所有的数值处理都由Python代码完成。这确保了结果的准确性，同时生成的图表也符合专业标准。用户还可以查看模型生成的代码，了解数据是如何被处理的，必要时可以修改代码来调整处理逻辑。
场景四：文档OCR与复杂排版处理
虽然谷歌没有把Agentic Vision明确定位为OCR工具，但它在文档处理方面的能力确实非常强大。对于包含复杂排版的文档——如多栏布局、嵌入式表格、数学公式、混合语言文本等——Agentic Vision可以通过分区域处理的方式来提高识别准确率。
传统OCR工具在处理复杂排版时经常出现问题：多栏文本的阅读顺序可能被错误识别，导致内容混乱；嵌入在文本中的表格可能被当作普通段落处理；数学公式中的符号可能被误认为普通字符；不同字体和字号混用的内容可能出现识别错误。
Agentic Vision的方法是先分析再处理。模型可以先分析文档的整体结构，识别出不同的功能区域（标题区、正文区、表格区、公式区、注释区等），然后针对每个区域生成相应的处理代码。对于多栏布局，模型可以先识别栏的边界，然后按照正确的阅读顺序依次处理每一栏；对于嵌入式表格，模型可以先将表格区域裁剪出来单独处理；对于数学公式，模型可以使用专门的处理策略来识别数学符号。
这种"分而治之"的策略特别适合处理那些对传统OCR工具来说颇具挑战性的复杂文档。而且，由于每一步的处理都是可见的，用户可以检查中间结果，及时发现和纠正可能的错误。
场景五：工业检测和质量控制
在工业生产领域，视觉检测是质量控制的重要环节。Agentic Vision的能力使得它非常适合用于各种工业检测任务：检测产品表面的缺陷（划痕、气泡、杂质等）、验证标签信息的正确性（条形码、二维码、文字标注等）、检查装配的完整性（螺丝是否到位、零件是否遗漏等）、测量尺寸和间距是否符合规格等。
传统的工业视觉检测系统通常需要针对每种产品和检测任务进行专门的开发和调试，成本高、周期长。而使用Agentic Vision，检测逻辑可以通过自然语言描述来定义，模型会自动生成相应的检测代码。
举一个具体的例子：假设一家电子产品制造商需要检测印刷电路板（PCB）上的焊点质量。使用Agentic Vision，可以这样描述任务："请检查这张PCB图片中所有的焊点，标记出那些明显有缺陷的焊点（虚焊、桥连、焊料不足等），并生成一份检测报告。"
模型会生成代码来实现以下步骤：首先定位PCB上所有的焊点位置；然后对每个焊点区域进行放大分析，判断焊点质量；对于检测到的缺陷焊点，在原图上用红色边界框标记出来；最后生成一份包含缺陷位置、缺陷类型、缺陷数量等信息的检测报告。
这种自动化的检测流程可以大大提高工业生产的效率和质量稳定性。而且，由于检测逻辑是通过代码实现的，可以很容易地进行调整和优化，适应不同的产品和质量标准。
场景六：教育和学术研究
Agentic Vision在教育和学术研究领域也有广泛的应用前景。教师可以使用它来快速处理学生的手写作业，自动识别和批改数学题目的解答过程；研究人员可以用它来从学术论文的图表中提取数据，进行元分析研究；学生可以用它来理解复杂的图表和示意图，获得详细的解释和分析。
例如，一个化学专业的学生上传了一张复杂的有机合成路线图，询问"这个合成路线中有哪些关键步骤，每一步的产率是多少？"使用Agentic Vision，模型可以通过放大和标注的方式，逐一分析合成路线中的每个反应步骤，识别反应条件和产率数据，并以结构化的方式呈现给学生。
开发者指南：如何使用Agentic Vision
作为无忆研习社（www.wuyi.wiki）的技术分享，这部分我会详细介绍如何在自己的项目中使用Agentic Vision功能。无论你是经验丰富的开发者还是刚开始接触AI开发的新手，都可以按照以下步骤来上手。
准备工作：获取API访问权限
Agentic Vision功能通过Gemini API提供。要使用这项功能，你首先需要：
第一步：创建Google AI Studio账户
访问Google AI Studio（https://aistudio.google.com/），使用你的Google账户登录。如果你还没有Google账户，需要先注册一个。
第二步：获取API密钥
在Google AI Studio中，你可以直接创建API密钥。这个密钥将用于认证你对Gemini API的调用。请妥善保管你的API密钥，不要将其暴露在公开的代码仓库中。
第三步：安装Python SDK
Gemini的Python SDK可以通过pip安装：
pip install google-genai确保你的Python版本是3.8或更高。
基础代码示例：启用代码执行功能
下面是一个最基本的代码示例，展示如何调用启用了代码执行功能的Gemini 3 Flash：
from google import genai
from google.genai import types
# 初始化客户端
client = genai.Client(api_key="YOUR_API_KEY")
# 准备图像输入
# 方式一：使用URL（如果图像在线可访问）
image = types.Part.from_uri(
file_uri="https://example.com/your-image.jpg",
mime_type="image/jpeg",
)
# 方式二：使用本地文件
# import base64
# with open("your_image.jpg", "rb") as f:
# image_bytes = base64.b64encode(f.read()).decode()
# image = types.Part.from_data(data=image_bytes, mime_type="image/jpeg")
# 发送请求，启用代码执行工具
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents=[image, "请分析这张图像中的数据，并生成一个柱状图"],
config=types.GenerateContentConfig(
tools=[types.Tool(code_execution=types.ToolCodeExecution)]
),
)
# 打印响应
print(response.text)在这个示例中，关键的部分是tools=[types.Tool(code_execution=types.ToolCodeExecution)]这行代码。它告诉API启用代码执行工具，从而激活Agentic Vision的能力。
理解响应结构
当模型使用代码执行功能时，响应的结构会包含多个部分。让我来解释一下各个部分的含义：
text部分：模型生成的文字说明和最终答案
executable_code部分：模型生成的Python代码
code_execution_result部分：代码执行的结果，包括输出内容和可能产生的图像
以下是如何解析这些部分的代码示例：
for part in response.candidates[0].content.parts:
if part.text:
print("文字说明:", part.text)
if part.executable_code:
print("执行的代码:")
print(part.executable_code.code)
if part.code_execution_result:
print("执行结果:")
print(part.code_execution_result.output)高级用法：多轮对话中的代码执行
Agentic Vision同样支持在多轮对话中使用。这意味着你可以基于前一轮的分析结果继续提问，模型会保持上下文的连贯性。这种交互方式非常适合需要逐步深入分析的场景：
# 创建聊天会话
chat = client.chats.create(
model="gemini-3-flash-preview",
config=types.GenerateContentConfig(
tools=[types.Tool(code_execution=types.ToolCodeEx
