关注公众号可免费领取“清华北大教授分享的DeepSeek学习资料包”。
近期，我给家里小朋友准备学校故事比赛的PPT时，顺手测试了一下GPT-4o的文生图能力，结果嘛...让我又爱又恨（插画效果见文末）。
作为一个技术出身的老司机，今天就跟你分享一下我的"踩坑"历程和技术解析，希望能给你在实际项目中带来一些参考价值。
整体评价
先说结论：GPT-4o的文生图能力，单图创作没问题，连续场景勉强及格，空间理解能力令人失望，以图生图时常出现"顾此失彼"的情况。
实际测试中，GPT-4o对"空间位置词 + 复杂布局 + 特定透视角度"这类组合需求的处理存在明显天花板。
我的任务很简单：为《神奇的帽子》制作6个场景插画。这个故事讲述四只小老鼠尝试偷取魔术师帽子的冒险经历，是个教育孩子不能偷盗的简单故事。听起来很容易对吧？但实际过程可不像预期那么顺利。
从技术角度看本质
为什么GPT-4o在文生图方面会这样表现？我认为主要是token限制（即将提示词拆分为小单元的处理方式）和多模态模型权重分配（模型决定关注哪些信息）的问题。
跟GPT-4o对话后，了解到它处理图像生成的简化流程是这样的：
- 将提示词分解为token向量；
- 当tokens过多时，模型会自动分配注意力权重； 优先级排序，只保留高权重元素，低权重的细节可能被丢弃；
- 将处理后的tokens传入扩散模型生成图像。
这导致了一个核心问题：当你的提示词太长太复杂时，模型会偏向于保留它认为"重要"的信息，而把一些空间位置关系、细节描述等"次要信息"丢弃。
实战经历
前期准备工作
在开始生成图片前，为了让GPT4o充分理解我的需求，创作出风格统一、镜头连贯的插画，我做了充分的准备工作：
- 故事全文；
- 将故事拆分为6个关键镜头； 镜头1～6分别是：魔术师展示、耗子窥视、耗子们讨论、大耗子行动、喷嚏与逃跑。
- 统一角色造型和视觉风格；
- 设计详细的场景布局描述；
- 为每个场景创建结构化提示词；
- 创建GPT-4o专用项目，并将必要文件上传到项目文件中，保持上下文连贯性；
- 与GPT-4o聊天，考验它是否理解了我的需求。
故事全文：
魔术团里有一位老爷爷，老爷爷有一顶奇怪的帽子，只要吹口气里面就会变出好多好吃的东西来，有糖果、蛋糕还有苹果。
“哎，要是把这顶帽子偷来该多好啊！”，这话是谁说的，是几只耗子说的。
晚上，它们悄悄的来到了老爷爷的家里。老爷爷呢，正睡觉呢！帽子没有放在柜子里，也没有放在箱子里，那在哪里呢？正盖在老爷爷的脸上。
大耗子挤挤小眼说：“咳咳，我看呀，叫小耗子去偷最合适了”。
小耗子一听：“啊......我不去，我不去，太吓人了！那个帽子里面呀藏着一个呼噜，地板、窗户都会动，我不去”。
大耗子又叫黑耗子去偷，黑耗子不敢，叫灰耗子偷，灰耗子也不敢，反正不管叫谁去偷，谁都说不敢。
大耗子生气了，摸摸长胡子说：“嗯，好了，好了，你们这群胆小鬼，你们不去，我去”。
话是这么说，其实大耗子心里也挺害怕，它轻轻的一跳，跳到了床上，爬到了老爷爷的枕头旁边，用尖鼻子闻了闻那顶帽子，好香啊好香啊，有蛋糕味儿，还有糖果味，大耗子把尾巴伸到帽子底下去，小尾巴把帽子顶起来，咦，这是怎么了？尾巴伸到一个小窟窿里去了。哎呀，什么小窟窿，那是老爷爷的鼻孔啊。
“阿阿……嚏”，老爷爷打了一个大大的喷嚏，吓得大耗子连滚带爬地说：“哎哟哟…，不好了，不好了，这帽子里啊还藏着一个阿嚏，这个阿嚏可比那个呼噜厉害多了，要不是我跑得快呀，我差点给炸死了”。
小朋友们，这个故事告诉我们，不管我们多么想要一样东西，偷别人的东西是不对的。我们要用勤劳的双手，去换取真正属于自己的东西！
背景示例：
你是一个专业的插画设计师，用中文回答我的问题。
全局视觉风格示例：
高质量3D卡通渲染，一致的皮克斯风格，16:9宽屏比例，高分辨率，统一角色设计，温暖色调，精细质感，--ar 16:9 --s 1024 --stylize 100
角色统一描述示例：
老爷爷：慈祥白发老人，Q版大头小身体比例，标志性夸张白色八字胡，眯成月牙形的眼睛，红润脸颊，圆形金边眼镜，身穿深蓝色星星图案长袍
魔术帽：黑色圆顶高筒魔术帽（非尖顶），金色装饰带
耗子描述：
大耗子：灰褐色，戴翠绿领结，长胡须，细腻毛发，《疯狂动物城》风格
小耗子：浅粉色，大眼睛，圆耳朵，细腻毛发，《疯狂动物城》风格
黑耗子：圆滚滚黑色身体，红鼻子，短胖尾巴，细腻毛发，《疯狂动物城》风格
灰耗子：细长灰色身体，戴褪色绿色小帽子，细腻毛发，《疯狂动物城》风格
遇到的主要问题
1. 空间一致性崩溃
最让我头疼的是卧室场景的空间一致性问题，因为镜头3～6都在魔术师老爷爷卧室。即使给出了详细的房间布局描述，GPT-4o在多图生成时仍无法保持空间关系一致：
房间布局要求：
- 床铺位于房间中央偏南，床头朝南靠墙
- 东墙(即床左侧)有一扇中等大小窗户
- 东南角（即床左侧）放置木质床头柜，上面有台灯
- 西北角摆放小圆桌和木椅
- 东北角靠墙有深色木质衣柜
尽管提供了如此详细的描述，每张图中的床位置、窗户方向、家具摆放总是各不相同。我后来发现，GPT-4o对"东北角"、"左前方"这类空间方位词的理解相当有限。
为了解决这个问题，我甚至手绘了一张草图并标注了方位：
[草图占位]
但令我失望的是，这个方法效果也不理想。
2. 令人抓狂的优先级问题
通过分析失败效果，我发现当提示词太复杂时，GPT-4o会按照自己的理解决定哪些信息更重要：
提示词: "老爷爷卧室，床铺位于中央靠南，左侧有窗户和台灯，左前方有衣柜，4只耗子正在讨论..."
GPT-4o理解优先级:
1. ✅ 老爷爷在床上 (核心角色)
2. ✅ 4只耗子 (核心角色)
3. ✅ 床在画面中 (主要场景元素)
4. ✅ 台灯亮着 (视觉亮点元素)
5. ❌ 窗户位于左侧 (空间关系被忽略)
6. ❌ 衣柜在左前方 (方位词被丢弃)
这导致每次生成时，空间布局都是"随机"的，根本无法保持一致性。
实用技巧
经过多次尝试，我总结出几点使用GPT-4o文生图的实用技巧：
1. 分段提示与权重标记
将提示词分为不同优先级，并使用特殊标记表示重点。例如，对于卧室布局，可以这样写：
# 创建带权重的提示词
# 高优先级内容(必须遵循)
[必须] 高质量3D卡通渲染，皮克斯风格，16:9宽屏比例
[必须] 老爷爷：白发，白八字胡，蓝色星星图案长袍
[必须] 床位置：画面中央，床头靠近画面底部
# 中优先级内容(尽量遵循)
[重要] 窗户：位于床的左侧，有淡蓝色窗帘
[重要] 床头柜：在床的左侧，上有暖黄色台灯
# 低优先级内容(能遵循最好)
[参考] 衣柜：位于左上角
[参考] 小圆桌：位于右上角
2. 使用坐标系而非方位词
用画面上的平面坐标位置替代东南西北方位词：
# 不要用这种方式
"床的东北角放置衣柜"
# 改用这种方式
"画面左下角放置衣柜"
3. 以图生图+定向修改
目前GPT-4o的以图生图（Image-to-Image）功能，虽然可以一定程度改善局部，但无法像专业ControlNet或Inpaint模型（如ComfyUI、Automatic1111）那样精准控制细节，修改仍有随机性。 建议利用以图生图功能进行增量修改，并明确指出需要保留的元素，比如：
保持不变: 风格、角色、分辩率、图片比例；
修改: 窗户移到床的画面左侧中间，添加木质衣柜在画面左下角；
结合以上提示生成新图像。
ControlNet：保持空间、动作、布局一致性，超强控制力。 Inpaint：精准修改，细节补画，不破坏整体。
4. 使用参考图像辅助
将关键空间布局制作成简单示意图，如我的草图，在帮助GPT4o理解空间关系时是有一定改善效果的。
成品展示与分析
经过多轮调整，我最终还是完成了6张插画。妥协后的成品效果如下：
【镜头一：魔术师展示】这张图效果较好，画面中老爷爷站在舞台中央，手持魔术帽，背景是简单的红色幕布。主要因为：场景简单，核心元素少（仅老爷爷和帽子），没有复杂的空间关系要求。
【镜头二：耗子窥视】 台前幕后，在空间上开始错乱，台上的蒙古包背景与台下观众放在了一起，耗子们的位置和视角有点不对劲。
【镜头三：夜晚卧室】魔术师老爷爷的帽子没有按要求盖住脸，被窝轮廓也是瘪的，注意：床头柜仅有台灯一盏，床尾有护栏。以下的镜头都以镜头三的房间摆设为基础。
【镜头四：耗子们讨论】床头柜多了个盒子，床尾护栏没了，本来想让镜头三的床尾护栏与之保持统一，后来妥协了，修改后的效果总会顾此失彼。
【镜头五：大耗子行动】本来想展示大耗子将尾巴误入
魔术师老爷爷鼻孔的，但试了好多稿，包括画线示意尾巴形状、换姿势都没能成功，只好妥协；床头加长了，还多了一个枕头，帽子仍然没有盖住脸。
【镜头六：喷嚏与逃跑】卧室摆设乱套了，左边本来应该是窗户一角，现在变成了衣柜；床头靠着的墙不应该有窗帘，魔术师老爷爷多了金边眼镜，为了在这个效果上去除眼镜，改了好多稿没能如意，最终妥协。
让我们看看几个失败镜头效果：
失败案例
镜头三：夜晚卧室
以图生图修改中，方位摆设错乱。
以图生图修改中，老爷爷变成袖珍玩偶，图片比例变成1:1。
窗户变成了半边，老爷爷神色呆滞木讷。
以图生图修改中，方位摆设错乱，还能自动加眼罩。
镜头五：大耗子行动
这张图问题较多，原因在于：
- 复杂的空间关系描述(耗子、帽子、老爷爷的相对位置)
- 特殊的动作要求(尾巴误入鼻孔)
- 需要保持与多个前序场景的一致性
这张光线、对比度、饱和度看起来挺好，原本是要画出尾巴误入老爷爷鼻孔，可惜手变成尾巴。
吸星大法：我吸吸吸...哪怕我画一根尾巴示意线或者让大耗子换个背向然后扭头的姿势，也还是万年不变的从嘴巴里长出尾巴。
接着奏乐，接着吸......
技术深度分析与建议
从技术实现角度，GPT-4o的文生图能力受限于以下几点：
- Token限制与注意力机制：提示词一旦太长，模型没法同时顾及所有细节，只能挑重点；
- 空间关系建模能力不足：对方位词、位置关系这种描述理解得还不够深入；
- 跨图像一致性未优化：模型没针对连续多张图的连贯性进行专门训练；
- 缺乏先验知识约束：比如物理规则、空间合理性这些，目前还没办法很好地自己校正。
跨图像一致性：指多张连续生成的图片中，元素布局、角色位置保持前后一致。
针对实际应用，我建议：
- 把复杂的需求拆成一个个小任务，逐步完成；
- 给每个任务写简洁又明确的提示词，不要一次塞太多细节；
- 每张图都要经过人工审核，必要时多迭代几轮优化；
- 如果遇到实在搞不定的，可以搭配其他工具辅助处理，如PS。
总结
GPT-4o的文生图能力虽然不完美，但已经展现了AI在多模态能力上的巨大进步。目前它最适合用于概念验证、快速原型设计和单图生成场景，而不适合需要高度空间一致性和连贯性的复杂项目。
我相信按照“AI一天，人间一年”的节奏，这些问题很快会得到解决。未来的多模态模型可能会通过增强空间关系建模（例如理解‘左前方’‘东北角’）和改进跨图像一致性（保持多图中角色位置统一），甚至实现真正的‘AI导演’能力，自动生成连贯的故事插画。
你在使用GPT-4o或其他模型文生图时遇到了哪些问题或发现了哪些技巧？ 欢迎在评论区留言，一起吐槽、交流、分享小技巧吧！
[图片占位] 加入知识星球，我可以为你提供：
- Web3开发转型一对一咨询
- 数字货币投资工具使用新手教学
- AI创作教学
本人技术栈： Solidity/Golang/Rust/NodeJS/Python/AI编程 项目合作，欢迎你来链接我！ 都看到这里了，不关注一下嘛👇