为什么同一个问题,每次AI回答都不一样?
两个人同时问AI“有哪些公司提供这项服务”,一个人的回答里出现了你的企业,另一个人却没看到。再问一遍,名单和顺序可能又变了。
这不一定是谁问错了。AI会接着前面的聊天往下答,也可能在当次搜索中看到另一批网页。品牌这次出现在回答里,只能记作一次结果,还不能写成已经稳定进入推荐。
先看是不是在同一个现场提问
最容易忽略的是前面的聊天内容。
测试前可以先看一眼聊天窗口。前面如果一直在聊某个地区的业务,AI后面的回答通常会接着这个范围往下说。把同一句话复制到空白对话里,问的其实已经不是完全相同的内容。
还有人用网页端测试,同事打开的却是App里的另一种功能。看起来大家都在问AI,实际用的并不是同一个入口。这样的结果放在一起,容易把产品差异误当成品牌表现变化。
复查企业表现时,可以先开一个新对话。使用同一种界面,问题照原文输入。测试中途不要为了让品牌出现,临时追加地区、公司特点或其他提示。
AI当次找到的资料也会变化
会联网查找资料的AI,收到问题后可能换一种说法去搜索。它当时找到哪些网页,会影响接下来用什么材料回答。
网页也不会一直停在原样。企业更新了服务页,外部文章改了内容,搜索系统重新处理以后,AI下次查找时看到的资料就可能不同。即使仍然采用相近来源,答案也未必照上次的顺序重写一遍。
所以不能看到回答变化,就全部归结为“AI随机”。先打开引用链接,看看两次回答实际用了哪些页面。来源已经换了,答案跟着变并不奇怪。
一次出现和一次没出现,都别急着下结论
官网昨天刚改完,今天问了一次没看到品牌,先别把结论写成“页面没有效果”。服务商发来一张出现品牌的截图,也先把完整问法找出来。问题里直接带了公司名称,和客户不带品牌提问,得到的结果不是一回事。
还要问这张截图来自哪个平台,同一个问题的其他回答有没有保存。只留下最好看的一次,判断不了这种结果平时有多常见。
七点互动做这类复查时,会把没有出现企业的回答一起留下。结果有好有坏,才看得出这个问题目前到底有多稳定。
一个重要问题,可以这样重新看
可以从销售最近收到的问题里挑一句,把公司名称去掉,在空白对话中直接提问。过一会儿再照原话问一次,回答里有没有企业、用了哪些链接,都按当时看到的内容留存。
不同时间复查时,问题原文先不改。平台如果换了界面或功能,就在记录旁边写清楚。前后条件已经不同,这两批结果可以分别看,不要硬算成一条连续趋势。
没有一个适合所有企业的固定测试次数。客户经常拿这个问题做选择,回答又经常变化,就多留几个样本。价值不高的问题,不必为了填满报表反复提问。
今天可以把以前保存的一张“成功截图”找出来,再问两遍原问题。把完整回答放在一起看,比只看品牌有没有出现,更接近企业当前的真实情况。