Negatieve prompts hebben ongeveer twee keer zoveel invloed op hoe ChatGPT een merk beschrijft als positieve formuleringen. Bedrijven die hun merksentiment in AI-antwoorden volgen, krijgen anders een onvolledig beeld.
Negatieve prompts verlagen ChatGPT-merksentiment het meest
Celeste Gonzalez van Lastmile Retail en AI-zichtbaarheidsplatform SE Ranking testten 180 positieve, neutrale en negatieve prompts. Ze verzamelden 900 ChatGPT-antwoorden over televisies, GLP-1-telezorgdiensten en loyaliteitsprogramma's van luchtvaartmaatschappijen. Het merksentiment, hoe positief of negatief het model over een merk schrijft, liep van -100 tot +100.
Negatieve prompts scoorden gemiddeld -36. Neutrale vragen kwamen uit op +20. Positieve prompts haalden +46.
Ten opzichte van neutrale vragen drukte een negatieve formulering het sentiment met 56 punten. Een positieve formulering zette het 26 punten hoger. De toon van de prompt en het sentiment in het antwoord hingen samen, met een Spearman-correlatie van 0,66, een maat voor statistische samenhang.
Elke prompt werd vijf keer gesteld. Onderzoekers classificeerden het sentiment zonder de oorspronkelijke vragen te gebruiken. De onderwerpen liepen van aanbevelingen en vergelijkingen tot vertrouwen en waarde.
Bij vragen over betrouwbaarheid, terugbetalingen, privacy en veiligheid had een positieve formulering weinig effect. Negatieve formuleringen drukten het sentiment nog wel.
Merkvergelijkingen lieten grote verschuivingen zien. United MileagePlus verschoof van +91 naar -93 toen onderzoekers de volgorde omdraaiden, een verschil van 184 punten. Sony daalde van +96 naar -9.
Die omkering werkte niet altijd. Sony bleef in één test positief. Hers bleef negatief, ook als de vraag zich richtte op tekortkomingen van concurrent Start Willow.
Slechts 44 procent van de prompts kreeg in alle vijf herhalingen dezelfde classificatie. Het sentiment wisselde gemiddeld 27 punten. Toch gaf 96 procent een meerderheidssentiment. Minimaal drie van de vijf antwoorden kwamen overeen.
Gevolgen voor merken die AI-antwoorden volgen
ChatGPT kan hetzelfde merk anders neerzetten, afhankelijk van de vraag. Wie alleen neutrale of positieve prompts test, mist wat mensen te zien krijgen als ze twijfelen of vergelijken. Dat beïnvloedt hoe je merkreputatie in AI meet.
Vertrouwensvragen reageren anders dan vragen over waarde of aanbevelingen. Een vriendelijke formulering helpt daar weinig. De volgorde in een vergelijking kan het sentiment tientallen punten laten schuiven. Hetzelfde verzoek levert niet elke keer hetzelfde oordeel op.
Ook negatieve vragen meenemen in metingen
Het onderzoek wijst op een praktische stap. Neem bij het meten van merksentiment in ChatGPT ook negatieve prompts mee. Herhaal dezelfde vraag meerdere keren, omdat antwoorden per keer kunnen verschillen. Zo ontstaat een realistischer beeld van hoe het model merken beschrijft.