Monitoring widoczności w ChatGPT przez API pokazuje co innego niż aplikacja: co wykazało badanie

Krótka odpowiedź: API pokazuje podobny obraz, ale nie ten sam

Badacze z National University of Singapore i Xi'an Jiaotong University porównali to, co cytuje aplikacja ChatGPT, z wynikami Google i interfejsu Responses API OpenAI. Razem te dwa źródła znalazły średnio 26,2% stron, które cytował ChatGPT w ustawieniu GPT-5.5 Instant, i 48,7% serwisów, na których te strony leżą.

Raport o widoczności w ChatGPT zbudowany z zapytań przez API tylko przybliża to, co dzieje się w aplikacji. Badanie nie sprawdzało, czy zmiany w odpowiedziach API idą w parze ze zmianami w aplikacji. Taki raport nie pokaże też dokładnie tego, co zobaczy Twój klient. Niżej opisujemy badanie, jego ograniczenia i pytania, które możesz zadać dostawcy raportu.

Co zmierzono

Pracę „Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations” (arXiv 2610.15382) zgłosili 11 października 2026 roku Yunxuan Jiang, Shiqi Zhang, Anqi Xing, Xiangyu Chang i Xiaokui Xiao. To preprint, czyli praca bez recenzji. Search Engine Journal opisał ją 18 października.

W swoich zalogowanych sesjach badacze nagrywali dane, które aplikacja internetowa ChatGPT dostaje, gdy pisze odpowiedź. Widać w nich zapytania, jakie ChatGPT wysłał do wyszukiwania, strony, które te zapytania zwróciły, i strony wybrane jako źródła. Zbadali cztery ustawienia: GPT-5.2 Instant, GPT-5.3 Instant, GPT-5.4 Thinking i GPT-5.5 Instant. Dane GPT-5.3 Instant i GPT-5.5 Instant zbierali od 29 marca do 29 lipca 2026 roku.

Dwa ustawienia (GPT-5.3 Instant i GPT-5.5 Instant) dostały po 80 pytań, każde zadane 20 razy, czyli po 1 600 odpowiedzi. Pozostałe dwa miały mniej pytań, bo OpenAI wycofało je przed końcem zbierania danych. Pytania pochodzą z publicznego zbioru Search Arena: 40 po angielsku i 40 po chińsku, w czterech rodzajach (polecenie, sprawdzenie faktu, synteza informacji, analiza).

Jako zamienniki aplikacji badacze wzięli dwa źródła. Pierwsze to Google: pięć stron wyników organicznych na pytanie, pobranych przez SerpAPI, średnio 43,2 wyniku. Drugie to Responses API OpenAI z włączonym wyszukiwaniem w sieci i bez promptu systemowego, z modelami gpt-5.3-chat-latest i gpt-5.5 (dla gpt-5.5 z ustawieniem reasoning.effort="none"). Tu też każde pytanie padło 20 razy. Aplikację, Google i API badacze odpytywali w odstępie najwyżej trzech dni.

Co pokazały wyniki

Google i API razem znalazły 28,3% cytowanych stron w GPT-5.3 Instant i 26,2% w GPT-5.5 Instant. Za cytowaną uznawano stronę, którą ChatGPT zacytował w co najmniej jednej z 20 odpowiedzi na pytanie. Ten i kolejne odsetki to średnie z wyników dla poszczególnych pytań. Serwisów znalazły odpowiednio 50,3% i 48,7%, a podmiotów (nazw wyciągniętych z tytułów i opisów wyników) 50,7% i 45,1%.

Pojedyncze źródła wypadły słabiej. Same wyniki Google zawierały 9,4% i 6,4% cytowanych stron. Pełna lista źródeł z API, czyli wszystko, co model API przejrzał, zawierała 22,9% i 22,5%. To, co API samo zacytowało, pasowało do aplikacji dokładniej: 23,3% stron cytowanych przez API zacytował też ChatGPT w ustawieniu GPT-5.5 Instant, wobec 16,4% w GPT-5.3 Instant.

Wyniki wyszukiwania słabo się powtarzały. Przy 20 powtórzeniach tego samego pytania średnio 44,5% różnych stron, które ChatGPT pobrał z wyszukiwania w GPT-5.5 Instant (40,8% w GPT-5.3 Instant), pojawiło się tylko w jednym powtórzeniu. Do stałego rdzenia, czyli stron pobranych w co najmniej 14 z 20 powtórzeń, należało 7,7% (GPT-5.5 Instant) i 9,4% (GPT-5.3 Instant). Serwisy i podmioty powtarzały się częściej niż konkretne adresy.

ChatGPT rzadko wysyłał też do wyszukiwarki pytanie w takim brzmieniu, w jakim wpisał je użytkownik. W widocznych zapytaniach GPT-5.3 Instant i GPT-5.5 Instant nie było ani jednego takiego przypadku, w GPT-5.2 Instant zdarzyło się to w 5,5% odpowiedzi. Pomoc OpenAI opisuje to samo: ChatGPT zwykle przepisuje pytanie na jedno lub kilka bardziej konkretnych zapytań. Więcej o zapytaniach, które pisze AI, znajdziesz w tekście o zapytaniach pisanych przez AI w Search Console.

Dwie sesje zbierania danych po 14 i 16 udanych odpowiedziach przełączyły się na inny model niż wybrany. Autorzy zalecają więc sprawdzać, który model faktycznie odpowiedział.

Czego badanie nie dowodzi

• W badaniu nie było polskich pytań, tylko angielskie i chińskie. Dla pytań chińskich GPT-5.3 Instant i GPT-5.5 Instant w 67,0% i 69,6% przypadków wysyłały do wyszukiwarki (w widocznych zapytaniach) wyłącznie zapytania po angielsku. Jak to wygląda dla polskich pytań, praca nie mówi.
• Praca liczy cytowane strony, serwisy i podmioty z tytułów oraz opisów. Share of voice w AI liczy się zwykle z nazw marek w treści odpowiedzi. To różne miary, a praca nie sprawdzała, na ile są ze sobą zgodne. Za cytowane autorzy uznali też strony ukryte w grupach źródeł, których użytkownik nie widzi osobno.
• Badacze nie testowali żadnego narzędzia komercyjnego. Porównali aplikację z surowym API i z Google, więc nie wiemy, jak blisko aplikacji są konkretne produkty, które mogą dopasowywać zapytania i ustawienia.
• Badanie jest obserwacyjne. Autorzy piszą, że nie oceniali strategii GEO i że wyniki nie dowodzą, iż większa liczba stron albo częstsze pojawianie się w wynikach zwiększy szansę cytowania.
• Główne dane, dla GPT-5.3 Instant i GPT-5.5 Instant, pochodzą z jednego okresu, od marca do lipca 2026 roku. Autorzy zalecają powtórzyć ocenę, gdy zmieni się ustawienie modelu albo środowisko, w którym model działa.

Podobne zastrzeżenie dotyczy badania rekomendacji marek przez API firmy Envoyra, które Search Engine Land opisał 22 października 2026 roku. Search Engine Land zanotował, że jego wyniki dotyczą konkretnych modeli i ustawień API, więc mogą się różnić od tego, co widzą użytkownicy aplikacji.

Jak czytać raport o widoczności w ChatGPT

Raport zbudowany z zapytań przez API, jeśli co miesiąc powstaje tą samą metodą, pokazuje, czy udział Twojej marki w odpowiedziach API na tle konkurentów rośnie, czy spada. Badanie nie sprawdzało, czy te zmiany idą w parze ze zmianami w aplikacji. Raport gorzej odpowiada na pytanie „co zobaczy klient, który wpisze to w aplikację”. Aplikacja może działać na innym modelu, inaczej przepisać zapytanie, uwzględnić lokalizację i pamięć konta, a do odpowiedzi może trafić inna część stron niż ta, którą pokazało API.

Z badania wynikają cztery zasady czytania takiego raportu:

1. Liczbę „pozycji” albo wynik z jednego zapytania traktuj jako ilustrację. Odpowiedzi tak bardzo różnią się między powtórzeniami, że coś mówi dopiero średnia z wielu z nich.
2. W badaniu serwisy i nazwy z tytułów i opisów powtarzały się w wynikach wyszukiwania stabilniej niż konkretne adresy. Raport, który śledzi wyłącznie adresy URL, będzie skakał bardziej.
3. Gdy wynik w raporcie nagle się zmienia, sprawdź, czy nie zmienił się model albo metoda zbierania, zanim zaczniesz szukać przyczyny na swojej stronie.
4. Widoczność w odpowiedzi i cytowanie strony to dwie różne rzeczy. ChatGPT może znaleźć stronę i jej nie zacytować. Skąd ChatGPT w ogóle bierze strony, opisujemy w tekście o źródłach informacji ChatGPT.

O co zapytać dostawcę raportu

Pytania wynikają z konfiguracji opisanej w badaniu i z dokumentacji OpenAI. Dostawca, który zna swoją metodę, odpowie na każde jednym zdaniem.

1. Skąd pochodzą odpowiedzi: z API, z aplikacji czy z przeglądarki? Dokumentacja OpenAI opisuje wyszukiwanie w sieci w API jako narzędzie, które programista włącza sam, z własnymi ustawieniami.
2. Jaki model i które ustawienie? Badanie pokazało różnice między czterema ustawieniami, więc wynik dla innego ustawienia to osobny pomiar. Zapytaj też, czy dostawca sprawdza, który model faktycznie odpowiedział.
3. W jakim języku i dla jakiego kraju? Sprawdź, czy pytania są po polsku i czy lokalizacja jest ustawiona na Polskę. API pozwala podać przybliżoną lokalizację (kraj, miasto, region, strefę czasową). Aplikacja korzysta z przybliżonej lokalizacji z adresu IP, a udostępnienie dokładnej lokalizacji urządzenia jest opcjonalne i domyślnie wyłączone.
4. Z kontem czy bez? Według pomocy OpenAI wyszukiwanie działa także bez logowania, a przy włączonej pamięci ChatGPT może użyć zapisanych wspomnień przy przepisywaniu zapytania. Konto z pamięcią i okno bez logowania mogą więc dać różne wyniki.
5. Ile razy zadawane jest każde pytanie? W dwóch głównych ustawieniach badacze zadawali każde pytanie 20 razy i nadal widzieli duży rozrzut, więc jedna odpowiedź na pytanie nie wystarczy.
6. Z jakiego dnia są dane i co się dzieje, gdy OpenAI zmienia model? Zapytaj, czy seria pomiarów ma oznaczoną wersję modelu, czy wynik z nowego modelu trafia na tę samą linię wykresu.
7. Co dokładnie jest liczone? Wzmianka marki w treści, cytowanie strony i obecność serwisu dają różne liczby.

Jak sprawdzić kilka ważnych pytań ręcznie w aplikacji po polsku

Ręczny test nie zastąpi pomiaru na setkach odpowiedzi. Pozwala za to sprawdzić, czy raport nie rozmija się z tym, co widzi klient. Kroki poniżej ułożyliśmy sami na podstawie opisanych wyżej ustawień, to nie jest procedura OpenAI.

1. Wybierz 5 do 10 najważniejszych pytań, tak jak zadałby je klient, po polsku. Zapisz ich dokładne brzmienie.
2. Użyj okna bez logowania albo konta z wyłączoną pamięcią, żeby wspomnienia nie wpływały na przepisywanie zapytań. Jeśli dostawca zbiera raport przez zalogowane konto, powtórz test także na takim koncie i zapisz różnicę.
3. Zadaj każde pytanie w nowej rozmowie, najlepiej 5 do 10 razy, w różnych dniach. Dla każdego zapisz: datę, wersję modelu widoczną w aplikacji, czy marka padła w odpowiedzi i które strony wymieniono w źródłach (przycisk Sources, gdy jest dostępny).
4. Część testów zrób z miasta, w którym działa firma. Pomoc OpenAI zaznacza, że sieć VPN albo lokalizacja sieci może zmienić przybliżoną lokalizację ustalaną z IP.
5. Porównaj wynik z raportem: odsetek odpowiedzi z marką w ręcznym teście i w raporcie, serwisy w źródłach i serwisy z raportu.

Różnica w jednym pytaniu nie oznacza jeszcze błędu raportu, bo w badaniu pojedyncze odpowiedzi mocno się od siebie różniły. Jeśli różnica powtarza się w większości pytań, zapytaj dostawcę o metodę. Jak zadawać pytania i czytać odpowiedzi, opisujemy w tekście o sprawdzaniu, czy ChatGPT poleca Twoją firmę.

Jak rzetelnie podawać wynik

Z badania wynika jedna zasada raportowania: podawaj wynik razem z wielkością próby i rozrzutem.

• Zamiast „widoczność 60%” napisz „marka padła w 12 z 20 odpowiedzi na 5 pytań, model X, bez logowania, Polska, 3 do 5.11.2026”.
• Dołącz przedział. Dla 12 z 20 odpowiedzi, traktowanych jako niezależne próby, 95-procentowy przedział Wilsona wynosi od około 39% do 78% (nasze wyliczenie). Zmiana z 60% na 50% przy takiej próbie mieści się w szumie.
• Pokazuj obecność marki i obecność cytowanych serwisów osobno od pojedynczych adresów.
• Na osi czasu zaznacz każdą zmianę modelu, metody zbierania albo zestawu pytań.
• Jako wskaźniki podawaj widoczność (odsetek odpowiedzi z marką) i share of voice (udział marki we wzmiankach o śledzonych markach). Nie przeliczaj ich na ruch ani sprzedaż. Ruch, który faktycznie przychodzi z ChatGPT, mierzy się osobno. Opisujemy to w tekście o ruchu z ChatGPT w Google Analytics 4.

Pojęcia takie jak share of voice w AI wyjaśniamy w słowniku AI Search.

Czego nie wiadomo (stan na 6 listopada 2026)

• Nie znaleźliśmy opublikowanego porównania aplikacji ChatGPT z API dla polskich pytań.
• Nie wiadomo, jak blisko aplikacji są konkretne narzędzia komercyjne. Praca ich nie testowała.
• Praca jest preprintem i nie wiemy, czy przejdzie recenzję. Główne dane (GPT-5.3 Instant i GPT-5.5 Instant) pochodzą z okresu od marca do lipca 2026 roku, a modele w ChatGPT się zmieniają.
• Nie wiadomo, jaką część różnicy tłumaczy model, a jaką sposób wyszukiwania. Autorzy piszą, że ich obserwacje nie izolują wpływu aktualizacji modelu.