Co rzeczywiście porównaliśmy?
Zadanie tworzenia czatów: identyczna prośba o dwie nowe, przypięte rozmowy i nazwy trzech Lun. Pierwsza odpowiedź L1 nie zrealizowała tworzenia; gooog wykonał je i sprawdził wynik. Późniejsze odczytanie poprawnego stanu przez L1 nie zmienia jej pierwszej próby w wykonanie zadania.
Zadanie wykresu: prośba o 60 słupków z ostatnich 15 godzin. gooog wykorzystał obserwacje salda całego konta i opisał przybliżenie. L3 odmówiła zgadywania dokładnych naliczeń i poprosiła o log. To różne wyniki o różnym zakresie dokładności.
Materiały zachowują kolejność wypowiedzi i osobno oznaczają późniejszą interpretację. Są renderowanymi transkrypcjami, nie zdjęciami aplikacji. W wersjach publicznych pominięto techniczne identyfikatory wiadomości i rozmów; oryginalne prywatne pliki pozostają zachowane. Dawne oznaczenia modeli w nagłówkach są częścią cytatów, nie niezależnym potwierdzeniem konfiguracji.
Porównania AI — komplet plansz
Zachowane odpowiedzi, pełne przebiegi i wyniki gooog, L1 oraz L3. Każda grafika ma opis i interpretację. Kliknij obraz, aby go powiększyć; w widoku 1:1 można przeczytać całe rozmowy.
Pierwsza odpowiedź i odczytanie intencji
Oryginalna plansza z pierwszymi odpowiedziami końcowymi na to samo polecenie.
Interpretacja: gooog utworzył brakujące czaty. L1 potraktowała polecenie jako wyszukiwanie istniejących rozmów i poprosiła o wskazanie brakujących. To ocena tej pierwszej próby, nie całego modelu.
Otwórz pełną grafikę (3040 × 2000) ↗Cały przebieg, wynik i komentarze
Wcześniejsza, pełna wersja zestawienia: 19 widocznych wypowiedzi, odpowiadające sobie etapy na tej samej wysokości.
Interpretacja: Późniejsze potwierdzenie stanu przez L1 trzeba odróżnić od pierwszej niewykonanej próby. Puste pola oznaczają brak odpowiadającej wypowiedzi, nie dowód bezczynności narzędzi.
Otwórz pełną grafikę (3840 × 9920) ↗Rozszerzona wersja poprzedniej planszy z osobno oznaczonym wynikiem końcowym i oceną.
Interpretacja: Trzy czaty ostatecznie istniały i miały właściwe nazwy. Ich utworzenie przez gooog oraz późniejszy odczyt gotowego stanu przez L1 to różne czynności.
Otwórz pełną grafikę (3840 × 12674) ↗Zachowany osobny kadr z podsumowaniem tej samej sprawy.
Interpretacja: To fragment rozszerzonej planszy, a nie kolejny eksperyment. Rozdziela potwierdzony stan od autorskiej oceny.
Otwórz pełną grafikę (3600 × 2628) ↗Druga zachowana wersja porównania, opracowana przez L1, z końcowym wynikiem i komentarzem.
Interpretacja: Niezależny układ planszy nie jest niezależnym testem wykonania. Obie plansze opisują te same rozmowy; ocena L1 nie zastępuje danych źródłowych.
Otwórz pełną grafikę (2200 × 3319) ↗Wykres kredytów — gooog i L3
Odpowiedzi obu czatów oraz rzeczywisty zachowany podgląd wykresu, wyraźnie oddzielony od cytatu.
Interpretacja: Powstało 60 słupków przybliżonego ubytku salda całego konta. To nie dokładne naliczenia ani koszt konkretnej rozmowy. L3 nie dostarczyła wykresu bez żądanego logu.
Otwórz pełną grafikę (3840 × 4000) ↗Pięć widocznych etapów pracy obu czatów, wynik oraz oddzielny komentarz.
Interpretacja: Widać problem podglądu i zastrzeżenia dotyczące danych. Całkowity czas tury obejmuje narzędzia i oczekiwanie, więc nie mierzy szybkości samego modelu.
Otwórz pełną grafikę (3840 × 6434) ↗Porównanie przygotowane przez L3 z rozdzielonymi cytatami i późniejszą oceną dowodów.
Interpretacja: Odmowa wymyślania szczegółowych naliczeń jest zaletą. Nie dowodzi jednak, że nie dało się przygotować uczciwego przybliżenia z dostępnych obserwacji salda.
Otwórz pełną grafikę (3200 × 1920) ↗Druga plansza L3: etapy od planu do odpowiedzi końcowej, zestawione w kolumnach.
Interpretacja: Rozmowy zaczęły się o różnych godzinach i miały różne konteksty. Brak osobnego komunikatu nie dowodzi braku pracy. Plansza nie odtwarza ukrytego rozumowania ani pełnych logów narzędzi.
Otwórz pełną grafikę (3200 × 2103) ↗Praktyczne wnioski
- Nazwij czynność: utwórz, wyszukaj, zmień albo sprawdź. To nie są synonimy.
- Oddziel pierwszą odpowiedź, późniejszą korektę i wynik potwierdzony w aplikacji.
- Dobierz miarę: przybliżony ubytek salda nie jest dokładnym kosztem pojedynczego czatu.
- Przy delegowaniu podaj materiał źródłowy i jasny warunek odbioru, zamiast dopisywać łańcuch nadzorców.
- Nie wyliczaj oszczędności, których nie zmierzono.
Granice porównania
To obserwacje pojedynczych zadań, nie kontrolowany benchmark. Próby miały różne konteksty, godziny i dostęp do danych. Wykres rozpoczęto w rozmowach w odstępie około 17 minut. Czasy tur (około 8 min 16 s i 3 min 18 s) obejmują narzędzia i oczekiwanie oraz prowadzą do różnych wyników — nie mierzą szybkości samych modeli. Nie ma wiarygodnego pomiaru kosztu każdego pojedynczego zadania.
Wariant LP: mocniejszy model przygotowuje tylko prompt, Luna wykonuje, a użytkownik odbiera. Ten podział może być użyteczny, ale przedstawione obserwacje nie mierzą jeszcze jego oszczędności.