AI Prompt Engineering Is Dead. Dlaczego nowy zawód prawie nie ma przyszłości

Odkąd ChatGPT pojawił się jesienią 2022 roku, każdy próbował swoich sił w inżynierii promptów — znajdując sprytny sposób na formułowanie zapytań do dużych modeli językowych (LLM) lub generatorów sztuki i wideo AI, aby uzyskać najlepsze wyniki lub ominąć zabezpieczenia. Internet jest pełen przewodników po inżynierii zapytań, ściągawek i wątków z poradami, które pomagają użytkownikom wydobyć jak najwięcej z LLM. Pisze IEEE Spectrum.

Według Austina Henleya, byłego pracownika Microsoftu, który przeprowadził wywiady z osobami opracowującymi copiloty oparte na LLM, "każda firma próbuje wykorzystać je w praktycznie każdym przypadku użycia, jaki może sobie wyobrazić". Jednak dziedzina inżynierii promptów stoi w obliczu interesującego zwrotu.

Rick Battle i Teja Gollapudi z kalifornijskiej firmy VMware zajmującej się przetwarzaniem w chmurze byli zakłopotani tym, jak wybredna i nieprzewidywalna była wydajność LLM w odpowiedzi na dziwne techniki promptów. Na przykład, poproszenie modeli o wyjaśnienie ich rozumowania krok po kroku (technika zwana łańcuchem myśli) poprawiło wyniki w pytaniach matematycznych i logicznych. Co dziwniejsze, dawanie modelowi pozytywnych podpowiedzi, takich jak "to będzie zabawne" lub "jesteś tak mądry jak ChatGPT", czasami poprawiało wydajność.

Battle i Gollapudi systematycznie testowali wpływ różnych strategii inżynierii podpowiedzi na zdolność LLM do rozwiązywania pytań matematycznych w szkole podstawowej. Co zaskakujące, stwierdzili oni brak spójności. Podpowiedzi w postaci łańcucha myśli czasami pomagały, a innym razem szkodziły wydajności. Jak to ujęli, "jedynym prawdziwym trendem może być brak trendu". To, co działa najlepiej, zależy od konkretnej kombinacji modelu, zbioru danych i strategii podpowiadania.

Alternatywą dla inżynierii promptów metodą prób i błędów, która przyniosła niespójne wyniki, jest poproszenie modelu językowego o opracowanie własnej optymalnej podpowiedzi. Niedawno opracowano narzędzia automatyzujące ten proces, pozwalając modelowi określić najbardziej efektywny sposób formułowania zapytań. Podczas gdy inżynieria podpowiedzi wydaje się kluczowa podczas opracowywania prototypu, wiele innych kwestii wchodzi w grę podczas tworzenia produktu klasy komercyjnej.

Podsumowując, krajobraz inżynierii promptów ewoluuje, a rola inżynierów promptów może się zmienić, gdy modele staną się bardziej biegłe w optymalizacji własnych sugestii. Niech żyje inżynieria podpowiedzi!