Firma Cognition została ostatnio oskarżona o kłamstwo na temat wydajności Devina w swoich filmach promocyjnych. Autorka blogu 80lv przeanalizowała, jak Devin rozumie wysłane mu zadania i oto, co znalazła. Publikujemy przetłumaczony blog.

Nie jestem inżynierem oprogramowania, więc postaram się, aby było to tak proste, jak to tylko możliwe. 

Autor kanału YouTube o nazwie "Internet of Bugs" opublikował niedawno film, w którym analizuje przykład ukończenia projektu Upwork przez Devina.

Następnie twórca kanału "Computer Vision Engineer" Felipe obejrzał również ten film, aby wskazać, co sztuczna inteligencja zrobiła źle.

Po pierwsze, Devin nie wykonał najważniejszej części zadania — zrozumienia problemu. W oryginalnym poście napisano: "Szukam możliwości wnioskowania na podstawie modeli z tego repozytorium. Produktem końcowym będą szczegółowe instrukcje, jak to zrobić w instancji EC2 w AWS. Proszę o podanie szacunkowego czasu wykonania tego zadania".

Felipe nie mógł spełnić wymagań i dopasować różnych wersji oprogramowania, więc sztuczna inteligencja musiała zrobić to za niego. Jednak Cognition przekazał Devinowi tylko pierwsze zdanie. Biorąc pod uwagę, że żądanie znajdowało się w drugiej części, jest to znaczący błąd ze strony firmy, więc sztuczna inteligencja nie mogła oczywiście dostarczyć oczekiwanego rezultatu.

Kolejną fantastyczną umiejętnością pierwszego inżyniera oprogramowania AI jest znajdowanie błędów, których ludzie nie zauważają. Problem w tym, że Devin może napotkać błąd w pliku, który nie znajduje się w repozytorium i został stworzony przez niego samego, więc naprawia swój własny błąd. 

Devin rozwiązuje więc nie to zadanie, które miał wykonać. Poza tym, takie rozwiązanie zajmuje mu wiele godzin. 

Myślę więc, że ludzcy inżynierowie oprogramowania nie stracą pracy w najbliższym czasie, nawet z tak potężnymi narzędziami jak Devin.