AI to opanowanie języka. Czy powinniśmy ufać temu, co mówi?

„Myślę, że dzięki temu jesteśmy bardziej rozważni i świadomi kwestii związanych z bezpieczeństwem” — mówi Altman. „Część naszej strategii polega na tym, że stopniowe zmiany na świecie są lepsze niż nagłe zmiany”. Lub jak ujęła to wiceprezes OpenAI Mira Murati, gdy zapytałam ją o pracę zespołu ds. bezpieczeństwa ograniczającą otwarty dostęp do oprogramowania: „Jeśli dowiemy się, jak aby korzystać z tych potężnych technologii, zacznijmy, gdy stawki są bardzo niskie”.

Podczas samego GPT-3 działający na tych 285 000 rdzeniach procesora w klastrze superkomputerów Iowa, OpenAI działa w Mission District w San Francisco w odnowionej fabryce bagażu. W listopadzie ubiegłego roku spotkałem tam Ilyę Sutskever i próbowałem namówić laika, aby wyjaśnił, jak naprawdę działa GPT-3.

„Oto sedno GPT-3”, powiedział pospiesznie Sutskever, pochylając się do przodu na swoim krześle. Ma intrygujący sposób odpowiadania na pytania: kilka falstartów — „Mogę podać opis, który prawie pasuje do tego, o co prosiłeś” — przerywane długimi, przemyślanymi pauzami, jakby przed zapłaceniem przedstawiał całą odpowiedź.

„Podstawową ideą GPT-3 jest sposób na połączenie intuicyjnego pojęcia zrozumienia z czymś, co można zmierzyć i zrozumieć mechanicznie” – powiedział w końcu – „i to jest zadanie przewidzenia następnego słowa w tekście. ” Inne formy sztucznej inteligencji próbują zakodować informacje o świecie: strategie szachowe arcymistrzów, zasady klimatologii. Ale inteligencja GPT-3, jeśli inteligencja jest właściwym słowem, pochodzi od podstaw: poprzez elementarny akt przewidywania następnego słowa. Aby wytrenować GPT-3, model otrzymuje „podpowiedź” — kilka zdań lub fragmentów tekstu, powiedzmy, artykułu prasowego, powieści lub artykułu naukowego — a następnie proszony jest o zasugerowanie listy możliwych słów, które można uzupełnić. sekwencja posortowana według prawdopodobieństwa. Na wczesnych etapach treningu sugerowane słowa są nonsensem. Zakwestionuj algorytm za pomocą zdania typu „Autor pominął ostatnie słowo pierwszego”. . . ’, a domysły będą jakimś potokiem bzdur: 'satelita’, 'szczeniak’, 'Seattle’, 'w związku z tym’. Ale gdzieś na liście – może tysiące słów w dół listy – pojawi się poprawne brakujące słowo : „Jednostka głośności”. Oprogramowanie następnie wzmacnia wszelkie losowe połączenia neuronowe, które wygenerowały tę konkretną sugestię i osłabia wszelkie połączenia, które wygenerowały nieprawidłowe domysły. A następnie przejdź do następnego monitu. Z biegiem czasu oprogramowanie uczy się z wystarczającą liczbą iteracji.

W styczniu ubiegłego roku OpenAI dodał funkcję, która pozwalała użytkownikom podawać bezpośrednie instrukcje GPT-3 jako monit, zamiast po prostu prosić o rozszerzenie przykładowego fragmentu tekstu. Na przykład kiedyś poprosiłem GPT-3 w trybie „Instruuj”: „Napisz esej na temat roli metafikcji w pracy Italo Calvino”. W zamian oprogramowanie dostarczyło ściśle skonstruowane, składające się z pięciu akapitów, wyjaśnienie, które zaczyna się w następujący sposób:

Włoski pisarz Italo Calvino uważany jest za mistrza metafikcji, gatunku pisarstwa, w którym autor przełamuje czwartą ścianę, aby omówić sam akt pisania. Dla Calvino metafikcja to sposób na poznanie natury rzeczywistości i sposobów, w jakie historie mogą kształtować nasze postrzeganie świata. Jego powieści często zawierają zabawne, labiryntowe struktury, które bawią się granicami między rzeczywistością a fikcją. Na przykład w „Kiedy w zimową noc podróżnik” czytelnik jest nieustannie przerywany metapoziomowymi dyskusjami o czytaniu i naturze opowiadania. . . .

Możesz dawać GPT-3 dokładnie ten sam monit w kółko i za każdym razem wytworzy unikalną odpowiedź, niektóre bardziej przekonujące niż inne, ale prawie wszystkie niezwykle elokwentne. Instrukcje mogą przybierać dowolną formę: „Daj mi listę wszystkich składników w sosie bolońskim”, „Napisz wiersz o francuskiej wiosce na wybrzeżu w stylu Johna Ashbery’ego”, „Wyjaśnij Wielki Wybuch w języku 8-latka”. stary rozumie. Kilka razy, kiedy karmiłem tego rodzaju podpowiedziami GPT-3, poczułem dreszcz przebiegający po moim kręgosłupie. Wydawało się prawie niemożliwe, aby maszyna mogła generować tak jasny i responsywny tekst w oparciu wyłącznie o elementarny trening przewidywania następnego słowa.

Ale sztuczna inteligencja ma długą historię tworzenia iluzji inteligencji lub zrozumienia bez faktycznego dostarczania towarów. w jednym dużo dyskutowany artykuł W zeszłym roku profesor lingwistyki Emily M. Bender z University of Washington, były badacz Google Timnit Gebru, wraz z grupą współautorów opublikowali, że duże modele językowe to tylko „stochastyczne papugi”, to znaczy oprogramowanie wykorzystuje randomizację, aby po prostu przetasować zdania pisane przez ludzi. „To, co się zmieniło, nie jest krokiem przez próg w kierunku sztucznej inteligencji” – powiedział mi niedawno Bender w e-mailu. Zmieniła się raczej „sprzęt, oprogramowanie i innowacje ekonomiczne, które umożliwiają gromadzenie i przetwarzanie ogromnych zbiorów danych”, a także kultura technologiczna, do której „ludzie, którzy budują i sprzedają takie rzeczy, mogą dostać się”. ”. Precz z budowaniem ich na nieutwardzonych danych”.