Denne AI-en brukte GPT-4 for å bli en ekspert Minecraft-spiller
AI-forskere har bygget en Minecraft-bot som kan utforske og utvide sine muligheter i spillets åpne verden – men i motsetning til andre bots, skrev denne i utgangspunktet sin egen kode gjennom prøving og feiling og mange av GPT-4-spørringer.
Kalt Voyager, er dette eksperimentelle systemet et eksempel på en «embodied agent», en AI som kan bevege seg og handle fritt og målrettet i et simulert eller ekte miljø. AI-er og chatboter av personlig assistent-typen trenger ikke å faktisk gjøre ting, enn si å navigere i en kompleks verden for å få ting gjort. Men det er akkurat hva en husholdningsrobot kan forventes å gjøre i fremtiden, så det er mye forskning på hvordan de kan gjøre det.
Minecraft er et bra sted å teste slike ting fordi det er en veldig (veldig) omtrentlig representasjon av den virkelige verden, med enkle og greie regler og fysikk, men den er også kompleks og åpen nok til at det er mye å oppnå eller prøve. Spesialbygde simulatorer er også flotte, men de har sine egne begrensninger.
MineDojo er et simuleringsrammeverk bygget rundt Minecraft, siden du ikke bare kan plonk en tilfeldig AI der inne og forvente at den forstår hva alle disse blokkene og grisene gjør. Skaperne (mye overlapping med Voyager-teamet) satte sammen YouTube-videoer om spillet, transkripsjoner, wiki-artikler og en hel masse Reddit-innlegg fra r/minecraft, blant annet, slik at brukere kan lage eller finjustere en AI modell på dem. Den lar også disse modellene vurderes mer eller mindre objektivt ved å se hvor godt de gjør ting som å bygge et gjerde rundt en lama eller finne og utvinne en diamant.
Voyager utmerker seg på disse oppgavene, og yter mye bedre enn den eneste andre modellen som kommer i nærheten, Auto-GPT. Men de har en lignende tilnærming: å bruke GPT-4 til å skrive sin egen kode mens de går.
Vanligvis ville du bare trene en modell på alle de gode Minecraft-dataene og håpe at den ville finne ut hvordan man kan kjempe mot skjeletter når solen går ned. Voyager starter imidlertid relativt naivt, og når den møter ting i spillet, har den en liten intern samtale med GPT-4 om hva den bør gjøre og hvordan.
Styre neste handling, og legge ferdigheter til bunken. Bildekreditt: MineDojo
For eksempel faller natten på og skjelettene kommer ut. Agenten har en generell ide om dette, men den spør seg selv: Hva ville en god spiller av dette spillet gjøre når det er monstre i nærheten? Vel, sier GPT-4, hvis du vil utforske verden trygt, vil du lage og utstyre et sverd, og deretter slå skjelettet med det mens du unngår å bli truffet. Og den generelle følelsen av hva du skal gjøre blir oversatt til konkrete mål: samle stein og tre, bygg et sverd ved håndverksbordet, utstyr det og bekjemp et skjelett.
Når det er gjort disse tingene, blir de lagt inn i et generell ferdighetsbibliotek, slik at senere, når oppgaven er “gå dypt inn i en hule for å finne jernmalm”, trenger den ikke å lære å kjempe på nytt fra bunnen av. Den bruker fortsatt GPT, men den bruker den billigere og raskere GPT-3.5, som forteller den ferdighetene som er mest relevante for en gitt situasjon – så den prøver ikke å gruve skjelettet og bekjempe malmen.
Det ligner på en agent som Auto-GPT som, når den står overfor et grensesnitt den ikke kjenner ennå, må lære seg selv å navigere i det for å nå målet. Men Minecraft er et mye dypere miljø enn det er vant til å løse for, så en spesialagent som Voyager gjør det langt bedre. Den finner flere ting, lærer flere ferdigheter og utforsker et mye større område enn de andre robotene.
Interessant, men kanskje ikke overraskende, tørker GPT-4 gulvet med GPT-3.5 (dvs. ChatGPT) når det kommer til å generere nyttig kode. En test som erstattet førstnevnte med sistnevnte fikk agenten til å treffe en vegg tidlig, kanskje til og med bokstavelig talt, og mislyktes i å forbedre seg. Det er kanskje ikke åpenbart fra å snakke med de to modellene at den ene er mye smartere, men sannheten er at du ikke trenger å være spesielt smart for å føre en tilsynelatende intelligent samtale (spør meg hvordan jeg vet det). Koding er mye vanskeligere og GPT-4 var en stor oppdatering der.
Poenget med denne forskningen er ikke å forelde Minecraft-spillere, men å finne metoder som relativt enkle AI-modeller kan forbedre seg basert på deres “erfaringer”, i mangel av et bedre ord. Hvis vi skal ha roboter som hjelper oss i våre hjem, sykehus og kontorer, må de lære og bruke disse leksjonene på fremtidige handlinger.
Du kan lese mer om Voyager her.