LegoGPT: AI omvandlar textkommandon till Lego-kreationer

Image by Xavi Cabrera, from Unsplash

LegoGPT: AI omvandlar textkommandon till Lego-kreationer

Lästid: 2 min

Forskare vid Carnegie Mellon University har introducerat LegoGPT, ett nytt AI-system som bygger verkliga Lego-kreationer från skriftliga beskrivningar.

Har du bråttom? Här är de snabba fakta:

  • Det säkerställer fysisk stabilitet med hjälp av fysikmedveten återställning.
  • Tränad på 47 000 stabila Lego-strukturer och GPT-4o bildtexter.
  • Använder endast 8 olika typer av klossar inom ett 20×20×20-utrymme.

Det är den första AI:n av sitt slag som inte bara följer en textinstruktion—som ”ett strömlinjeformat, förlängt fartyg”—men också säkerställer att den resulterande strukturen är fysiskt stabil och kan byggas, tegel för tegel.

”För att åstadkomma detta, skapar vi en stor skala, fysiskt stabil dataset av LEGO-designer, tillsammans med deras associerade bildtexter,” förklarade teamet i deras forskningsrapport.

LegoGPT tränades med hjälp av över 47 000 stabila Lego-modeller i kombination med detaljerade bildtexter genererade av GPT-4o. Dessa byggdes från 3D-former, omvandlades till Lego-strukturer, och sedan testades för verklig stabilitet med hjälp av fysiksimulationer.

Varje struktur beskrevs också ur 24 olika vinklar, så att AI:n kunde lära sig hur olika design bör se ut i ord.

Teamet använde en speciell teknik som kallas för ”fysikmedveten återställning”, där instabila delar av en design tas bort och byggs om tills hela strukturen står stadigt. Detta förbättrade byggframgång från 24% till 98,8%.

AI-modellen, baserad på Metas LLaMA-3.2-Instruct, förutser vilket Lego-kloss som ska placeras härnäst – liknande hur ChatGPT förutser nästa ord. Varje föreslagen kloss kontrolleras för placering, storlek och eventuella kollisioner innan den läggs till i modellen.

LegoGPTs skapelser kan byggas av både människor och robotar. ”Våra experiment visar att LegoGPT producerar stabila, varierade och estetiskt tilltalande Lego-designer som stämmer väl överens med de inmatade textuppmaningarna,” skrev forskarna.

För tillfället använder LegoGPT bara åtta grundläggande klosstyper och fungerar inom ett 20×20×20-utrymme, men teamet hoppas kunna utvidga det.

Deras fullständiga databas, kod och modell är fria att tillgå, så att andra kan fortsätta att bygga på denna forskning. Alternativt kan du bara leka runt med deras demo.

Var den här artikeln hjälpsam?
Betygsätt den!
Riktigt usel Halvdålig Helt ok Riktigt bra! Älskade den!

Vad kul att du gillar vårt arbete!

Skulle du, som vår uppskattade läsare, vilja uppmärksamma oss på Trustpilot? Det går snabbt och betyder jättemycket för oss. Tack för att du är så fantastisk!

Betygsätt oss på Trustpilot
0 Betygsatt av 0 användare
Titel
Kommentera
Tack för din feedback