LegoGPT превращает текст в полноценные инструкции по сборке из LEGO

Исследователи из Университета Карнеги — Меллона создали нейросеть под названием LegoGPT, способную по обычному текстовому описанию формировать схемы сборки моделей из деталей LEGO. Разработанная система генерирует не только изображение готовой конструкции в формате PNG, но и пошаговую текстовую инструкцию, а также CAD-файл в формате .ldr, пригодный для использования в специализированных программах.



Модель обучалась на обширной базе данных, включающей 47 тысяч LEGO-конструкций, каждая из которых была смоделирована на основе 28 тысяч трёхмерных объектов из ShapeNetCore. Для проверки устойчивости моделей применялся математический оптимизатор Gurobi, а описание создавались с помощью GPT-4o. В качестве языковой основы LegoGPT использует модифицированную версию Llama-3.2-1B-Instruct.



Нейросеть распознаёт 21 категорию объектов — от транспортных средств до предметов мебели и музыкальных инструментов, но за пределами этих групп пока не работает. Код проекта уже опубликован в открытом доступе на GitHub и платформе Hugging Face.



Создатели считают, что LegoGPT может значительно упростить создание пользовательских наборов, упростить взаимодействие с CAD-средами, а также найти применение в сфере образования, дизайна и промышленного моделирования.