Stability AI and Tripo AI have introduced TripoSR for 3D work
TripoSR generates a textured 3D mesh from a single source image, automatically creating geometry and textures not visible in the original image. The model was trained on a subset of the publicly available Objaverse research dataset, using 3D models licensed under the Creative Commons CC BY license.
In the technical report accompanying the release, Stability AI and Tripo AI compare TripoSR with other open-source 3D reconstruction models such as OpenLRM and One-2-3-45. TripoSR outperformed other tested models in terms of the accuracy of the generated models as well as processing time. In the demonstration video by Tripo AI, the results appear quite impressive, although the simpler models in the Stability AI blog video may be more typical for final results.
The initial user tests, such as this video from GamesFromScratch, show that the results for solid surface objects can be used as background models for games or AR applications, although the results for organic characters are... quite interesting.
The source code for TripoSR is available on GitHub under the MIT license, along with a list of dependencies. The model's weights are available on Hugging Face.
At default settings, the model requires around 6 GB of VRAM to process a single image, but according to Stability AI, it can operate on a PC without a GPU.
Машинному обучению.
Машинное обучение не требует какого-то супер большого числа людей и не является чем-то, что может в себя вместить даже малую часть людей, от уничтоженных Нейросетями профессий.
Ну некуда уходить, на заводах столько не нужно, они есть не везде, да и сидеть на заводе за 35 000 рублей как-то не очень интересно, да и до заводов все это добирается, до полей и агрономов тоже, вот уже беспилотные грузовики и комбайны внедряют.
Жить с помощью собственного хозяйства, выращивать самому всю необходимую еду для себя, и чтобы обмениваться с соседями.
Новости смотрите? Как скот уничтожают под предлогом болезней. Корпорациям не выгодна ваша независимость.
или вот
Но это генерация модели по запросам. Нейросети начали обучать на генерацию моделей не так давно (по сравнению с генераторами изображений - буквально вчера), а они уже демонстрируют неплохие возможности, лимитированные пока-что недостаточным обучением. А обучение - вопрос больше времени.
Во-вторых - пример выше, это больше пробная разработка именно для генерации меша из одной картинки. Системы строящие модели по нескольким изображениям для фотограмметрии дают гораздо более качественный результат даже для телефона, и эти наработки не так сложно совместить как кажется.
Так что из систем типа "модель из ОДНОЙ картинки" это первая ласточка, на самом начальном этапе развития. Будут вливания финансов, результат радикально улучшится. Причем боюсь что улучшится быстрее и будет выдавть гораздо более качественный чем ваш упомянутый школьник изучит Blender чтобы делать какие-то более модели чем нейросеть. Потому-что одной какой-то функции можно нейросеть научить за неделю, и она будет за час тысячи моделей штамповать, а школьник как делвл пару моделей за рабочий день, так и будет делать.
- полное отсутствие перспективы для вспомогательных деталей, например взял фото пингвина с автоматом, пингвин вышел более менее, а автомат, повторил очертания пингвина, т.е. стал полукруглым ))
- плохая проработка мелких деталей, можно сказать почти полное их отсутствие (отверстия, выпуклости и т.п.).
В целом повторяет только контур основной модели, с грубейшими нарушениями топологии сетки и ее избыточностью (одна модель - это 100-150К полигонов!!!). Видимо делает модели вокселями и местами видны очертания маленьких кубов на поверхности. Проще и быстрее делать самому. Не рекомендовал бы даже для мелких деталей заднего плана.Да причем тут ужасные модели или нет, сегодня ужасные, завтра хорошие, после завтра лучше чем у людей, после после завтра дешевле, быстрее, качественнее и уже не нужны моделлеры, нужен оператор который закрывает за 2 дня то, что делало 2 студии 3 месяца.
Нужно подумать, где брать оружие, чтобы защищать поля! Луки и пращи или попытаться прокачивать высокотехнологичные арбалеты?
https://3dfy.ai/solutions
Тут уже и сеточка неплохая, если почитать посмотреть. Вот у них правильный подход, они не просто делают меш из кучу полигонов, они тут структурируют и разбирают на отдельные части семантически. Скорее всего со временем будут "доучивать" имеющиеся модели для генерации более детального результата и добавлять новые.
А вообще тут как со Stable Diffusion скорее всего будет. Разработают бесплатную тулзу и запилят еще какой-нибудь портальчик где можно будет качать специализированные обученные на нужный стиль и тип ассетов модели.
Вот например по типу такого: https://civitai.com/search/models?sortBy=models_v6
Заходишь, выбираешь модель типа "футуристические тачки" или "персонажи в стиле Disney" и генеришь сразу хорошие модели прямо с текстурами. Возможно будет какой-то взаимообмен, и на вход как вышеприведенном примере достаточно будет подать грубый набросок или скетч, который одна нейросеть преобразует в 2D, а другая, используя картинку как референс строит модель. А потом по разным ракурсам этой модели можно будет делать пометки типа "добавить старинную шляпу" или "изменить цвет волос на рыжий", "нос побольше", "штаны должны быть из клетчатой ткани", "добавь в руку ржавый двуручный меч". Потом это идет опять на допиливание в первую нейросеть и потом снова второй сетью выдается модель, на которой можно будет помечать уже другие правки.
Я думаю в 3D до такого где-то года два еще нужно будет, это максимум. Уже начались шевеления, уже виден прогресс, поэтому сейчас пойдет взрывной интерес на разработки в этой области, и потом уже только мелочи дорабатывать, вносить разнообразие.
нейронкам
очевидно же)