개발 · 컴퓨터공학/three.js

threejs에서 Machine Learning(ML)을 할 수 있을까?

threejs에서 머신러닝갑작스럽게 threejs 환경에서 학습을 돌리고 이를 반영할 수 있을까 하는 생각이 들었다.유니티나 언리얼 같은 환경에서는 ML을 지원한다.  유니티의 경우 ML-agents 라는 강화학습 플러그인을 제공하는데. 이런 것처럼 많은 사람들이 threejs 환경에서 3D 오브젝트를 기반으로 학습을 돌리는 환경이 있을지 궁금해졌다찾아보도록 하자.neurojsthreejs라고 딱 잡아서 찾을 수는 없다 결국 인터프리터가 javascript이기 때문에 js 상에서 머신러닝을 이용하는 방법을 찾았다 특히 딥러닝 중 강화학습을 이용해보고자 하는데 neurojs라는 라이브러리가 star가 4.4k인 걸로 보아 상당히 보편적인 것 같다  GitHub - janhuenermann/neurojs: ..

2024. 6. 17. 09:42

개발 · 컴퓨터공학/three.js

threejs 의류 관련 프로젝트 - 의상 color customize

3D TShirt Design 3D-TShirt-DesignCustomize Select a color zone below, then choose your team colors.devramkumardnagarajan.github.io3D TShirt Design 이라는 오픈소스 프로젝트이다  이거는 개인적으로 만든 작품인 것 같다.단순히 색만 바꾸는 듯 한데, 의상의 material이 잘 분리되어있어서 각각 적용이 가능하네  글씨는 이렇게 바꿀 수 있는 걸로 보아 모델 위에다가 projection 시킨 것 같은데구현 방법을 보고 참고해보면 좋을 것 같다  GitHub - devramkumardnagarajan/3d-Tshirt-design: Design Tshirt's using Three.jsDesig..

2024. 6. 16. 09:02

개발 · 컴퓨터공학/three.js

threejs 가상 피팅 사이트 virtual try on 레퍼런스

가상피팅 기술 virtual try on 관련 분야에서는 VTON이라고도 하는 가상 피팅 기술은 3D에 적용되는 것이 진가라고 생각한다.  Style.me | A New Way to Experience Digital FashionTransforming digital fashion and virtual fitting. Our 3D technology brings new utility to fashion. You can now wear, share and use fashion across metaverses.style.me threejs 포럼을 뒤지다가 위 사이트를 발견했는데,  이미지의 Try on 버튼을 누르거나 오른쪽 아래의 fitting room을 통해서 자신의 아바타에 옷을 실제로 입혀보는 효과가 ..

2024. 6. 15. 09:07

개발 · 컴퓨터공학

OOTDiffusion을 이용한 PyQT 애플리케이션 만들기 (파이썬 GUI 프로그램, QT 애플리케이션, virtual try on, 가상피팅, diffusion model)

PyQT란pyQT는 대표적인 크로스 플랫폼 프레임워크인 QT를 python 상에서 이용할 수 있도록 바인딩 해놓은 것이다가상피팅 오픈소스 OOTDiffusion을 가지고 pyQT로 응용 프로그램을 개발해볼 것이다 OOTDiffusion 오픈소스  OOTDiffusion 코드를 받아서 환경 세팅하고 실행하는 포스팅은 정리해두었기에 추후 따로 준비해보도록 하겠다 OOTDiffusion 실행 코드python run_ootd.py --model_path ./examples/model/model_1.png --cloth_path ./examples/garment/00055_00.jpg --scale 2.0 --sample 1위 코드를 이용하면 model 이미지와 garment 이미지를 가지고 가상 피팅을 한 결과..

2024. 6. 14. 09:02

개발 · 컴퓨터공학

멀티미디어 - Motion 모션 (optical flow, estimating optical flow, brightness constancy contraint, lucas-kanade flow)

Optical flow시공간 이미지 밝기 변화를 통해 각 픽셀의 이미지 움직임을 복원한다 Feature‐tracking시각적 특징(corner, textured area)을 추출하고 여러 프레임에 걸쳐 이를 추적한다 Optical flow한 장의 영상에 두 장의 영상을 가지고 intensity의 흐름을 본다 이미지에서 밝기 패턴의 겉보기 움직임이다겉보기 움직임은 실제 움직임 없이 조명 변화에 의해 발생할 수 있다 목표는 optical flow를 통해 각 픽셀의 이미지 움직임을 복원하는 것이다 단점- 움직임 uv가 edge를 따라서 다오면 추정하기 어렵다Estimating optical flow두 연속 프레임이 주어지면, 그 사이의 겉보기 움직임 필드를 추정한다  주요 가정은brightness consta..

2024. 6. 13. 09:15

개발 · 컴퓨터공학

멀티미디어 - Computer Vision 4 컴퓨터 비전 (recognition, skin detection classifier, bayes rule estimation, visual recognition, generative discriminative model, bag of word)

RecognitionSkin detection피부 픽셀은 RGB혹은 HSV로 표현하는 색상 영역에 해당한다 픽셀 x가 해당 영역에 속하면 피부로 분류한다  example로 피부영역을 학습하고 training image에서 수동으로 피부/비피부 픽셀을 라벨링한다 RGB 공간에 훈련 데이터를 띄운다 피부 픽셀은 주황색 비피부는 회색으로 표시한다 일부 피부 픽셀이 영역 밖에 있을수도, 비피부 픽셀이 영역 안에 있을 수도 있다 Skin classifier새로운 값 x가 주어지면 피부인지 결정하는 방법 x와 가장 가까운 라벨링된 픽셀을 찾는 nearest neighbor 기법이 있다 SVM을 이용해서 두 클래스를 구분하는 평면/곡선을 찾는다 각 클래스에 확률 밀도/분포 모델을 맞추는 데이터 모델링을 한다 Prob..

2024. 6. 12. 09:07