U.Seung's Log

인터넷, 특히 웹이 대중화 되면서 접근 가능한 데이터량이 많아지면서 엄청나게 많아지고 있다. 이러한 데이터 들은 다양한 방면의 연구에 도움을 주고, 이를 통해서 새로운 재미난 일들이 계속 생기고 있다.

위의 그림은 사진에 뚫어진 구멍을 다른 사진들을 통해서 채우는 기술이다. (CMU에서 SIGGRAPH 2007에 출품한 논문이라고 한다. ) 이미지에 구멍을 메꾸는 기술이 세상에 소개된지는 꽤 되었던 것 같다. 내가 알고 있는 것만 해도 Microsoft의 Smart Erase도 있고, 그밖에 다양한 기법들을 들어 왔었다.

이번 Scene Completion도 다른 사진 처리 기법들을 토대로 한 것이지만..
주목할만한 점은 사진을 메꿀 Image정보를 Original Source에서만 찾는 것이 아니라 Flickr에 있는 많은 사람들이 이미 찍어둔 사진에서 정보를 찾았다는 것에 있는 것 같다.

실제로 이들은 연구를 위해 2.3 million개에 해당하는 사진을 Flickr에서 다운 받아서 사용했다고 한다.

기술의 내용을 보면..
단순히 그림들을 뒤져서 구멍의 Boundary가 비슷한 이미지를 채울 수 있도록 사진의 조명이나 구도만 맞는 것을 찾아서 붙이는 것 단순한 방식은 아니다. 그렇게 하면 하늘이 채워져야할 이미지에 보트가 떠있는 바닷물이 채워질지도 모른다. 사진속에 주변의 환경들에 관한 것도 신경을 써서 유사한 풍경의 사진의 분류하고, 빈칸의 Object에 들어갈만한 것을 예측해서 채워준다. 이렇게 해서 호수위에 잠수함이 생긴다던가 집앞 잔디밭 위에 코끼리가 생기는 것을 방지한다고 한다.
 
즉, 단순히 Seamless한 사진을 맞추는 것이 아니라 Semantic한 요소도 고려한다고 한다.

---

#.

이러한 2D이미지 처리 기술은 날이 갈수록 발전하는 것 같다.
Microsoft Research만 해도 Photosynth, Seadragon... etc..

사진 처리 기술은 당장에 현실 세계의 Map을 만드는데 사용될 가능성이 높은 것 같다.
사진에 특정 Object를 지우는 기술이 보편화 되면 Google Maps Street View 같은 곳에서 사람들, 자동차 들을 제거하여서 사생활 침해가 줄일 수 있지 않을까?



#.
 대규모 데이터의 패턴을 분석하는 것은..  사진 뿐만아니라 다른 분야에도 적용될 수 있을 것 같다.

 웹에 있는 얻을 수 있는 자료를 최대한 많이 뽑아서..
 비슷한 패턴을 찾고, 가장 잘 맞을 것 같은 것 같은 자료를 선별하는 방법을 쓴다면..
 다양한 것을 예측할 수 있지 않을까...?



 물론, 말처럼 간단한 일은 아니다.