머신 비전 애플리케이션을 위한 광각 이미지 왜곡 제거

저자: Mark Peterson, Theia Technologies 부사장 (첨단 기술 부문)

서론:
오늘날의 비전 시스템은 작업에 적합한 렌즈를 선택할 경우 많은 장점을 제공합니다. 자율 이동 로봇(AMR), 빈 피킹, 스테레오 비전, 농업 모니터링과 같은 애플리케이션에서는 모두 광각 렌즈가 필요합니다. 최근까지는 초광각 시야를 제공하는 렌즈로 어안 렌즈만 사용할 수 있었습니다. 하지만 어안 렌즈는 높은 수준의 배럴 왜곡을 일으켜 이미지 가장자리의 해상도에 영향을 미치며, 결국 이러한 렌즈의 애플리케이션 사용을 제한하게 됩니다.

직선 렌즈만이 초광각 시야를 제공하면서도 전통적인 광각 렌즈에서 발생하는 배럴 왜곡을 해상도 손실 없이 수정할 수 있습니다. 이 보고서는 전통적인 광각 렌즈를 사용하는 데 따른 문제점을 설명하고, 광각 광학 기기의 실용적 사용을 발전시키기 위한 기술적 혁신을 논의합니다.

광각 렌즈 설계:
3차원 세계를 2차원 평면에 표현할 때, 광각 렌즈를 설계하는 두 가지 일반적인 접근 방식이 있으며, 이는 서로 다른 광학적 효과를 만들어냅니다:

동일한 각도 분할: 각 픽셀이 동일한 각도를 수신하여 이미지에 배럴 왜곡이 발생하는 방식으로, 이는 '어안(fisheye)' 스타일 렌즈입니다.
동일한 평면 거리: 각 픽셀이 평면에서 동일한 거리를 이미징하는 방식으로, 이는 직선(rectilinear) 렌즈입니다.

직선 렌즈는 현실 세계의 직선을 이미지 센서에 그대로 직선으로 유지합니다.이로 인해 발생하는 한 가지 현상은 "기울어짐(lean-over)" 또는 **"키스톤 왜곡(keystoning)"**이라 불리는 효과로, 두 개의 평행선이 수평선에서 만나는 것처럼 보이는 현상입니다. 이 두 선이 센서 상에서 직선으로 이미징되기 때문에, 카메라에서 멀어질수록 키스톤 모양으로 수렴하는 것처럼 보입니다. 이는 마치 물체가 관찰자로부터 기울어져 있는 것처럼 보이게 합니다.
그러나 단, 직선 렌즈가 특히 뛰어난 경우는 LCD 화면의 결함을 이미징할 때와 같이 광축에 수직인 다른 평면에 선이 있을 때입니다. 이 경우 LCD 객체의 직선이 이미지 센서에서 직선으로 이미징됩니다. 이미지 센서의 각 픽셀은 LCD 물체의 동일한 영역을 덮으며, 이 이미지가 직선으로 보이게 됩니다. 동일한 물체를 등각인 어안 렌즈로 이미징하면 LCD의 가장자리가 휘어지고 압축됩니다. LCD 물체의 가장자리 영역은 중심부와 같은 크기임에도 불구하고 센서 픽셀을 훨씬 적게 차지하게 됩니다. 이는 직선 렌즈의 경우와 다릅니다.

이 기울어짐 효과의 또 다른 두드러진 특징은 직선 렌즈의 넓은 시야 가장자리에 있는 물체들에서 발생합니다. 평행선이 수렴하는 것처럼 보이기 때문에, 이미지 가장자리에 있는 물체들이 3D로 늘어난 것처럼 보입니다. 이는 물체가 렌즈의 접선 각도에 따라 평면으로 "평탄화"되기 때문입니다. 직선 렌즈의 시야각이 넓을수록 이 효과가 더 눈에 띕니다.

아래 이미지에서 직교 렌즈로 촬영된 두 자동차는 모두 동일한 너비를 가지고 있지만, B 자동차는 훨씬 비스듬하게 보이기 때문에 늘어난 것처럼 보입니다. 두 자동차는 카메라와 수직인 동일한 평면에 있기 때문에 너비는 동일하지만, 직교 렌즈가 이 평면 측정을 동일한 거리로 센서에 이미징하면서 자동차의 길이가 평탄화되어 늘어난 것입니다.

그림 1. 초광각 직교 렌즈로 인한 3D 늘어남을 보여주는 이미지

이러한 렌즈의 추가적인 장점은 등각 렌즈에 비해 이미지 가장자리의 해상도가 증가한다는 점입니다. 이 해상도 증가로 인해 물체의 탐지, 식별 및 위치 지정이 더 정확해지며, 이는 정확하고 동시적인 위치 측정과 매핑을 필요로 하는 상황 인식 및 내비게이션 애플리케이션에 매우 중요합니다.

광학적 왜곡:
80도 이상의 시야각을 가진 전형적인 광각 렌즈, 특히 어안 렌즈는 잘 알려진 곡선형 배럴 왜곡을 가지고 있습니다. 이 왜곡은 렌즈가 센서에 등각으로 이미징하기 때문에 발생합니다. 이로 인해 이미지가 압축되고 휘어져 보이며, 물체가 이미지 중심에서 멀어질수록 해상도가 저하됩니다(그림 2 참조). 이미지 가장자리의 물체는 압축되어 세부 정보가 손실됩니다. 이 정보는 렌즈를 통과하는 동안 손실되었기 때문에, 소프트웨어로 수정하더라도 복구할 수 없습니다.

그림 2. 압축은 물체가 이미지 중심에서 멀어질수록 물체의 너비를 줄이며, 해상도를 감소시킵니다.

배럴 왜곡은 소프트웨어로 수정할 수 있지만(직선 렌즈 이미지를 생성), 이는 시간이나 처리 능력의 비용을 수반합니다. 이러한 비용은 자율 이동 로봇(AMR)이나 무인 차량(UV) 내비게이션과 같은 실시간 애플리케이션에서 특히 중요해집니다.

반면, 직선 렌즈는 지연이 없다는 장점을 제공합니다. 즉, 왜곡 수정이 필요 없으며 시스템에서 초광각 이미지를 얻기 위한 지연이 발생하지 않습니다. 직선 렌즈는 렌즈 설계에서 배럴 왜곡을 광학적으로 수정하므로 소프트웨어 개입이 필요하지 않습니다.

그림 3. 직교 렌즈로 촬영한 동일한 장면에서는 이미지 가장자리 쪽의 해상도가 증가하는 것을 보여줍니다.

기술적 혁신:
Theia Technologies는 산업 애플리케이션에서 초광각 광학 기기를 사용하는 데 따른 문제를 해결하기 위해 혁신적인 기술을 개발하고 상업화했습니다. Theia Linear Optical Technology®특허는 직선 방식의 초광각, 왜곡이 거의 없는 렌즈를 가능하게 합니다. 이 수상 경력이 있는 기술 플랫폼은 가로 135도 시야각을 제공하며, 다양한 이미지 센서 형식과 멀티 메가픽셀 해상도, 가시광선 및 근적외선(NIR) 보정 모델에서 매우 낮은 배럴 왜곡을 갖춘 렌즈를 제공합니다. 이 렌즈는 최소 10cm의 작동 거리(working distance)를 제공하여 짧은 거리에서 넓은 범위를 커버할 수 있으며, 높은 해상도(최대 200lp/mm) 성능을 제공하며, 435nm에서 940nm까지 동일한 해상도 성능을 유지하는 NIR 보정을 지원합니다.

응용 분야:
초광각, 왜곡 없는 렌즈는 다양한 애플리케이션에 유용합니다. 머신 비전, 로봇 공학 및 자동화 애플리케이션에서 직선 렌즈는 다음과 같은 장점을 제공합니다:

물체 위치 매핑을 지원하여 자율 이동 로봇 및 무인 차량의 실시간 내비게이션에 필수적인 상황 인식을 향상시킵니다. 초광각의 왜곡 없는 시야를 제공하여 장애물을 피하기 위해 물체의 위치를 더 정확하게 탐지하고 계산할 수 있어 더 안전하고 효율적인 내비게이션을 가능하게 합니다.
로봇의 픽 앤 플레이스 애플리케이션에서 작업 표면의 사각지대 없이 근거리 초점과 넓은 범위를 제공하여 색상, 모양, 크기, 바코드 등의 기준으로 물체를 식별하고 선택할 수 있습니다.
배럴 왜곡이나 어안 왜곡을 수정하는 데 걸리는 지연시간 없이 실시간 물체 추적을 제공합니다. 넓은 작업 표면을 커버하여 물체 위치의 타이밍을 개선하고 로봇 동작의 정확성을 높입니다.
넓은 영역에서 근거리 측정 및 검사를 지원하여 다양한 패키지를 식별하거나 포장 손상을 식별할 수 있습니다.
원격 지역에서 고해상도로 파이프라인을 모니터링할 수 있습니다. 넓은 시야각을 통해 여러 대의 카메라 없이도 뛰어난 인식 능력을 제공합니다.
휴대 가능한 환경에서 인간 동작 분석을 지원합니다. 카메라는 고객 환경에 맞게 설치할 수 있으며, 직선 렌즈는 별도의 왜곡 보정 작업 없이 빠르고 정확하게 시스템을 보정할 수 있어 이미지를 결합하는 과정을 간소화합니다.

결론:
현대의 비전 시스템은 넓은 영역을 실시간으로 고해상도 이미지로 표시할 수 있는 고성능 광각 렌즈가 필요합니다. 어안 렌즈는 이미지를 압축하여 배럴 왜곡이 발생하는 이미지를 만들고, 이는 소프트웨어로 이미지 왜곡을 수정해야 하므로 지연이 발생합니다. 반면, 직선 렌즈는 소프트웨어 없이 렌즈 자체에서 왜곡을 광학적으로 보정하며, 압축으로 인한 해상도 손실 없이 우아하고 효율적인 솔루션을 제공합니다.