구리선 기반 고속 시리얼 인터페이스는 수 기가비트 속도로 데이터를 전송할 수 있다. 병렬로 다중의 레인을 이용하면, 100 Gbps가 넘는 데이터 전송 속도가 가능하지만 도달할 수 있는 거리가 제한적이다. 이러한 거리를 향상시킬 수 있는 한 가지 방법은 구리선이 아니라 광 인터커넥트를 이용하는 것이다.




데이터 센터에서 그리고 인터넷을 통하여 이동하는 데이터의 양이 갈수록 증가함으로써 인프라가 이를 따라잡는데 한계에 부딪히고 있다. 스토리지 서브시스템, 데이터 스위치와 라우터, 심지어 컴퓨팅 시스템까지도 I/O가 한계에 다다르고 있다. 외부와의 데이터 이동은 스위치, 라우터, 스토리지 어레이를 연결하는 케이블과 기타 인터커넥트를 통과해서 데이터가 얼마나 빠르게, 그리고 얼마나 멀리까지 이동할 수 있느냐에 따라 제한된다.
구리선 기반 고속 시리얼 인터페이스는 수 기가비트의 속도로 데이터를 전송할 수 있으며 병렬로 다중의 채널을 이용함으로써 100 Gbps를 넘는 데이터 전송 속도가 가능하다. 하지만 이러한 속도에는 대가가 따르는데, 그것은 바로 거리가 제한적이라는 것이다. 기본적으로 데이터 속도가 상승할수록 신호무결성, 전력, 채널 자재 비용 측면에서 불리함을 야기하지 않으면서 데이터가 이동할 수 있는 거리가 짧아진다.
신호 저하를 보정하기 위해서 복잡한 신호 프로세싱을 채택해서 송신 측과 수신 측에서 신호를 균등화할 수 있다. 잘 설계된, 그러나 비용이 많이 들어가는 구리선 케이블과 함께 이와 같은 기법을 결합함으로써 수 미터의 거리를 연장할 수 있으므로 한 랙에서 장비를 인터커넥트하기에는 충분히 긴 거리이다. 하지만 데이터 센터 내에서 또는 네트워크 센터 내에서 랙과 랙 사이에 데이터를 이동하기 위해서는 이보다 훨씬 더 긴 케이블이 필요하며 많은 경우에 이러한 케이블의 비용과 부피가 비실용적이게 된다.

광 인터커넥트
도달 거리를 향상시킬 수 있는 한 가지 방법은 구리선 인터커넥트가 아니라 광 인터커넥트를 이용하는 것이다. 광섬유 링크는 데이터 통신 분야에서 확고하게 자리를 잡고 있으나 많은 링크들이 전력 소모적인 카드 에지 광 인터페이스를 필요로 하며, 그러면서도 여전히 시스템 로직에서 광 모듈로 접속하기 위해서 전기 인터커넥트 문제를 해결해야 한다(그림 1). 고속 시리얼 포트의 로직 부분은 통상적으로 FPGA에 구현된다. 이 디바이스가 디자이너에게 보드 특성, 기능, I/O 옵션과 관련해서 유연성을 가능하게 하기 때문이다. 하지만 FPGA 핀을 광 모듈과 연결해야 하는데, 그러기 위해서는 PCB로 고속 트레이스를 배선해야 한다.

FPGA의 이점
FPGA의 유연성과 구성 가능성은 다양한 유형의 고속 I/O를 필요로 하는 시스템에 적합하다. 고속 LVDS 시리얼 인터페이스와 1 Gbps가 가능한 SerDes 포트가 가장 먼저 FPGA로 통합되기 시작했다. 그 다음에는 3 Gbps 이상이 가능한 고속 SerDes가 통합됐으며, 오늘날 FPGA는 10 Gbps 및 그보다 빠른 데이터 속도가 가능한 SerDes 포트를 통합하고 있다. 예를 들면 알테라(Altera)의 28 nm Stratix V FPGA는 최대 28 Gbps가 가능하다. 고속 I/O 기능과 더불어, FPGA는 수백만 개의 구성 가능 게이트, 풍부한 온칩 정적 메모리, 추가적인 전용 시스템 자원(프로세서 코어, PLL, DSP 블록, PCIe 채널, 메모리 컨트롤러 등)을 제공한다.
FPGA로 제공되는 모든 자원들을 이용해서 디자이너가 디바이스 로직으로 다수의 시스템 기능을 구성할 수 있으므로 시스템 보드에 필요한 회로 수를 줄일 수 있다. 뿐만 아니라, FPGA의 재구성 가능성을 이용함으로써 디자이너들은 로직 기능을 업데이트해서 기능을 추가 및 제거, 로직 버그를 교정하거나 성능을 향상시킬 수 있다.
10 Gbps 데이터 속도일 때 FPGA에서 광 모듈까지의 거리가 수 인치에 불과하다 하더라도 PCB 상에서 불과 수 인치의 트레이스가 신호 품질을 떨어트릴 수 있다. 그림 2는 사용하는 인터페이스의 유형에 따라서 10 Gbps 데이터 스트림이 이동할 수 있는 거리를 보여준다(빨간색은 구리선, 주황색/노란색은 광섬유). 그러므로 광 모듈로 가능한 최상의 신호가 제공되도록 하기 위해서는 트랜스미터와 리시버 각각에서 FPGA에서 광 포트의 입력 및 출력까지의 거리를 최소화해야 한다.

"알테라는 FPGA와 고속 광 모듈을 단일 패키지로 통합하여 FPGA 칩의 I/O 패드에서 광 트랜시버의 입력까지의 전기 신호 경로를 수 분의 1인치로 줄일 수 있었다"

통합적인 광 패키지
FPGA와 광 모듈 사이의 거리를 최소화하기 위해서, 그리고 전체적인 칩-대-모듈 링크의 전력과 build-of-materials를 줄일 수 있도록 알테라와 아바고 테크놀로지스(Avago Technologies)는 FPGA와 광 트랜스미터 및 리시버 모듈을 단일의 통합적인 패키지로 결합함으로써 다중의 외부적인 카드 에지 광 트랜시버(그림 3)의 데모 보드에서 파란색 원으로 표시한 부분)를 교체할 수 있는 솔루션을 공동으로 개발했다. 이 Optical FPGA 기술 데모는 Stratix IV GT FPGA를 이용하고 있다. 이 FPGA는 각각이 11 Gbps로 데이터를 전송할 수 있는 32개의 고속 SerDes 포트를 제공한다. 이러한 포트 중의 12개 포트를 Avago MicroPOD™ 광 모듈로 직접 인터페이스하고 있다.
12개 광 레인 각각이 독립적인 포트이거나, 아니면 이들 레인이 목표 대역폭을 경제적으로 제공하기 위한 고용량 채널의 일부분일 수 있다. 이와 같은 병렬 광 구현은 다중의 PCIe 레인 같은 병렬 레인 전기 인터페이스를 이용해서 목표 대역폭을 달성하는 전자 시그널링 기법과 같은 것이라고 할 수 있다.
고속 광 모듈을 FPGA를 담고 있는 패키지로 통합함으로써 알테라는 FPGA 칩의 I/O 패드에서 광 트랜시버의 입력까지의 전기 신호 경로를 수 분의 1인치로 줄일 수 있었다. 이와 같이 경로를 단축함으로써 신호 저하와 지터를 줄일 수 있으며, 그럼으로써 신호무결성을 향상시키고 신호 경로에서 기생 전류 성분으로 인하여 발생하는 데이터 오류를 줄일 수 있다. 뿐만 아니라, 칩-대-모듈 인터커넥트 거리를 크게 단축함으로써 FPGA와 모듈 모두에 있어서 전반적인 전력 소비를 줄일 수 있다. 기존의 비통합적인 칩-대-모듈 인터커넥트에서라면, 상당한 손실을 균등화하기 위해 소비했을 전력을 소비하지 않기 때문이다. 그림 4와 같은 하이브리드 FPGA 패키지는 두 군데의 모서리 부분에 아바고의 MicroPOD™ 12채널 광 트랜시버를 탑재한다. 한 모서리는 12개 송신 채널을 제공하고 다른 모서리에서는 12개 수신 채널을 제공한다.
2개 소켓 사이트에 더해서, 이 FPGA 패키지의 가장 크게 달라진 점은 신호 루팅에 있다. 그것은 바로 고속 I/O 패드를 패키지 핀으로 루팅하는 것이 아니라 패드 신호를 소켓 접촉 면으로 루팅한다는 것이다. 이와 같이 짧아진 루팅 거리로 인해서 신호무결성을 높게 유지할 수 있으며 방사 전자기 간섭(EMI)을 매우 낮게 유지할 수 있다.
광 모듈(그림 5)을 0.7424 mm 피치의 LGA(Land-Grid-Array) 접점을 이용해서 FPGA 패키지로 탑재하며 각각의 소켓이 8.2×7.8 mm의 면적만을 필요로 한다. FPGA의 모서리 부분에 LGA 소켓을 탑재함으로써 알테라는 SerDes와 광 모듈 사이의 거리를 1센티미터 미만으로 줄일 수 있었다. 이와 비교해서 에지 탑재 광 모듈을 이용할 때는 5~50센티미터의 거리가 필요하다. 또한 소켓 통합 인터페이싱은 교체 용이성, 테스트 용이성, 높은 수율을 가능하게 한다.
이 어셈블리의 광측(그림 6)은 12가닥 광섬유 케이블을 소형의 MicroPOD 모듈과 연결한 것으로 이루어진다. 송신측에서 이 모듈은 12개 저전력 850 nm VCSEL 레이저 다이오드를 포함하며(이들 각각이 ~130 mW 소비), 수신측에서는 모놀리식 GaAs PIN 다이오드 센싱 어레이를 포함한다. 광 케이블(원하는 길이로 가능)은 그림 6의 왼쪽 아래 모듈 사진에서 보듯이 사전에 PRIZM짋 LightTurn짋 커넥터가 부착되어 있으며 빛을 90도로 휘고 광섬유와 VCSEL 레이저를 정렬시킨다. PRIZM짋 LT 커넥터는 여러 케이블 업체에서 구입할 수 있다.
12개 광 채널 각각이 레인당 최대 10.3125 Gbps의 속도로 데이터를 처리할 수 있으므로 한 모듈이 총 120 Gbps의 데이터 대역폭을 제공할 수 있다. 고도로 통합적인 이들 모듈은 광 인터페이스로서 가장 높은 포트 밀도를 제공하며 낮은 전력 소비에 힘입어 열 프로파일을 관리하기가 용이하다.




진단 및 상태 모니터링
광 모듈을 이용할 때의 한 가지 중요한 설계 과제는 열에 민감한 광소자를 열 발생이 높아질 수 있는 FPGA 다이와 인접하게 탑재해야 한다는 것이었다. 이 문제를 해결하기 위해 알테라는 광소자들을 0~70 ℃의 표준적인 동작온도 범위 이내로 유지할 수 있는 고유의 히트싱크 솔루션을 설계했다. 광 서브어셈블리 각각에 하나씩, 다이에 하나, 총 3개의 히트싱크를 설계함으로써 광소자들을 다이로부터 열적으로 절연시켰다. 광 모듈의 온도가 원하는 범위 이내인 것으로 검증할 수 있었다.
또한 I2C 버스를 통해서 통신하는 디지털 진단 모니터링 회로를 이용함으로써 디자이너들이 광 모듈로부터 진단 데이터를 포착할 수 있다. 이렇게 해서 이용할 수 있는 진단 정보들로는 광 출력 전력, 레이저 바이어스 전류, 리시버 입력 전력 등이 있다. 이와 같은 방법으로 시스템이 광 모듈의 상태를 모니터링하고 문제가 발생했을 때 이를 즉각 실시간으로 알 수 있으며, 시스템 문제나 시스템 중단을 방지할 수 있다. 이 방법은 많은 애플리케이션에서 귀중한 데이터를 제공한다. 특히 링크 중단 시간이 수백만 달러의 매출 손실을 초래할 수 있는 데이터 센터의 경우에 더욱 그렇다.

"알테라와 아바고는 Optical FPGA라고 하는 기술을 개발함 으로써 FPGA 사용자들이 광 디자인을 잘 아는 전문가가 될 필요 없이 병렬 광 인터페이스를 활용할 수 있도록 했다"

Optical FPGA의 활용
데이터 센터와 같은 컴퓨터 및 스토리지 집중적인 애플리케이션에서는 디바이스 패키지로 광 인터페이스를 통합함으로써 플러그 가능 광소자를 교체할 수 있으며, 전력을 70~80% 낮출 수 있고, 포트 밀도와 대역폭을 수십 배 높일 수 있다. 군용, 통신 인프라, 브로드캐스트 분야의 백플레인 애플리케이션에서는 이와 같은 통합으로 비싼 보드 자재와 커넥터를 대체할 수 있고, 대역폭을 크게 높이며, 구리선 솔루션을 이용할 때의 신호무결성 문제를 제거할 수 있다. 또한 전력 소비를 낮출 수 있다. MicroPOD 광 트랜스미터 및 리시버 같은 광 모듈은 OM3 등급 멀티모드 광섬유를 이용해서 최대 약 100미터의 거리에 걸쳐 데이터를 전송할 수 있으며 OM4 등급 멀티모드 광섬유를 이용해서는 150미터의 링크 거리를 달성할 수 있다.
임베디드 광 모듈은 필요한 전면 및 후면 면적을 줄일 수 있고 EMI 억제를 향상시킬 수 있다. 그럼으로써 비용을 낮출 수 있으며 FCC 규격 준수를 간소화할 수 있다. 몰렉스(Molex)나 여타 커넥터 업체들에서 구입할 수 있는 다이캐스트 MPO 광섬유 벌크헤드 어댑터를 이용하면, 새시 개구부를 최소한의 크기로 줄일 수 있으므로 EMI 문제를 추가적으로 완화할 수 있다. 뿐만 아니라, 전면 탑재 MPO 커넥터의 ESD는 카드 에지 플러그 가능 모듈의 경우보다 훨씬 문제가 되지 않는다.
블레이드 서버 시스템은 다중의 서버(통상적으로 최대 16개)와 스토리지, 스위칭, I/O, 냉각, 전력 서브시스템을 긴밀하게 통합하고 있는 고밀도 모듈러 서버 시스템이다. 갈수록 사용이 늘어나고 있는 가상화, 클라우드 컴퓨팅, 개별 CPU와 메모리 뱅크의 지속적인 연산 성능 향상 등으로 인해서 블레이드 시스템에 이용되는 기존의 I/O 기술들에 부담이 가중되고 있다. 현재 대다수 시스템은 서브 블레이드와 I/O 모듈 사이에 복잡한 전기적 미드-플레인을 통한 고속 전기 인터페이스를 채택하고 있다(그림 7). 이와 같은 아키텍처는 시스템 디자이너에게 신호무결성 및 열 측면에서 복잡한 과제들을 제기한다.
블레이드 서버 메자닌 카드의 전기적 I/O 채널을 광 I/O 채널로 교체할 수 있으며 복잡한 전기적 미드-플레인을 간소한 광 미드-플레인으로 교체할 수 있다(그림 8). 광 미드-플레인은 전기 신호무결성, 누화, EMI, ESD 등과 같은 복잡한 문제를 일으키지 않으면서 서버와 시스템에 이용되는 스토리지, 메모리, I/O 등의 여타의 모듈들 사이에 모든 고속 연결성을 제공할 수 있다. 또한 간소한 광 패스스루(pass-through) 모듈을 미드-플레인으로 인터페이스할 수 있으므로 서버 블레이드와 외부적 스위치, 스토리지, 메모리를 직접적으로 연결할 수 있다.

새 이정표
임베디드 광소자는 하이엔드 시스템에 요구되는 신호무결성을 유지할 수 있고, ESD를 낮추면서 EMI 억제를 간소화할 수 있으며, 광커넥터를 호스트 ASIC이나 FPGA 패키지와 근접하게 탑재할 수 있으므로 시스템 냉각에 있어서 유연성을 제공한다. 뿐만 아니라, 트렁크는 통상적으로 24~36레인 폭이므로 임베디드 광소자는 카드 에지에서 편리한 대역폭 애그리게이션을 가능하게 하므로 광섬유 관리와 새시 인터커넥트를 간소화할 수 있다.
단일 FPGA 또는 ASIC 이상으로 용량을 확대하기 위해서는 다중의 FPGA 또는 ASIC 사이에 멀티스테이지 패브릭을 구성할 수 있다. 이러한 대표적인 예가 3스테이지 Clos 패브릭이다. ASIC 사이에 전기 인터페이스를 이용한 단일 새시로는 완만하게 확장 가능한 시스템을 달성할 수 있으나 대규모 시스템은 다중의 새시를 필요로 한다. 그러므로 광 인터커넥트를 필요로 한다.
알테라의 Optical FPGA 기술은 임베디드 병렬 광소자 개념을 이용해서 한 차원 향상된 통합 수준을 달성하고 있다. 알테라와 아바고는 Optical FPGA라고 하는 기술을 개발함으로써 FPGA 사용자들이 광 디자인을 잘 아는 전문가가 될 필요 없이 병렬 광 인터페이스를 활용할 수 있도록 했다. 그럼으로써 사용자들은 고속 통신에 구리선이 아니라 광섬유를 이용함으로써 링크 거리와 대역폭은 크게 높이고 전력은 크게 낮출 수 있게 됐다.