Sistem Berbasis FPGA Menggabungkan Dua Aliran Video untuk Menyediakan Video 3D

Pengantar Sistem video, sudah ada di mana-mana dalam aplikasi konsumen, semakin lazim di domain otomotif, robotika, dan industri. Pertumbuhan ke dalam aplikasi nonkonsumen ini terutama dihasilkan dari pengenalan standar HDMI dan DSP dan FPGA yang lebih cepat dan efisien. Artikel ini menguraikan persyaratan untuk mencapai penglihatan stereoskopik (video 3D) menggunakan kamera video analog atau HDMI. Ini menjelaskan sistem berbasis FPGA yang menggabungkan dua aliran video menjadi satu aliran video 3D untuk transmisi melalui pemancar HDMI 1.4, dan sistem berbasis DSP yang menghemat bandwidth DMA dibandingkan dengan yang biasanya diperlukan untuk menerima data dari dua kamera. Lebih lanjut, ini menunjukkan satu metode untuk mencapai format berdampingan untuk digunakan dengan kamera 3D atau sistem yang membutuhkan video 3D. Gambaran Umum Penglihatan stereoskopik membutuhkan dua kamera video yang dipisahkan sekitar 5.5 cm, jarak khas antara mata seseorang, seperti yang ditunjukkan pada Gambar 1. Gambar 1. Dua kamera pada dudukan sejajar untuk penglihatan stereoskopik. Diagram blok tingkat tinggi yang ditunjukkan pada Gambar 2 menggunakan dua kamera video tersinkronisasi yang menggunakan standar video yang sama, dua dekoder video, dan sebuah FPGA. Untuk memastikan kecepatan bingkai yang sama persis, kamera video harus dikunci garis ke referensi waktu yang sama. Tanpa sinkronisasi, tidak mungkin menggabungkan output tanpa menggunakan memori eksternal untuk menyimpan bingkai video lengkap. Gambar 2. Diagram blok tingkat tinggi. Gambar 3 menunjukkan dua aliran video yang dikunci garis yang digabungkan menjadi satu gambar stereoskopik. Gambar 4 menunjukkan bagaimana aliran video asinkron tidak dapat digabungkan tanpa menyimpan seluruh bingkai video dalam memori eksternal. Gambar 3. Menggabungkan dua aliran video yang disinkronkan. Gambar 4. Aliran video asinkron tidak dapat digabungkan tanpa menggunakan memori eksternal. Keluaran dari dua kamera video yang disinkronkan kemudian didigitalkan oleh dekoder video seperti ADV7181D, ADV7182, atau ADV7186 untuk kamera video analog; atau oleh penerima HDMI seperti ADV7610 atau ADV7611 dengan kamera video digital. Dekoder video dan penerima HDMI menggunakan loop fase-terkunci internal (PLL) untuk menghasilkan data jam dan piksel pada bus keluarannya. Ini berarti bahwa dua domain jam terpisah akan dihasilkan untuk kedua kamera saat mendigitalkan video analog atau menerima aliran HDMI. Selain itu, kedua aliran video dapat disejajarkan. Perbedaan waktu dan ketidaksejajaran ini harus dikompensasikan dalam perangkat back-end seperti FPGA, membawa data ke domain jam umum sebelum menggabungkan dua gambar video menjadi satu bingkai video stereoskopik. Aliran video yang disinkronkan kemudian dikirim melalui pemancar HDMI berkemampuan 1.4D HDMI 3 seperti ADV7511 atau ADV7513—atau dapat disajikan ke DSP seperti prosesor ADSP-BF609 Blackfin®—untuk pemrosesan lebih lanjut. Arsitektur Pencatatan Jam Kerja Dekoder video memiliki dua sumber pencatatan jam kerja yang berbeda tergantung pada apakah keduanya terkunci atau tidak terkunci. Saat PLL video dikunci ke sinyal sinkronisasi yang masuk—sinkronisasi horizontal untuk dekoder video atau jam TMDS untuk HDMI—itu akan menghasilkan jam yang dikunci ke sumber video yang masuk. Ketika kunci video hilang, atau PLL berada dalam mode free-run paksa, PLL video tidak dikunci ke sinyal sinkronisasi yang masuk dan menghasilkan output jam yang dikunci ke jam kristal. Selain itu, jam mungkin tidak keluar setelah reset karena driver jam LLC diatur ke mode impedansi tinggi setelah reset. Jadi, jika sistem memiliki dua atau lebih jalur video dari dekoder video atau penerima HDMI, sistem akan memiliki dua domain jam yang berbeda dengan frekuensi dan fase yang berbeda, bahkan ketika jam kristal yang sama disediakan untuk dua dekoder video atau penerima HDMI, karena masing-masing perangkat menghasilkan jamnya sendiri berdasarkan PLL-nya sendiri. Sistem Sinkron dengan Decoder Video Terkunci Dengan video stereoskopik tipikal menggunakan dua sumber, masing-masing dekoder video mengunci sinyal video yang masuk dan menghasilkan jamnya sendiri berdasarkan sinkronisasi horizontal masuk atau jam TMDS. Saat dua kamera disinkronkan—atau dikunci garis ke referensi waktu yang sama—garis bingkai akan selalu disejajarkan. Karena dua dekoder video terpisah menerima sinkronisasi horizontal yang sama, jam piksel akan memiliki frekuensi jam piksel yang sama. Hal ini memungkinkan untuk membawa dua jalur data ke domain jam umum, seperti yang ditunjukkan pada Gambar 5. Gambar 5. Dua kamera video disinkronkan ke referensi umum. Kedua dekoder video menerima sinyal sinkronisasi yang sama, sehingga keduanya juga terkunci. Kedua dekoder video menerima sinyal sinkronisasi yang sama, sehingga keduanya juga terkunci. Sistem Video Asynchronous Sayangnya, salah satu decoder mungkin kehilangan kunci karena sinyal sumber video berkualitas buruk, seperti yang ditunjukkan pada Gambar 6; atau kamera mungkin kehilangan sinkronisasi karena tautan video rusak, seperti yang ditunjukkan pada Gambar 7. Ini akan menyebabkan frekuensi yang berbeda di dua jalur data, yang kemudian akan menyebabkan asimetri dalam jumlah data yang di-clock ke back end. Gambar 6. Kamera terkunci baris dengan dekoder video tidak terkunci. Gambar 7. Kamera tidak terkunci dengan dekoder video terkunci. Kunci video yang hilang dapat dideteksi dengan menggunakan interupsi (SD_UNLOCK untuk dekoder video SD, CP_UNLOCK untuk dekoder video komponen, atau register TMDSPLL_LCK di penerima HDMI) yang muncul setelah penundaan. Dekoder video mengintegrasikan mekanisme untuk menghaluskan sinkronisasi horizontal yang tidak stabil, sehingga deteksi kunci video yang hilang dapat memakan waktu hingga beberapa baris. Penundaan ini dapat dikurangi dengan mengontrol kunci yang hilang dalam FPGA. Mode Jam Tri-Status Saat merancang sumber daya pencatatan jam kerja FPGA, penting untuk diketahui bahwa secara default, banyak dekoder video dan produk HDMI menempatkan jam dan jalur data ke mode tri-status setelah reset. Dengan demikian, jam piksel LLC tidak akan cocok untuk reset sinkron. Ketidaksejajaran Data dalam Dua Aliran Video Untuk menyederhanakan sistem dan mengurangi memori yang diperlukan untuk menggabungkan dua gambar, data yang mencapai FPGA harus disinkronkan sedemikian rupa sehingga piksel ke-N dari garis ke-M dari kamera pertama diterima dengan piksel ke-N dari ke-M garis dari kamera kedua. Ini mungkin sulit dicapai pada input FPGA karena dua jalur video mungkin memiliki latensi yang berbeda: kamera yang dikunci garis dapat menghasilkan garis yang tidak sejajar, panjang sambungan yang berbeda dapat menyebabkan ketidakselarasan, dan dekoder video dapat memperkenalkan latensi startup variabel. Karena latensi ini, diharapkan sistem dengan kamera pengunci garis akan memiliki sejumlah piksel ketidaksejajaran. Line-Locked Camera Misalignment Bahkan kamera line-locked dapat menghasilkan garis video yang tidak selaras. Gambar 8 menunjukkan sinyal sinkronisasi vertikal dari output CVBS dari dua kamera. Satu kamera, master sinkronisasi, memberikan sinyal penguncian garis ke kamera kedua, budak sinkronisasi. Misalignment 380 ns terlihat jelas. Gambar 9 menunjukkan data yang dikirimkan oleh decoder video pada output kamera ini. Pergeseran 11-piksel dapat dilihat. Gambar 8. Ketidaksejajaran video 380-ns antara kamera video yang dikunci garis. Gambar 9. Ketidaksejajaran video 11-piksel tanpa kompensasi dalam domain digital. Panjang Sambungan Berbeda Semua sambungan listrik menyebabkan penundaan propagasi, jadi pastikan kedua jalur video memiliki panjang trek dan kabel yang sama. Latensi Dekoder Video/Penerima HDMI Semua dekoder video memperkenalkan latensi yang dapat bervariasi tergantung pada fitur yang diaktifkan. Selain itu, beberapa bagian video berisi elemen—seperti FIFO berwarna pekat—yang dapat menambahkan latensi startup acak. Sistem stereoskopik tipikal yang menggunakan dekoder video mungkin memiliki penundaan startup acak sekitar 5 jam piksel. Sistem yang berisi pemancar dan penerima HDMI, seperti yang ditunjukkan pada Gambar 10, mungkin memiliki penundaan startup acak sekitar 40 jam piksel. Gambar 10. Pipa menunda pengaturan pengukuran. Kompensasi Ketidaksejajaran Gambar 11 menunjukkan sistem di mana sinyal analog dari setiap kamera didigitalkan oleh dekoder video. Data dan jam terpisah untuk setiap jalur video. Kedua jalur video terhubung ke FIFO, yang menyangga data yang masuk untuk mengkompensasi ketidakselarasan data. Saat mencatat data, FIFO menggunakan jam umum dari salah satu dekoder. Dalam sistem yang terkunci, dua jalur data harus memiliki frekuensi clock yang persis sama, memastikan bahwa tidak ada FIFO yang meluap atau mengalir ke bawah selama kamera terkunci dan dekoder video terkunci. Dengan mengaktifkan atau menonaktifkan output FIFO, blok kontrol mempertahankan level FIFO untuk meminimalkan ketidaksejajaran piksel. Jika kompensasi dilakukan dengan benar, output blok FPGA harus berupa dua jalur data yang sejajar dengan piksel pertama. Data tersebut kemudian dipasok ke back end FPGA untuk produksi format 3D. Gambar 11. Menggunakan FIFO digital untuk menyetel kembali gambar video. Pengukuran Misalignment Ketidaksejajaran antara dua aliran data digital dapat diukur pada output video FIFO dengan menggunakan pencacah satu jam yang diatur ulang pada pulsa sinkronisasi vertikal (VS) dari salah satu sinyal yang masuk. Gambar 12 menunjukkan dua aliran video (vs_a_in dan vs_b_in) disejajarkan dengan 4 piksel. Penghitung mengukur ketidaksejajaran menggunakan metode yang ditunjukkan pada Daftar 1. Penghitungan dimulai di tepi naik VS1 dan berhenti di tepi naik VS2. Jika panjang piksel total dari sebuah bingkai diketahui, kemiringan negatif (VS2 sebelum VS1) dapat dihitung dengan mengurangkan nilai hitungan dari panjang bingkai. Nilai negatif ini harus dihitung ketika kemiringan melebihi setengah dari panjang bingkai piksel. Hasilnya harus digunakan untuk menyelaraskan kembali data yang disimpan dalam FIFO. Gambar 12. Pengukuran ketidaksejajaran. Daftar 1. Pengukuran misalignment sederhana (Verilog®). modul misalign_measurement (reset kabel input, kabel input clk_in, kabel input vs_a_in, kabel input vs_b_in, reg output [15:0] misalign, output reg siap); reg [15:0] cnt; reg cnt_en, cnt_reset; reg vs_a_in_r, vs_b_in_r; menetapkan vs_a_rising = vs_a_in > vs_a_in_r; menetapkan vs_b_rising = vs_b_in > vs_b_in_r; selalu @(posedge clk_in) mulai vs_a_in_r <= vs_a_in; vs_b_in_r <= vs_b_in; end always @(posedge clk_in) if (reset) begin { ready, cnt_en } <= 2'b00; tidak sejajar <= 0; end else begin if ((vs_a_in == 1'b0) && (vs_b_in == 1'b0)) { ready, cnt_reset } <= 2'b01; lain cnt_reset <= 1'b0; /* mulai */ if (vs_a_rising && vs_b_rising) mulai tidak sejajar <= 0; { siap, cnt_en } <= 2'b10; akhiri else if ((vs_a_rising > vs_b_in) || (vs_b_rising > vs_a_in)) { siap, cnt_en } <= 2'b01; /* berakhir */ if ((cnt_en == 1'b1) && (vs_a_rising || vs_b_rising)) mulai { siap, cnt_en } <= 2'b10; misalign <= vs_a_rising ? (-(cnt+1)) : (cnt+1); end end selalu @(posedge clk_in) /* counter */ if ((cnt_reset) || (reset)) cnt <= 0; lain jika (cnt_en) cnt <= cnt + 1; endmodule Produksi Video 3D dari Dua Aliran Video yang Sejajar Setelah data piksel, garis, dan bingkai benar-benar sinkron, FPGA dapat membentuk data video menjadi aliran video 3D, seperti yang ditunjukkan pada Gambar 13. Gambar 13. Arsitektur sederhana yang mencapai format 3D. Data yang masuk dibaca ke dalam memori oleh jam umum. Penganalisis waktu sinkronisasi memeriksa sinyal sinkronisasi yang masuk dan mengekstrak waktu video, termasuk panjang teras depan dan belakang horizontal, teras depan dan belakang vertikal, panjang sinkronisasi horizontal dan vertikal, panjang garis aktif horizontal, jumlah garis aktif vertikal, dan polarisasi sinyal sinkronisasi. Melewati informasi ini ke regenerator waktu sinkronisasi bersama dengan lokasi piksel horizontal dan vertikal saat ini memungkinkannya menghasilkan pengaturan waktu yang telah dimodifikasi untuk mengakomodasi struktur video 3D yang diinginkan. Waktu yang baru dibuat harus ditunda untuk memastikan bahwa FIFO berisi jumlah data yang diperlukan. Video 3D Berdampingan Arsitektur yang paling tidak menuntut dalam hal memori adalah format berdampingan, yang hanya memerlukan buffer 2 baris (FIFO) untuk menyimpan konten saluran yang berasal dari kedua sumber video. Format berdampingan harus dua kali lebih lebar dari format asli yang masuk. Untuk mencapai itu, jam dua kali lipat harus digunakan untuk mencatat waktu sinkronisasi yang dibuat ulang dengan panjang garis horizontal dua kali lipat. Jam ganda yang digunakan untuk mencatat waktu di bagian belakang akan mengosongkan FIFO pertama dan kemudian FIFO kedua dengan kecepatan ganda, memungkinkannya untuk menempatkan gambar berdampingan, seperti yang ditunjukkan pada Gambar 14. Gambar berdampingan ditunjukkan pada Gambar 15. Gambar 14. Menjahit dua gambar berdampingan menggunakan buffer garis FPGA sederhana. Gambar 15. Gambar 576p berdampingan dengan pengaturan waktu video Kesimpulan Dekoder Perangkat Analog dan produk HDMI bersama dengan pascapemrosesan sederhana dapat membuat dan memungkinkan transmisi video 3D stereoskopik yang sebenarnya. Seperti yang ditunjukkan, dimungkinkan untuk mencapai video 3D dengan blok digital sederhana dan tanpa memori yang mahal.

Tinggalkan pesan 

Daftar pesan