rtpjmf攝像頭視頻采集和傳輸

1、JMF視頻傳輸Rtp與Rtcp協(xié)議1流媒體(StreamingMedia)1.1流媒體概念流媒體技術(shù)是網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)發(fā)展到一定階段的產(chǎn)物。術(shù)語流媒體既可以指在網(wǎng)上傳輸連續(xù)時基媒體的流式技術(shù)也可以指使用流式技術(shù)的連續(xù)時基媒體本身。在網(wǎng)上傳輸音頻、視頻等多媒體信息目前主要有兩種方式:下載和流式傳輸。采用下載方式用戶需要先下載整個媒體文件然后才能進行播放。由于網(wǎng)絡(luò)帶寬的限制下載常常要花很長時間所以這種處理方式延遲很大。而流媒體實現(xiàn)的關(guān)鍵

2、技術(shù)是流式傳輸。傳輸之前首先對多媒體進行預(yù)處理(降低質(zhì)量和高效壓縮)然后使用緩存系統(tǒng)來保證數(shù)據(jù)連續(xù)正確地進行傳輸。使用流式傳輸方式用戶不必像采用下載方式那樣要等到整個文件全部下載完畢而是只需經(jīng)過幾秒到幾十秒的啟動延時即可在客戶端進行播放和觀看。此時媒體文件的剩余部分將在后臺繼續(xù)下載。與單純的下載方式相比這種對多媒體文件邊下載邊播放的流式傳輸方式不僅使啟動延時大幅度地縮短而且對系統(tǒng)緩存容量的需求也大大降低。使用流式傳輸?shù)牧硪粋€好處是使傳輸

3、那些事先不知道或無法知道大小的媒體數(shù)據(jù)(如網(wǎng)上直播、視頻會議等)成為可能。到目前為止Inter上使用較多的流式視頻格式主要有以下三種:Realwks公司的RealMediaApple公司的QuickTime以及Microsoft公司的AdvancedStreamingFmat(ASF)。1.2支持流媒體的協(xié)議多媒體應(yīng)用的一個顯著特點是數(shù)據(jù)量大并且許多應(yīng)用對實時性要求比較高。傳統(tǒng)的TCP協(xié)議是一個面向連接的協(xié)議它的重傳機制和擁塞控制機制都

4、是不適用于實時多媒體傳輸?shù)?。RTP是一個應(yīng)用型的傳輸層協(xié)議它并不提供任何傳輸可靠性的保證和流量的擁塞控制機制。RTP位于UDP(UserDatagramProtocol)之上。UDP雖然沒有TCP那么可靠并且無法保證實時業(yè)務(wù)的服務(wù)質(zhì)量需要RTCP實時監(jiān)控數(shù)據(jù)傳輸和服務(wù)質(zhì)量。但是由于UDP的傳輸時延低于TCP能與音頻和視頻很好地配合。因此在實際應(yīng)用中RTPRTCPUDP用于音頻視頻媒體而TCP用于數(shù)據(jù)和控制信令的傳輸。目前支持流媒體傳輸?shù)?/p>

5、協(xié)議主要有實時傳輸協(xié)議RTP(RealTimeTransptProtocol)、實時傳輸控制協(xié)議RTCP(RealTimeTransptControlProtocol)和實時流協(xié)議RTSP(RealTimeStreamingProtocol)等2實時傳輸協(xié)議RTP（RealTimeTransptProtocol）：RTP是針對Inter上多媒體數(shù)據(jù)流的一個傳輸協(xié)議由IETF(Inter工程任務(wù)組)作為RFC1889發(fā)布。RTP被定義為在

6、一對一或一對多的傳輸情況下工作，其目的是提供時間信息和實現(xiàn)流同步。RTP的典型應(yīng)用建立在UDP上，但也可以在TCP或ATM等其他協(xié)議之上工作。RTP本身只保證實時數(shù)據(jù)的傳輸，并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機制，也不提供流量控制或擁塞控制，它依靠RTCP提供這些服務(wù)。2.1RTP工作機制威脅多媒體數(shù)據(jù)傳輸?shù)囊粋€尖銳的問題就是不可預(yù)料數(shù)據(jù)到達時間。但是流媒體的傳輸是需要數(shù)據(jù)的適時的到達用以播放和回放。rtp協(xié)議就是提供了時間標(biāo)簽序列

7、號以及其它的結(jié)構(gòu)用于控制適時數(shù)據(jù)的流放。在流的概念中”時間標(biāo)簽”是最重要的信息。發(fā)送端依照很大的靈活性。JMF術(shù)語名稱：Java媒體框架（JMF）術(shù)語解釋：該核心框架支持不同媒體（如：音頻輸出和視頻輸出）間的時鐘同步。它是一個標(biāo)準(zhǔn)的擴展框架，允許用戶制作純音頻流和視頻流。JMF實際上是Java的一個類包。JMF2.1.1技術(shù)提供了先進的媒體處理能力，從而擴展了Java平臺的功能。這些功能包括：媒體捕獲、壓縮、流轉(zhuǎn)、回放，以及對各種主要媒

8、體形式和編碼的支持，如MJPEG、H.263、MP3、RTPRTSP(實時傳送協(xié)議和實時流轉(zhuǎn)協(xié)議)、MacromediasFlash、IBM的HotMedia和Beatniks的RichMediaFmat(RMF)等。JMF2.1.1還支持廣受歡迎的媒體類型，如Quicktime、MicrosoftsAVI和MPEG1等。此外，JMF2.1.1軟件中包括了一個開放的媒體架構(gòu)，可使開發(fā)人員靈活采用各種媒體回放、捕獲組件，或采用他們自己的定

9、制的內(nèi)插組件。Sun以四種不同的專用版本提供JMF2.1.1技術(shù)，滿足專業(yè)開發(fā)人員的各類需求，第一個是一個輕便型版本，它完全采用Java語言編寫，適用于任何Java兼容系統(tǒng)。此外，開發(fā)人員還可選擇分別適用于Solaris、Windows或Linux等操作系統(tǒng)的性能最優(yōu)化軟件包，以提高性能和能力。JMF2.1.1軟件也是JavaMedia系列軟件的一部分。JavaMedia系列軟件包括Java3D、Java2D、JavaSound和Jav

10、aAdvancedImaging等API。采用各種JavaMediaAPI，軟件開發(fā)商人員就能容易、快速地為他們已有的各種應(yīng)用程序和客戶端Java小程序增添豐富的媒體功能，如流式視頻、3D圖像和影像處理等。就是說，各種JavaMediaAPI發(fā)揮了Java平臺的固有優(yōu)勢，將“編寫一次，到處運行“的能力擴展到了圖像、影像和數(shù)字媒體等各種應(yīng)用領(lǐng)域，從而大大縮減了開發(fā)時間和降低了開發(fā)成本。JMF系統(tǒng)介紹一.簡介1.1JMF體系結(jié)構(gòu)簡介在開發(fā)J

11、MF應(yīng)用程序之前要完全理解JMF的體系架構(gòu)、接口和類。就拿我們的家用攝像機系統(tǒng)作個例子。首先用攝像機拍攝內(nèi)容，拍攝下來的內(nèi)容錄制在DV帶中。DV帶可以放在放像機里播放、放像機提供視頻信號給電視機，提供音頻信號給音箱，這樣我們就可以在電視機上看到畫面，從音箱里聽到聲音。JMFAPI提供的也是同樣的模型。JMF提供的模型可大致分為七類數(shù)據(jù)源（Datasource）截取設(shè)備（CaptureDevice，包括視頻和音頻截取設(shè)備）播放器（Play