feelingday06

MPEG-7簡介與其應用

1.MPEG-7簡介

      MPEG（Moving Picture Experts Group）組織於1988年ISO／IEC（InternationalStandard Organization & International Electro-Technical Commission）

會議中成立，該協會的宗旨在制訂各種國際通用影像壓縮標準，成員包括近30個國家、200多個公司和組織的400多位元專家。

      其中MPEG-1、MPEG-2這兩個標準為VCD、DVD及數位電視等產業的發展奠定了基礎。

目前的MPEG-4、MPEG-7和MPEG-21勢必將為影音多媒體資料壓縮與影音多媒體內容檢索的資料庫應用提供一個更為通用的平台，並產生深遠的影響。

      MPEG7 為因應日漸繁多的多媒體資訊，期望能夠快速且有效的檢索出用戶所需的不同類型的多媒體資料。

於1998年10月提出，於2001年公佈。MPEG7 可針對各種不同類型的多媒體資訊進行標準化的描述，並將該描述與所描述的內容相聯繫，以實現快速有效的檢索。

1.1.MPEG-7 標準

MPEG-1、MPEG-2和MPEG-4提供的都是與音訊和視訊相關的解壓縮標準。而MPEG-7 則被稱為「多媒體內容描述介面(multimedia content description interface)」，目的則是為了處理數位音訊、視訊產品的查詢問題。隨著網際網路的發展，大量的數位視聽產品，使得網路上音訊、視訊資料的查詢變得 越來越困難。 為了分類和搜索視訊資料的方便，MPEG提出的解決方案就是MPEG-7的標準。

1.2.MPEG-7(ISO/IEC 15938) 目的

定義訊息儲存的格式和語法，整合在不同的裝置設備和不同的應用上處理影音內容的存取、搜尋、索引、過濾等。
    MPEG-7主要是一描述多媒體內容的介面工具，其目的為針對不同多媒體資訊建立描述符號，以對MPEG標準做出更具體的指定與說明，並利於進行 影像特徵擷取；因此就定位而言，MPEG-7主要是作為一影音資料庫，而非影音壓縮工具，故該標準與MPEG-2/MPEG-4/H.264並非處於競爭 地位，僅是做為一工具而無開發具體晶片。MPEG-7標準的目標，是建立對多媒體內容的描述標準，滿足包括靜止圖像、圖形、３Ｄ模型、音頻、話音、視頻以及以上元素組合在一起的合成多媒體信息的應用領域的要求。並兼顧標準的通用性和擴展性的要求。

1.3.MPEG-7 格式 MPEG-7在描述影音內容的資料主要有二種格式：
    1.XML的文字：適合用在編輯、搜尋和過濾等。
    2.二元（binary）格式：適合用在儲存、傳送和streaming delivery等。

1.4.MPEG-7 主要包含

a.影音內容創造與生產的資訊(創作者、標題)。
b.影音內容使用相關的資訊(著作權、使用歷程、播放清單)。
c.影音內容儲存特徵的資訊(儲存格式、編碼方式)。
d.影音內容空間、時間、空間與時間的結構資訊(Segmentation in regions,region motion tracking)。
e.影音內容低階特徵資訊(顏色、紋路、形狀)。
f.影音內容所包含的概念性資訊(Object、Event)。
g.如何有效的瀏覽影音資訊(摘要、變化)。
h.物件收集資訊。
i.影音內容與使用者互動資訊(使用者喜好、使用者歷程)。

2.MPEG-7架構

2.1.描述工具（Description tools）：

     (a)描述元Descriptors（D）：定義影音內容特徵描述的語法和語義(實際用來描述多媒體資料的內容)。有下面幾種描述：

          •色彩-例如RGB或是CMYK值、還有主要色彩算占比例或是彩度空間比例。

          •物件外型-以所能包含物體的最小矩形的長寬比、所在相對位置及物體主軸與座標軸之間的夾角，來明確描述影像中的物體。以此技術可以克服旋轉和縮放問題。

          •移動描述-物件移動的軌跡，描述視訊中物體的移動，及時空上的位置記錄。（比如淡出淡入等） 物體移動的參數，是用運動參數的軌跡，比如參數定義左到右的動作…

      (b)描述結構Description Schemes（DS）：描述D和D之間、D和DS之間、DS和DS之間的結構和語義(主要是用結構化的方法來說明如何描述多媒體資料，包括與其他描述結構或是描述元之間的關係)。
      (c)描述定義語言Description Definition Language（DDL）：定義描述工具的語法(定義資料的描述以及描述方法)
  2.2.系統工具：定義二元編碼方式，使得在貯存和傳送之間更有效率，影音內容描述的多工及一致性，智慧財產的管理及保護等等。
  MPEG-7中，每一份多媒體資料的描述都是利用描述元(D：descriptor)以及描述結構 (DS：Description scheme)來組成。

3.MPEG-7 應用範圍

MPEG7的應用範圍很廣泛，既可應用於儲存（在線或離線），也可用於流式應用（如廣播、將模型加入Internet等）。它可以在實時或非實時環境下應 用。如：數字圖書館、多媒體編輯等。另外，MPE G－7在教育、新聞、導遊信息、娛樂、研究業務、地理信息系統、醫學、購物、建築等各方面均有較深的應用潛力。

MPEG-7應用領域

(1)數位圖書館，教育等的影音資料庫的存儲和檢索
(2)多媒體編輯（個人化的電子新聞服務、媒體編輯）
(3)文化的服務（歷史博物館，畫廊等）
(4)多媒體目錄服務（例如電話簿黃頁，遊客資訊，地理的資訊系統）
(5)廣播的媒體選擇（廣播頻道查找，電視節目查找）
(6)新聞業（例如使用某政客的名字、聲音或他的臉部特徵來搜索他的演講）
(7)電子商務（個人廣告，線上的目錄，電子商店的目錄、遠端購物）
(8)監控系統（交通控制，公路運輸）
(9)調查服務（人類的特性識別，例如：指紋、人臉辨識）
(10)家庭娛樂（個人的多媒體收集的管理系統，包括內容的處理，舉例來說：家庭錄影帶編輯，尋找遊戲，卡拉OK）
(11)音樂：在鍵盤上彈幾個音符就能得到包含（或近似）要求曲調的音樂作品列表，或以某種方式匹配音符的圖像。
(12)圖形：在螢幕上畫幾條線就能得到類似圖形、標識、表意文字（符號）等的一組圖像。
(13)圖像：定義物體，包括顏色互補或紋理，就會得到一些例子，從中你可以選擇感興趣的物體來組成圖像。
(14)運動：對一組給定的物體，描述在物體之間的運動和關係，就會得到實現所描述的時空關係的運動列表。
(15)電影拍攝劇本（劇情說明）：對給定的內容，描述出動作就會得到發生類似動作的電影拍攝劇本（劇情說明）列表。

4.MPEG-7 應用實例

南韓資訊大學（ICU）:
    在南韓資訊大學（Information and Communications University）[3]中Image and VideoSystem Lab，他們實作一些利用MPEG-7的方法對影像查詢的研究：
    (1)Color Indexing是針對他們所給的影像資料庫中，挑選一張影像，之後再針對這張影像的顏色部份做搜尋。結果依照相似的程度排列，其它有關MPEG-7顏色的查詢。
    (2)Texture Indexing是針對他們所給的影像資料庫中，挑選一張影像，之後再針對這張影像的紋路部份做搜尋。結果依照相似的程度排列，其它有關MPEG-7紋路的查詢。
    (3)Medical Image Retrieval System是針對他們所給的醫學影像資料庫中，挑選一張影像，之後再針對這張影像的紋路部份做搜尋。結果依照相似的程度排列。
    (4)Video Retrieval System是針對影片中的物件移動向量（Object Motion Vector）做查詢，它主要包括了四種移動的方向（上、下、左、右），使用者可以挑選其中一種方向，從影片資料庫中找尋有向此移動方向物件的影片出來。
    (5)Image Retrieval System中可以針對顏色和紋路不同比例的配對方式，使用者可以使用自己擁有的影像對他們的影像資料庫做搜尋。
哥倫比亞大學（columbia）:
    在哥倫比亞大學[6]中Digital Video/Multimedia Research Group，他們發展了一個Image Collection Browsing And Searching System[7]，這個系統使用他們自己定義的Collection Structure DS的格式所構成。這個系統主要是藉由瀏覽的方式，再加上他們所分類的方式，找尋出使用者所想要的影像。一開始使用者可以選擇從影像的瀏覽（Image Browsing System）或從分類的瀏覽（Class Browsing System）。
    (1)在影像的瀏覽（Image Browsing System）中，使用者剛開始面對的是一堆雜亂無章的影像，使用者可以點任一張影像進入，之後顯示出這張影像所在的分類方式，例如我們點選Figure 39進入，它所在的分類是Flower Garden、Beauty，如果我們點選Flower Garden進入，則出現有關花園的全部影像，在這些中我們又可以點選其中一張影像進入，以此類堆，直到找到自己所要的影像。
    (2)在分類的瀏覽（Class Browsing System）中，使用者剛開始面對是全部的分類，我們可以點選任一個分類進入，則出現此分類的全部影像，在這些影像中我們可以點選任一張影像進入，則出 現這張影像所在的分類方式，之後與影像的瀏覽的步驟相同。

Yahoo新聞

〔編譯林翠儀／綜合報導〕將盜版動畫影像上傳到網路上流通，未來可能會踢到鐵板！

有助打擊網路盜版

日本NEC公司最近開發出一套新的辨識比對技術，可以在極短的時間內比對出盜版影像，而且正確率達96%。只要網路影像出版業者或電視台引進這套系統，未來在盜版影像上傳時，只要和原版資料庫一比對，即可加以攔截，將有助於打擊猖獗的網路盜版。

網路上熱門的動畫影像投稿網站，包括Google、Yahoo和YouTube等影音分享網站，盜版問題層出不窮，尤其是許多日本動畫或電視劇，一經播放後，馬上就被配上各國字幕，上傳到網站流通，涉及侵犯著作權問題。

辨識比對正確率96%

雖然經過檢舉或事後比對，可將侵權的影像加以刪除，但難免出現漏網之魚，或是刪除後又重新上傳。

NEC這套比對技術將可解決這些問題，因為它採用亮度分布進行辨識比對，經過重壓、以類比方式擷取，例如用攝影機到電影院側錄，或是套上字幕的盜版影像，即使是短到只有2秒鐘的影片（約60畫格）也能一一現形。依ISO（國際標準組織）的測試，正確率達96%。

而且，這套技術對每一畫格只做了76byte的資料量，所以就算使用一般家用電腦，每一秒可以比對1000小時的動畫，速度相當驚人。

每秒可比對1000小時動畫

這套比對技術將納入ISO的MPEG-7（多媒體資料庫及擷取）標準，這項技術將在12日東京舉辦的「嵌入式系統開發技術展」中展出。

5.MPEG-7 結論

      MPEG-7是一個很方便的技術、可以用來很快的找到自己所有興趣的影片、音訊、圖片等等。說明白點MPEG-7只是制訂出一個標準、提供大家搜尋的標準。借由這個標準於對其描述元的定義、可以給影音檔案一個分類提供搜尋使用。不過在於對描述元的定義上來說、大多數還是需要人工來定義。只有一些像是顏色比例等等，能夠使用演算法自動產生。關於這部分可能要等待MPEG-4的VO功能完成或是有新的影像切割技術出現。

6.參考文獻

(1)智慧型數位影像內容註解及搜尋系統之設計(A Framework for Intelligent Multimedia Contents Annotation and Retrieval)
    -曾新穆　蘇家輝　成功大學資訊工程學系

(2)物件導向式高階影像概念擷取系統(Object-Oriented High-Level Image Concept Retrieval System)
    -劉崇汎　林瑞堂　許智威　曾新穆　蘇家輝　古鎬華
    -財團法人資訊工業策進會南部創新研發中心　財團法人資訊工業策進會南區資訊處　財團法人資訊工業策進會　成功大學資訊工程學系

(3)基於MPEG-7且具語意性的數位相簿於家庭娛樂上的應用(An MPEG-7 Based Semantic Album for Home Entertainment)
    -曾新穆　蘇家輝　成功大學資訊工程學系

(4)網際網路下一波-串流媒體與 MPEG-4/7的發展-宋建興

(5)MPEG-7 Overview - part 1 / MPEG-7 Overview - part 2 -作者不詳

(6)MPEG-7 PDF參考文件-作者不詳

(7)資訊組織期末報告多媒體內容描述介面—MPEG7-台灣師範大學圖書資訊學研究所 692150075 林曉鈴

(8)wiki

(9)MPEG-7: developments & applications  周財德、吳巧惠