Data Compression : Mpeg ( 동영상 압축 기술 )

Mpeg

▶ Mpeg-1
- Standard for video CD and MP3

▶ Mpeg-2
- Standard for digital television set top boxes and DVD

▶ Mpeg-4
- Standard for the fixed and mobile web

▶ Mpeg-7
- Standard for description and search of audio and visual content

▶ Mpeg-21
- Standard for multimedia framework

CD - DVD - 무선망 화상회의 - 검색 - 통합, 전자상거래

What is Mpeg ?

Moving Picture Experts Group의 약어
1988년에 시작된 ISO/IEC 중심으로 진행된 국제 표준
- ISO : International Organization for Standardization
- IEC : International Electrotechnical Commission

Name of family of standards used for coding audio-visual information
( e.g., movies, video, music ) in a digital compressed format

Smaller size for the same quality

 Mpeg – Overview
 From 1988
 ISO/IEC JTC 1/SC 29/WG 11
 Coding of moving pictures and audio
 Area
 Development of international standards for compression, decompression, processing, and
coded representation of moving pictures, audio, and their combination, in order to satisfy a
wide variety of application

 

 Mpeg-1 (ISO/IEC 11172)
 Coding of moving pictures and associated audio for digital storage media at up to
about 1.5 Mbit/s. (Standard for efficient storage and retrieval of audio and video on
Compact Disc)
 Part 1. Systems – (1992) provide multiplexing and synchronization support to elementary
audio and video streams
 Part 2. Video – (1992) provide efficient encoding of non-interlaced pictures with roughly
VHS quality at 1.15Mbit/s
 Part 3. Audio – (1992) provide encoding of stereo audio with transparency (i.e. subjective
quality similar to the original stereo) at 384, 256, 192 kbit/s per Layer I, II, and III,
respectively
 Part 4. Conformance testing – (1993) provide methods and reference bitstreams that can be
used to assess conformance of a bitstream or of a decoder
 Part 5. Software simulation – (1994) contain C-code implementation of a systems
multiplexer/demultiplexer and of encoders and decoders for audio and video
 Video CD : full application of Mpeg-1, movies on 2 CDs
 MP3 : Mpeg-1 Audio Layer III

 

 Mpeg-1의 역사
 (1988 : Start)  (1991 : CD/DIS)  (1993 : IS)
 CD : Committee Draft
 DIS : Draft International Standard
 IS : International Standard

 

 Mpeg-1 Picture Structure (six layers)
Sequence  group of pictures  picture  slice  macro block block

 

 Types of images in Mpeg
 I-frame (Intra-coded image)
 P-frame (Predictive-coded image)
 B-frame (Bidirectionally predictive-coded frame)

 Mpeg-1 Audio Encoder

 Mpeg-2 (ISO/IEC 13818) (1/2)
 From 1990  Parts 1, 2, 3 (1994)
 Generic coding of moving pictures and associated audio
 Part 1. Systems – (1994)
 Transport stream : support for efficient transmission over error-prone delivery systems
 Program stream : useful for digital storage media
 Part 2. Video - (1994)
 support for efficient coding of interlaced pictures and different spatial resolution.
 Part 3. Audio - (1994)
 support to encoding of multichannel audio
 Part 4. Conformance testing - (1995)
 Part 5. Software simulation - (1996)
 Part 6. System extensions – DSM-CC
 DSM-CC (Digital Storage Media Command and Control)
 Provide protocols for session set up across different networks and for remote control of a server
containing MPEG-2 content
 Part 7. Audio extension – NBC mode
 Advanced Audio Coding (AAC)
 Provide a new multichannel audio coding that is not backward compatible with Mpeg-1

 Mpeg-2 (ISO/IEC 13818) (2/2)
 Part 8. VOID – (withdrawn)
 Support video coding when samples are represented with an accuracy of more than 8 bits
 Part 9. System extension RTI (Real time interface)
 Provide a standard interface between an MPEG-2 Transport Stream and a decoder
 Part 10. IPMP on MPEG-2 System
 Intellectual Property Management and Protection
 50 million digital television set top boxes
 10 million DVDs (Digital Versatile Discs)
 4:2:2 profile  HDTV application

 

 Mpeg-2 System
 PES : Packetized elementary stream

 

 Mpeg-4 (ISO/IEC 14496) (1/2)
 From 1993  Version 1 (1998)  Version 2 (1999)
 Coding of audio-visual objects
 Part 1. Systems
 Part 2. Visual
 Part 3. Audio
 Part 4. Conformance testing
 Part 5. Reference software
 Part 6. Delivery Multimedia Integration Framework (DMIF)
 Part 7. Optimized software for MPEG-4 tools
 Part 8. Mpeg-4 on IP framework
 Part 9. Reference hardware description
 Part 10. Advanced video coding
 Part 11. Scene description and application engine
 Part 12. ISO base media file format
 Part 13. IPMP extensions
 Part 14. MP4 file format
 Part 15. AVC file format
 Part 16. Animation Framework eXtension (AFX)

 Mpeg-4 (ISO/IEC 14496) (2/2)
 Objects (different shapes, different functionalities, different rates)
 Traditional Mpeg-1, Mpeg-2 + composition of objects
 Contain standard technology to represent time-varying synthetic 3D information
 Mpeg-2 + Object  abstraction  multimedia in TV
 Main Items
 XMT (eXtensible Mpeg-4 Textual format) : XML, BIFS (BInary Format for Scenes)
 Multiple use of Mpeg-4 contents
 Rich 3D animation support
 Extended IPMP
 Studio profile for 1 Gbit/s studio application
 Mpeg Industry Forum
 Digital television
 Interactive graphics applications (synthetic content)
 Interactive multimedia (World Wide Web, distribution of and access to content)

 

 Mpeg-4 Example of scene

 Mpeg-7 (ISO/IEC 15938)
 From 1997
 Multimedia Content Description Interface
 Part 1. Systems
 Provide the architectural framework of the standard, the carriage of MPEG-7 content and the
binarization of MPEG-7 content
 Part 2. Description Definition Language
 Allow to create descriptors and description schemes
 Part 3. Visual
 Provide standard descriptors and description schemes that are purely visual
 Part 4. Audio
 Provide standard descriptors and description schemes that are purely audio
 Part 5. (Multimedia) Description schemes
 Provide standard descriptors and description schemes that are neither visual nor audio
 Part 6. Reference software
 Part 7. Conformance
 Part 8. Extension and User of MPEG-7 descriptions
 How feature extraction can be implemented

 Not the information itself but the information about the information

 

 Mpeg-7 정의 및 필요성
 정의
 멀티미디어의 내용 자체 또는 사용자가 관심 있는 자료를 빠르고 효율적으로 찾기
위해 여러 가지 멀티미디어 정보를 기술(description)하기 위한 표준화
 필요성
 Mpeg 에서 멀티미디어 정보 검색을 효율적으로 지원하기 위한 기술을 개발하는
새로운 아이템으로 등장

 Mpeg-7 기술 (1/2)
 Descriptor (D)
 정의
 색, 질감, 형태, 움직임 등의 특징 정보(feature)의 표현으로 특징 표현의
배열(syntax)과 의미(semantics) 체계
 D의 종류
 색 히스토그램(color histogram)
 웨이블릿 계수
 특정 주파수 영역에서의 에너지
 움직임 영역(motion field)

 

 Mpeg-7 기술 (2/2)
 Description Scheme (DS)
 정의 : D들과 DS들 간의 관계의 구조 또는 의미 체계
 D와 DS의 차이
 D는 단지 DDL에서 정의되는 데이터로 정의되며, 다른 D나 DS에는 관련되지
않는다
 DS의 종류 : scene과 shot 으로 구조화되어 있음
 각 shot 단계에서 다양한 형태의 D들을 포함하는 영화, 다큐멘터리, 드라마 등

 Description Definition Language (DDL)
 D와 DS들의 발생과 확장, 수정 등을 표현하기 위한 언어
 Description
 데이터의 내용 정보를 기술하는 D값들의 집합과 이것을 표현하는 하나의 DS로 구성
 Mpeg-7 데이터는 동일한 데이터 스트림 또는 저장 시스템에서 관련된
오디오/비디오 데이터에 첨부되며, 이때 데이터는 통신망으로 연결되어 있는 모든
사용자들이 이용할 수 있다.

 

 Mpeg-7의 처리과정
 특징 추출(feature extraction), 기술(description) 그리고 검색 엔진(search engine)
의 사슬(chain)로 이루어져 있다.

 

 특징 추출과 검색 엔진은 Mpeg-7의 표준 범위 내에 존재하지 않는다.
 이유는 이 분야들에 대해서는 회사들의 경쟁을 통해 더욱 좋은 제품을 만들 수 있도
록 하고, 표준화 하지 않음으로써 더욱 기술적으로 발전할 수 있도록 하기 위함이다.
이 과정 이외에도 데이터베이스 구조 또한 검색 성능 향상에 중요한 역할을 한다.

 

 Mpeg-7 의 이용 분야
 신문, 뉴스 – 사람의 연설을 그 사람의 목소리, 얼굴, 이름 등으로 검색
 문화 서비스 – 역사박물관, 미술관 등
 생활 서비스 – 데이트서비스
 바이오 – 메디컬 응용
 감시 – 교통제어, 비파괴검사 등
 오락 – 게임이나 가라오케 탐색
 수사 – 사람의 얼굴, 목소리 등 특징 인식 및 검색 등
 쇼핑 – 원하는 색상의 옷 검색 등
 필름, 비디오, 라디오 데이터베이스 등
 지리 정보 서비스, 여행정보 등
 원격 탐사, 건축, 부동산 및 실내디자인 등

 Mpeg-21 (ISO/IEC 18034) (1/2)
 From 2000
 Multimedia Framework
 An environment where delivery and use of all content types by different categories of
users in multiple application domains
 Users (anybody in the value network)  Actions  Digital Items (assembly of content)
 Needed technologies
 Digital item declaration
 Digital item identification and description
 Intellectual property management and protection
 Terminals and networks
 Digital item management and usage
 Digital item representation
 Event reporting

 Mpeg-21 (ISO/IEC 18034) (2/2)
 Multimedia Framework
 Part 1. Vision, technologies and strategy
 Part 2. Digital item description
 Part 3. Digital item identification and description
 Part 4. IPMP
 Part 5. Rights extension language
 Part 6. Rights data dictionary
 Part 7. Digital item adaptation
 Part 8. Reference software
 Part 9. File format
 Part 10. Digital item processing
 Part 11. Evaluation tools for persistent association
 Part 12. Testbed for Mpeg-21 resource delivery

 Related Projects
 3DAV
 Coding of audio and video information from a 3D space
 Scalable Video Coding
 Coding of video with high scalability features and high compression