오디오는 스피커 및 헤드폰, 웨어러블 및 의료 기기 (예 : 보청기), 자동화 및 산업 제어 응용 프로그램, 엔터테인먼트 시스템 및 자동차 인포테인먼트를 포함한 많은 IoT 응용 프로그램의 필수 부분입니다.
IoT 오디오는 스트리밍 (예 : 음악, 음성 및 데이터), 음성 인식/명령 및 Bluetooth 및 Wi-Fi 연결 (예 : Wi-Fi를 통해 홈 서라운드 사운드 시스템으로 스트리밍)의 세 가지 유형으로 광범위하게 분류 할 수 있습니다. 그러나 엔지니어가 IoT 기반 장치에 필요한 엄격한 제약 조건을 준수해야 할 때 고품질의 중단되지 않은 음향 오디오 서브 시스템을 설계하는 것은 어려울 수 있습니다.
더 복잡한 디자인은 운전자가 휴대 전화와 동일한 핸즈프리 방식으로 자동차의 인포테인먼트 시스템을 제어 할 수 있도록하는 등 음성 인식과 같은 고급 기능을 포함해야합니다. MCU는 이러한 모든 오디오 시스템의 핵심이므로 안정적인 노이즈가없는 오디오 시스템을 설계하는 데 필요한 오디오 기술을 통합하는 MCU를 선택하는 것이 중요합니다. 이 논문은 이러한 시스템을 설계하는 데 사용할 수있는 오디오 기술을 탐구합니다.
오디오 서브 시스템의 구성 요소
IoT 오디오에는 Steam 고품질 음성/데이터, 무선 전송 및 음성 재구성 제어의 세 가지 주요 활동이 포함됩니다. 그림 1은 임베디드 시스템에서 가장 중요한 빌딩 블록을 보여줍니다.
이 블록 다이어그램은 오디오 처리 서브 시스템의 더 중요한 빌딩 블록을 보여줍니다.
이러한 기능의 대부분은이 예제에 사용되는 통합 Wi-Fi 802.11n과 함께 Cypress CYW43907과 같은 최신 MCU에 통합 될 수 있습니다. IoT 기반 시스템에 포함될 수있는 중요한 오디오 기술 중 일부는 다음을 포함합니다.
음악 응용 프로그램
오디오 지원 MCU를 통해 엔지니어는 가장 인기있는 미디어 플레이어 및 콘텐츠 제공 업체가 사용하는 MP3/4 스트림을 해독 할 수 있습니다. 많은 디자인은 또한 WMA 및 Apple의 AAC 디코딩을 지원해야하므로 추가 처리 능력이 필요합니다. 소비자 오디오 애플리케이션에서는 디지털 스피커 세트와 같은 오디오 액세서리에서 디지털 음악 스트림을 관리하여 저렴한 오디오 MCU를 활용할 수 있습니다.
이러한 응용 프로그램에서 PCM 오디오 데이터 (USB 오디오 클래스 형식으로 캡슐화) 프레임은 프로세서의 SPI/I²C 직렬 채널 중 하나를 통해 1ms마다 도착합니다. 소스에 따라 오디오 스트림은 여러 형식 중 하나 (즉, 왼쪽 정렬, 오른쪽 정렬, I2 등)로 도착할 수 있습니다. 그러나 일부 저렴한 코덱은 특정 형식 만 허용 할 수 있습니다. 이 경우 MCU는 데이터가 코덱에 공급되기 전에 데이터가 올바르게 정렬되도록하는 데 중요한 역할을합니다.
모든 오디오 소스가 동일한 샘플링 속도를 사용하는 것은 아니므로 코덱은 샘플링 주파수를 소스에 적응 시키거나 MCU에 의존하여 샘플링 된 데이터 스트림을 공통 데이터 속도로 변환해야합니다 (그림 2 참조). 이 경우 MCU는 데이터 손실을 유발하고 사용자 청취 경험을 방해 할 수있는 음소거, 팝 및 오디오 불연속으로 이어질 수있는 언더로드 조건을 피하기 위해 스트림을 관리해야합니다. 오디오 MCU는 오디오 재생 중 조명 제어와 같은 오디오 서브 시스템의 다른 기능을 구현하는 데 사용될 수 있습니다.
오디오 MCU는 형식 변환, 샘플 속도 조정 및 스트림 관리를 수행하고 오디오 사용자 인터페이스를 지원해야 할 수도 있습니다.
광범위한 응용 프로그램에서 오디오를 구현하려면 Audio MCU는 다양한 오디오 기술을 지원해야합니다. 그림 3은 이러한 오디오 기술의 예를 보여줍니다.
건전한 기술
오디오 코덱
오디오 코덱은 오디오 시스템의 주요 프론트 엔드 구성 요소입니다. IoT 애플리케이션을 위해 구축 된 많은 MCU는 하드웨어에서 코덱 기능을 지원합니다. 이를 통해 시스템은 디지털 오디오 샘플의 크기를 줄이면 무선 전송 속도를 높이고 (저장 전원) 저장 공간을 절약 할 수 있습니다 (내부 메모리 용량의 긴장 감소). 코덱은 AAC, AC -3 및 ALAC와 같은 다양한 오디오 표준 형식을 지원할 수 있습니다. 이를 위해서는 오디오 사후 처리 (예 : DSOLA, SOLA) 전에 구현되는 디코딩 액세스 장치 (AU)가 필요합니다. AAC, AC -3 및 ALAC와 같은 표준 오디오 형식과 함께 사용될 때 오디오는 오디오 샘플이 오디오 패킷 데이터 스트림에 지정된 규정 된 형식 내에있는 방식으로 분류됩니다. 패킷 간격은 또한 혼잡이있을 때 최소한의 크로스 지터와 중단되지 않은 작동을 허용 할 수 있습니다. AU 페이로드 크기는 수행 해야하는 은폐를 실행할 수 있습니다.
베이스 밴드 처리
베이스 밴드 신호는 전자 회로로 처리 할 수있는 아날로그 또는 디지털 파형의 기본 주파수 그룹입니다. 베이스 밴드 신호는 단일 주파수 또는 주파수 그룹 또는 디지털 도메인에서 비 분비 채널을 통해 전송 된 데이터 스트림으로 구성 될 수 있습니다. 베이스 밴드는 변조 된 신호를 생성하기 위해 캐리어 신호와 혼합 된베이스 밴드 (신호/초)로 정의됩니다. IoT 오디오를 지원하는 MCU에서 오디오 코덱은 기본 대역 처리와 RF를 단일 칩에 통합합니다. 오디오 코덱은 다양한 무선 트랜시버에서 구현하여 음성 데이터 및/또는 음악 기능을 제공 할 수 있습니다. 코덱은 또한 오디오 출력을위한 모노 및 스테레오 채널과 스테레오 입력을 특징으로합니다.
패킷 손실 은폐 및 데이터 복제
과도한 대기 시간, 패킷 손실 및 높은 대기 시간 지터는 통신 품질을 손상시킬 수 있습니다. 갑작스런 패킷 손실 가능성은 네트워크로드에 따라 증가하고 사용자가들을 수있는 중단을 초래합니다. Cypress의 Packet Loss Concealment Technology와 같은 고급 기능으로 Wi-Fi를 통해 강력한 오디오 전송을 향상시킬 수 있습니다. 시스템 아키텍처 소스/수신기는 다음과 같습니다. 하나의 소스는 오디오를 캡처하고, RTP 스트림 구조를 통해 PCM 데이터를 멀티 플렉스하며, 시계를 PLC 소스에 연결된 모든 수신기와 동기화합니다.
통신 링크의 성능은 링크 예산 성능의 품질에 따라 다릅니다. 이 링크 예산은 세 가지 요인에 의해 결정됩니다. 예를 들어, 링크 경로의 전력이 사용 가능한 공간의 손실이 수신 라디오의 최소 수신 신호 수준보다 큰 802.11 네트워크에 대한 신뢰할 수있는 통신이 가능합니다 (그림 4 참조).
커뮤니케이션 링크의 성능은 링크 예산 성능의 품질에 따라 다릅니다.
음성 명료성 향상 (SIE)
오디오 시스템의 배경 노이즈는 음성의 명료성을 줄일 수 있습니다. 소음이 일정 수준을 초과하면 사용자가 이해하기 어려울 수 있습니다. 임베디드 장치에서 실시간 연속 음성 인식의 가용성은 소음 장애 연설의 명료성을 향상시키는 시스템이 필요합니다. 일반적으로 사용되는 대규모 대규모 어휘 연속 음성 인식 (LVCSR) 시스템의 포팅 및 최적화를 지원하는 MCU를 선택하면 개발을 단순화 할 수 있습니다.
웨이크 업 문구 탐지
이 고급 기능을 사용하면 사용자가 음성으로 장치를 활성화하여 시스템을 핸즈프리로 전환 할 수 있습니다.
하나 이상의 스피커에서 효율적인 멀티 캐스트
멀티 캐스트는 가장 효율적인 전략을 사용하여 동시에 대상 그룹에 메시지를 보내는 데 사용되는 네트워크 주소 지정 방법입니다. 메시지는 네트워크의 각 링크를 통해 한 번만 전달되며 다음 링크가 일반적으로 네트워크 스위치 및 라우터에서 여러 대상으로 분할 될 때만 사본이 생성됩니다. 그러나 UDP (User Datagram Protocol)와 마찬가지로 멀티 캐스트는 메시지 스트림의 전달을 보장하지 않으므로 메시지 폐기 또는 조직화되지 않은 메시지 전달로 이어질 수 있습니다. 안정적인 멀티 캐스트 (RMC)는 멀티 캐스트 패킷 (패킷 만 해당)에 대한 승인을 제공하여 특정 특정 멀티 캐스트 패킷을 안정적으로 전달할 수 있도록합니다. 송신기는 프레임을 승인하기 위해 가장 약한 RSSI로 수신기를 선택합니다. IoT 환경에서 RMC 구현은 Wi-Fi 송신기가 프레임 수신을 승인하기 위해 많은 Wi-Fi 수신기 중 하나를 선택 함을 의미합니다. 송신기는 프레임을 승인하기 위해 가장 약한 RSSI로 수신기를 선택합니다. 구현은 독점적 인 RMC 정보 요소가 포함 된 운영 프레임 워크를 사용하여 승인기를 알리고 활성화합니다. 구현에는 또한 멀티 캐스트 MAC 주소를 설정하고 RMC를 활성화 및 비활성화하기위한 RMC- 특이 적 Wi-Fi 드라이버 명령이 포함되어 있습니다.
고정 및 대칭 변속기 지연이있는 오디오 및 비디오의 경우 시간 동기화 요구 사항이 충족됩니다. 예를 들어, RMC는 음성, 비디오 및 모바일 데이터의 부드러운 셀-셀 전송을 위해 매우 정확한 타이밍 및 동기화에 의존 할 수 있습니다. 기술적 인 관점에서 매우 정확하고 정확한 타이밍을 달성하는 것은 쉽지 않으므로 응용 프로그램 요구 사항을 충족하도록 확인할 수있는 구현을 찾는 것이 중요합니다.
프레임 형식, 전방 오류 수정 및 패킷 복제
오디오 스트리밍의 경우 클럭이 모든 Wi-Fi 수신기와 동기화되는 것이 중요합니다. 한 가지 방법은 소스 및 수신기 장치에 공통 시계를 사용하는 것입니다. 종종 벽시계 또는 시스템 클럭 (STC)이라고합니다. 먼저, 각 수신기 (수신기)는 STC (Wall Clock)를 소스/송신기 STC (마스터 월 클럭)과 동기화합니다. 소스 (각 RTP 패킷의 확장 된 헤더에 사용 가능한)가 공통 클록에 대한 미디어의 샘플링 모멘트를 반영하기 때문에 각 수신기는 이제 송신기의 시계를 복구 할 수 있습니다.
STC는 802.1AS 사양에 요약 된 그랜드 마스터 클럭 값을 기반으로합니다. 모든 수신기 장치는 STC와 소스 장치의 미디어 클럭 사이의 상관 관계를 알고 있기 때문에 (RTP 또는 미디어 타임 스탬프와 관련하여) 각 수신기는 소스 장치의 RTP 미디어 클록의 사본을 재구성하고 적절한 렌더링을 위해 출력을 대기 할 수 있습니다. 투명한 클럭킹은 하드웨어/ucode가 Mac/Phy 인터페이스에 최대한 가깝게 수신 및 전송 될 수있는 타임 스탬프 패킷을 사용할 수있는 곳입니다. 이 클럭 값은 재생에 사용되지 않지만 시스템 전체의 지터를 측정하고 전체 성능 분석을 수행하는 데 사용할 수 있습니다.
스마트 홈 오디오 시스템의 예
컨텍스트에서 IoT 오디오를 이해하려면 스마트 홈 예제와 스마트 홈 시스템의 전반적인 기능을 향상시키는 데 오디오가 수행 할 수있는 역할을 고려하십시오. 장치와 가전 제품이 서로 의사 소통 할 수 있고 그곳에 사는 사람들이 의사 소통 할 수있을 때 집은 똑똑한 집이됩니다. 상호 연결성을 높이면 Smart Homes는 삶의 질을 향상시키고 보안을 향상시키고 있습니다.
스마트 홈에서 오디오의 주요 사용 사례 중 하나는 Wi-Fi 또는 Bluetooth를 통해 오디오를 저장하고 공유하는 것입니다. BLE에 대한 Wi-Fi의 선택은 응용 프로그램에 따라 다르며 범위 및 오디오 품질 요구 사항에 따라 다릅니다. 예를 들어, 홈 컨트롤러는 집의 한 부분에 종을 연결하는 대신 누군가가 문에서 초인종을 울면 집의 각 방에서 특정 사운드를 연주 할 수 있습니다. 마찬가지로, 컨트롤러는 사운드를 아기를위한 보육원에 있지 않은 것과 같은 특정 방으로 제한 할 수 있습니다. 임베디드 컨트롤러는 다양한 출력 제어 기능을 관리 하여이 오디오를 처리하고 시스템을 더 현명하게 만듭니다.
재생 오디오 시스템
재생 오디오 시스템은 오디오 시장에서 중요한 응용 프로그램이되었습니다. 무선 오디오 리플레이 시스템은 스마트 홈의 중심에 있으며 가정에서 다양한 스마트 장치를 모으고 사용자를 대신하여 지능적인 결정을 내립니다. 예를 들어, 오디오 시스템은 현재 재생중인 음악을 기반으로 하우스의 조명 패턴을 제어 할 수 있습니다. 또한 텍스트 음성 변환을 사용하여 사용자 알림이나 이메일을 큰 소리로 읽을 수 있습니다. 또한 사용자는 집의 다른 방에있는 무선 스피커와 같은 네트워크 가능한 오디오 장치를 사용하여 멀티 룸 오디오 시스템에서 영역을 만들 수 있습니다. 이 접근법은 전체 생태계를 만들어 주택이 항상 피크 효율로 작동하는 동시에 그곳에 사는 사람들과의 상호 작용을 최소화 할 수 있도록합니다. 이러한 생태계를 만들려면 IoT 디자이너는 IoT 애플리케이션에 최적화 된 올바른 성능 및 오디오 기반 기능을 갖춘 임베디드 마이크로 컨트롤러를 선택해야합니다.
디지털 신호 처리 효과
디지털 도메인의 오디오 신호 처리는 무선 링크를 통해 오디오 데이터를 전송하기 전에 모든 오디오 시스템의 중요한 부분입니다. 이 처리에는 일반적으로 오디오 아날로그 신호를 측정, 필터링 및/또는 압축하는 것이 포함됩니다. 통합 된 DSP 기능을 갖춘 내장 된 MCU는 디지털 믹서 추가 및 원격 제어 기능 지원과 같은 효과를 가능하게합니다. 각 채널에 대한 5- 대역 이퀄라이저를 사용하면 오디오 재생을 대부분의 시퀀서 응용 프로그램과 영리하게 통합하여 강력한 스튜디오 시스템을 만들 수 있습니다.