DMA -1- (Basic)

<kernel v5.0>

DMA(Direct Memory Access) -1- (Basic)

디바이스로 부터 데이터를  메모리에 읽어들일 때 DMA를 사용하지 않는 방법과 DMA를 사용하는 방법을 보여준다.

• non-DMA
  • CPU가 디바이스로부터 직접 데이터를 읽거나 기록하는 것을 반복하여 cpu load가 상승한다.
• DMA
  • CPU는 디바이스에게 DMA 시작 신호와 DMA 완료 인터럽트만 수신하고, 직접적인 전송에는 참여하지 않으므로 cpu load를 최소화 시킨다. 이 과정에서 디바이스가 직접 메모리에 접근하여 읽거나 기록한다.
  • 버스 아키텍처에 DMA 컨트롤러 h/w가 구성되어 있어야 한다.
    • ISA, EISA, AXI, AHB, …
    • 참고로 PCI 및 PCIe를 통한 DMA는 아래 그림의 DMA 컨트롤러와 동작 방법이 다르다.
      • CPU가 관여하지 않고(리눅스 커널 프로그래머가 하지 않고) , pci 디바이스가 pci 컨트롤러에 버스 마스터를 요청하여 버스를 소유한 후 pci 디바이스 내부에 있는 dma 컨트롤러를 통해 주도하여 직접 DMA한다. (많은 pci/pcie 디바이스들은 dma 기능을 내장하고 있다)

 

참고: DMA를 사용하면 cpu 커널 드라이버가 사용하는 cpu 사용률을 낮춰 유저 application등에 더 많은 cpu를 주어지게 하는데 가장 큰 장점이 있다. 그러나 많은 인터럽트가 발생되는 네트워크 디바이스 등 고성능 처리를 요구하는 디바이스 드라이버들은 NAPI가 사용되고 있는데, 커널 드라이버에서 cpu를 사용해서라도 polling 하여 처리를 하고 있다. 또한 10G 네트웍 및 infiniband 네트워크 장치 등에서 더 빠른 처리를 위해 유저 모드에서 polling하여 동작시킬 수 있는  방법들을 사용하고 있다. (예: DPDK, infiniband)

 

DMA 주소 체계

디바이스가 DMA 방식으로 접근할 메모리(Buffer)와 관련된 세 가지 주소 공간 유형을 알아본다.

• CPU 가상 주소 공간
  • CPU가 사용하는 주소 공간
• CPU 물리 주소 공간
  • CPU 가상 주소가 MMU에 의해 물리 주소로 변환하여 사용하는 주소 공간
• 버스 주소 공간
  • 디바이스가 사용하는 주소 공간

 

다음 그림과 같이 CPU와 디바이스가 바라보는 주소 공간이 다름을 알 수 있다.

• 64비트 시스템이더라도 전력의 소모를 줄이기 위해 물리 주소 공간의 크기를 보통 줄여 설계한다.
• 버스 주소 공간의 크기도 여러 가지 버스(AXI, AMBA, ISA, PCI,…)가 존재하므로 사용하는 비트 크기는 각각 다르다.
• 특정 디바이스들은 버스 주소의 일부 주소 공간에만 접근하게 제약하기도 한다.

 

아래 그림은 호스트가 소유한 메모리와 디바이스가 소유한 메모리의 관계를 3 가지 주소 공간을 통해 보여준다.

• Case A) 디바이스 메모리
  • 디바이스가 소유한 메모리, 레지스터 또는 PCI BAR 영역이 호스트 브리지에 의해 매핑되어 사용된다.
  • 이 영역은 ioremap() 등의 API를 통해 매핑하여 사용한다.
  • 대부분 /proc/iomem을 통해 영역을 확인할 수 있다.
  • 아래 PCI/PCIe with DMA 글을 참고한다.
• Case B) 호스트 CPU 메모리 – 디바이스가 IOMMU를 통해 접근
  • 호스트 CPU의 메모리 영역에 DMA 버퍼 메모리를 제공한다.
  • 디바이스가 사용하는 버스 주소 공간은 IOMMU를 통해 호스트 CPU의 물리 주소 공간에 접근할 수 있다.
    • IOMMU 매핑을 통해 cpu용 페이지 테이블이 아닌 디바이스용 IOMMU 페이지 테이블이 생성된다.
• Case C) 호스트 CPU 메모리 – 디바이스가 Direct 접근
  • 호스트 CPU의 메모리 영역에 DMA 버퍼 메모리를 제공한다.
  • 디바이스가 사용하는 버스 주소 공간과 호스트 CPU의 물리 주소 공간이 같거나, 일괄적으로 변경(DTB:”dma-ranges”)되는 경우 디바이스는 주소 변환을 위해 IOMMU를 사용할 필요가 없다. 따라서 디바이스는 Direct로 호스트 CPU의 물리 주소 공간에 위치한 DMA 버퍼에 접근할 수 있다.
    • 주소 변환에 대해서 아래의 Case C)와 같이 물리 주소와 dma 주소가  일치하는 것이 일반적이지만, 특정 시스템의 경우 일률적으로 변환되는 경우도 있다.

 

PCI/PCIe with DMA

1) 호스트 메모리에 DMA

 

다음 그림은 ARM SoC에 내장된 DMA-330 controlloer를 보여준다.

 

다음 그림은 pci 디바이스가 내장 메모리 없이 호스트에 위치한 메모리에 DMA하는 전통적인 모습을 보여준다. (인텔 North Bridge 칩셋에 연결되어 있는 DRAM을 사용하여 DMA한다)

• pci/pcie 컨트롤러에 버스 마스터를 요청하여 버스를 점유한 후 시스템에 위치한 dma 컨트롤러릍 통해 pci/pcie 디바이스가 주도하여 호스트 메모리에 직접 DMA한다.

 

다음 그림은 pcie 장치가 내장 메모리 없이 호스트에 위치한 메모리에 DMA하는 전통적인 모습을 보여준다.

 

2) 디바이스 메모리에 DMA

• pci/pcie 컨트롤러에 버스 마스터를 요청하여 버스를 점유한 후 pci/pcie 디바이스 내부에 있는 dma 컨트롤러를 통해 pci/pcie 디바이스가 주도하여 내부 메모리에 직접 DMA한다.

 

다음 그림은 Xilinx사의 DMA IP를 보여주며 자체 메모리에 DMA를 사용하는 1G 네트웍 장치에 대한 사례를 보여준다.

 

다음 그림은 Altera Megacore사의 레퍼런스 디자인이며, 좌측 슬레이브 측에 있는 메모리를 대상으로 DMA가 사용되고 있는 모습을 보여준다.

 

---

DMA 주소 변환

IOMMU 매핑 vs Direct 매핑

디바이스는 다음과 같이 두 가지 io 주소 매핑 방법으로 DMA 영역에 접근한다.

• IOMMU 매핑
  • 디바이스가 사용하는 버스 주소를 IOMMU 장치를 통해 CPU의 물리 주소로 변환하는 경우 사용된다.
  • 오늘날 CPU와 GPU 및 내장 고속 네트웍 장치등이 포함된 SoC들은 별도의 IOMMU를 가지고 있다. gpu 및 내장 고속 네트웍 장치를 운영할 때 이러한 IOMMU를 사용하여 DMA 접근을 하며, 그 외의 장치들은 아래의 Direct 매핑을 사용한다.
• Direct 매핑
  • 디바이스가 사용하는 버스 주소와 CPU의 물리 주소가 일치하거나, 일률적인 변환을 사용하는 경우이다.
    • 물리 주소와 dma 주소가 같게 변환하기도 하지만, 오늘날에는 CPU core와 GPU core 등이 통합된 SoC의 경우 DMA 주소와 DRAM 물리 주소의 주소 변환이 부분적으로 특정 영역 몇 개가 일괄적으로 이루어진다.
  • legacy x86 시스템에서 디바이스들은 하위 16M 이하의 DMA 영역과 물리 주소가 같이 Direct 접근하였다.

 

다음 그림은 IOMMU 매핑과 Direct 매핑과의 구성 차이를 보여준다.

• IOMMU를 이용할 수 없는 Device 들은 Direct 매핑을 사용하여 DRAM에 DMA한다.
• 아래 그림에서 물리 주소와 bus 주소가 같은 경우도 있지만 IOMMU 없이도 일괄적으로 변환되기도 한다.

 

DMA 주소 제한(Limitations)

물리 주소나 버스 주소가 64비트 주소로 표현 가능한 영역을 가진다고 할지라도,  다음과 같은 예와 같이 디바이스의 DMA 주소 지정이 제한되는 경우 가 있다.

• 64bit PCIX 버스에 32bit PCI 디바이스를 사용하는 경우
• legacy x86 시스템에서 ISA 버스를 통해 연결된 디바이스인 경우
  • 20bit(1M) 또는 24bit(16M) 주소만을 사용하여 DMA 접근 가능하다.

 

DMA 주소 제한을 설정할 때 대표적으로 다음 3 가지 API를 사용한다.

• dma_set_mask()
  • 스트리밍 매핑을 사용하는 경우에 사용한다.
  • 예) 32bit(4G) 제한이 필요한 경우
    • mask=0xffff_ffff
    • 또는 DMA_BIT_MASK(32)
• dma_set_coherent_mask()
  • consistent 매핑에서 사용한다.
  • coherent mask는 dma_set_mask()에 사용하는 제한과 같은 mask 값 또는 작은 mask 값을 사용할 수 있다.
• dma_set_mask_and_coherent()
  • 위의 두 가지를 같은 mask 값으로 사용하는 구성이다.

 

SWIOTLB(SoftWare I/O TransLation Lookaside Buffer) & Bounce Buffer

• hardware IOMMU(IOTLB)를 사용하지 못하는 플랫폼에서 fall-back 용도로 운영한다.
  • IOMMU(IOTLB)는 버스 주소와 cpu 물리 주소간의 주소 변환 매핑을 수행한다.
  • SWIOTLB는 io 가상 주소와 io 물리 주소간의 주소 변환 매핑이 되는 것처럼 보이도록 software 기법을 사용하여 두 영역간의 데이터를 복사하는 방법을 사용한다.
• 디바이스가 좁은 범위의 주소 영역에만 접근할 수 있는 경우 사용된다.
• 커널 부트업 과정중에 디바이스가 접근할 수 있는 범위안의 일정량의 Bounce Buffer를 할당받아 운용한다.
  • 커널 파라메터 예) “swiotlb=64K”
• 디바이스가 DMA를 통해 bounce 버퍼에 기록하면 이를 swiotlb 드라이버가 디바이스의 버퍼에 복사하여 운영된다.
  • 바운스 버퍼를 DMA window로 사용한다.
• software 방법으로 운영하기 때문에 성능이 저하되는 단점이 있다.
• 이러한 Bounce 버퍼 운영을 통해 디바이스가 접근하지 못하는 highmem에 있는 유저 매핑 메모리에 복사하여 사용하는 사례도 있다.

 

다음 그림은 bounce buffer로 64K를 사용하여 디바이스가 DMA 전송을 수행하는 모습을 보여준다.

 

PCI DAC(Dual Address Cycle)

x86 PCI-X 디바이스는 64비트 주소를 사용한다. 특정 플랫폼에서 IOMMU가 32비트 이하의 주소만을 지원할 때 PCI-X 디바이스에 32비트 주소를 두 번 보내는 방법이 있다.

 

DMA coherent 디바이스

dma coherent 디바이스는 h/w 차원에서 캐시와 연동되어 동작하므로 dma 전송 전/후로 캐시 sync 작업을 수행할 필요가 없다.

• ARM/ARM64의 경우 CCI(Cache Coherent Interface)에 연결된 ACP 포트 등에 연결된 디바이스가 코히런트 디바이스이다.
  • 예) gpu
• 주의: coherent device와 coherent memory는 coherent 동작을 똑같이 수행하지만 서로 동작하는 방식이 다르다.
  • coherent device는 캐시와 연동되어 동작하는 device이고, coherent memory는 캐시 없이 동작하는 메모리이다.

 

DMA coherent 디바이스 예)

                enet: ethernet@340000{
                        compatible = "brcm,amac";
                        reg = <0x00340000 0x1000>;
                        reg-names = "amac_base";
                        dma-coherent;
                        interrupts = <GIC_SPI 213 IRQ_TYPE_LEVEL_HIGH>;
                        status= "disabled";
                };

 

---

DMA용 버퍼 메모리

리눅스 커널은 여러 가지 메모리 할당자를 제공한다. DMA 버퍼 메모리를 위해서 커널에서 제공하는 메모리 영역의 사용 가부를 알아본다.

 

DMA 메모리 할당 가능

• 캐시를 사용하는 일반 커널 메모리
  • 이 메모리를 사용하는 일반적인 디바이스들은 dma 전송 전/후로 캐시 sync 작업이 필요하다. 단 dma coherent 디바이스는 dma 전송 전/후로 캐시 sync 작업을 수행할 필요가 없다.
  • API들
    •  __get_free_page()
      • 페이지 할당자(버디 시스템)으로 부터 2의 제곱승 단위의 페이지 할당
    • kmalloc()
      • 슬랩 할당자를 사용하여 작은 사이즈부터 할당 가능
    • kmem_cache_alloc()
      • 많은 양의 반복되는 슬랩 할당이 예상되는 경우 슬랩 캐시 할당
• dma coherent 메모리
  • dma 디바이스 전용 dma coherent 메모리로 선언하여 사용한다. 이렇게 할당한 메모리는 consistent dma 매핑 방법으로 사용할 수 있다.
    • coherent 메모리
      • sram 전용 메모리를 사용하는 경우 캐시를 사용할 필요 없이 빠르므로 캐시를 사용하는 매핑을 하지 않는다.
    • contiguous 메모리
      • 일반 커널 메모리를 캐시 사용 없이 사용하도록, 커널 메모리의 일부를 write-combine 매핑으로 바꾸어 dma 버퍼로 사용한다.
  • API들
    • dma_alloc_coherent()
      • 큰 영역의 dma coherent 메모리를 한 번에 할당한다.
    • dma_pool_create() & dma_pool_alloc()
      • dma coherent 메모리에서 메모리 pool을 만든 후 조금씩 할당하여 사용한다.

 

DMA 메모리 할당 불가능

• 커널 이미지 주소
  • 컴파일 타임에 static하게 할당
  • 이 영역들은 ARM, ARM64의 경우 섹션 페이지 매핑되어 있다.
• 모듈 이미지 주소
  • 모듈의 로드 타임에 할당
  • 이 영역들은 ARM, ARM64의 경우 섹션 페이지 매핑되어 있다.
• 스택 주소
  • 현재 스택의 일부를 할당
• vmalloc()
  • vmalloc(연속된 가상 주소 공간이지만 연속되지 않은 물리 주소 공간) 영역의 할당

 

Cache Coherent vs Non-Coherent

디바이스가 액세스할 수 있도록 물리적으로 연속된 메모리이다.

 

Cache Coherent

• 캐시 효과에 대해 걱정할 필요없이 장치 또는 프로세서에서 기록한 내용이 또 다른 프로세서 또는 디바이스에 의해 언제든 읽을 수 있다.
• 캐시를 사용하는 메모리 시스템에서 cpu, 캐시, 메모리(DRAM) 및 디바이스가 Cache Coherent Inter-connect 장치를 통해 연동된다.
  • 디바이스가 DMA를 수행하기 전/후로 hardware가 알아서 캐시의 invalidate 및 clean 등을 수행한다.
  • 예) ARM, ARM64에서 ACP(Accelerator Coherency Port)를 사용하는 디바이스의 경우 L1/L2 캐시와 h/w coherent 작용을 한다.
• 캐시를 사용하지 않아도 될 정도로 빠른 메모리(SRAM)의 경우 캐시 없이 cpu, 메모리 및 디바이스가 버스와 연결된다.
  • SRAM 등의 고속 메모리는 DRAM에 비해 매우 cost가 높기 때문에 고속 네트웍 디바이스 전용의 버퍼 메모리로 종종 사용된다.
  • 리눅스 커널에서는 캐시를 사용하지 않도록 write-combine 매핑을 활용한다.

Non-Coherent

• 디바이스 또는 프로세서가 기록한 데이터가 캐시 효과로 인해 양쪽에 동시에 업데이트된 데이터가 sync되지 않는다. 이의 sync 보정를 위해 software적으로 추가적인 조작이 필요한다.
• cpu, 캐시, 메모리 및 디바이스 중 하나라도 Cache Coherent Inter-connect 장치에 연동하지 못한 경우이다.
  • 디바이스가 DMA를 수행하기 전/후로 software가 캐시의 invalidate 및 clean 등을 수행해야 한다. (그 외의 버퍼등)
  • 예) ARM에서 디바이스가 Cache Coherent Inter-connect 장치에 연동되지 않는 사례들이 많이 있다.

 

---

Consistent(coherent) DMA 매핑 vs Streaming DMA 매핑

리눅스 커널의 DMA 버퍼 메모리를 사용하기 전에 매핑하는 두 가지 방법에 대해 알아본다.

 

1. Consistent(coherent) DMA 매핑

DMA 요청 시 마다 매핑하지 않고, 보통 드라이버 초기화 시 한 번만 consistent(coherent) DMA 매핑을 수행한다. cpu와 디바이스가 동시에 접근이 가능한 상태이고, 명시적인 software flush 없이 서로 갱신된 값을 볼 수 있다. consistent DMA 매핑을 위해 사용되는 메모리 할당은 dma_alloc_coherent() API를 사용하며, 아래 3 가지 중 한 가지 방법으로 coherent 메모리를 할당한다.

 

1) generic coherent per-device memory

• Reserved DMA 영역으로 지정된 디바이스 전용 메모리 영역을사용한다.
  • 디바이스 트리를 사용하여 정의하는 경우 compatible = “shared-dma-pool”을 지정하고, reusable 속성을 사용하지 않아야 한다.
    • ARM32의 경우 no-map 속성도 사용해야 한다.
    • 아주 일부의 시스템에서 “linux,dma-default” 속성을 사용하여 이 영역을 default dma coherent 메모리로 동작하게 한다.
  • 커널 cmdline 파라메터의 경우 “memmap=nn[KMG]$ss[KMG]”
  • 동적으로 선언하는 경우(for legacy) dma_declare_coherent_memory() 함수를 사용하여 영역을 지정한다.
  • 부팅 시 커널 로그 예)
    • Reserved memory: created DMA memory pool at 0x0000000060000000, size 16 MiB
  • 디바이스별로 비트맵을 통해 관리된다.
    • 비트맵의 1 비트는 1 페이지의 할당 여부를 관리한다.
• 보통 다음과 같은 메모리를 사용한다. 이들은 캐시를 사용하지 않고 write 버퍼만 사용가능한 write-combine 매핑을 사용한다.
  • SRAM 등의 고속 메모리를 DMA 메모리로 사용
  • 호스트 메모리의 일부를 DMA 메모리로 사용

 

디바이스 트리 예) bman 디바이스가 bman-fbpr 영역의 메모리를 지정하여 사용한다.

arch/arm64/boot/dts/freescale/fsl-ls1046a.dtsi

        reserved-memory {
                #address-cells = <2>;
                #size-cells = <2>;
                ranges;

                bman_fbpr: bman-fbpr {
                        compatible = "shared-dma-pool";
                        size = <0 0x1000000>;
                        alignment = <0 0x1000000>;
                        no-map;
                };
         ...

       soc: soc {
                bman: bman@1890000 {
                        compatible = "fsl,bman";
                        reg = <0x0 0x1890000 0x0 0x10000>;
                        interrupts = <GIC_SPI 45 IRQ_TYPE_LEVEL_HIGH>;
                        memory-region = <&bman_fbpr>;

                };
        ...

 

2) direct DMA memory -fall-back

• 디바이스가 IOMMU를 사용하지 않아 주소 변환 없이 시스템 메모리에 DMA 전송할 메모리이다.
• CMA 영역에서 할당 받은 페이지 또는 일반 버디시스템에서 할당 받은 페이지를 사용한다.
  • CMA 영역 지정은 시스템 메모리 내에서 사용된다.
    • 디바이스 트리의 경우 compatible = “shared-dma-pool”을 지정하고 reusable 속성을 사용해야 한다.
      • linux,cma-default 속성을 사용하면 defaul cma 영역으로 지정한다.
      • no-map 속성은 사용하면 안된다.
    • 커널 cmdline 파라메터의 경우 “cma=nn[MG]@[start[MG][-end[MG]]]”
    • 부팅 시 커널 로그 예)
      • Reserved memory: created CMA memory pool at 0x0000000048000000, size 16 MiB
• 할당 받은 후 DMA coherent 디바이스가 아닌 경우 아키텍처가 지원하는 매핑 방법을 사용하여 다시 매핑한다.
  • ARM64의 경우 write-combine 매핑을 사용하고, 그 외의 경우 no-cache 매핑을 사용한다.

 

디바이스 트리 예) DMA를 사용하는 디바이스가 특정 메모리를 지정하지 않는 경우 cma 메모리 사용할 수 있다.

arch/arm64/boot/amlogic/meson-gx.dtsi

        reserved-memory {
                #address-cells = <2>;
                #size-cells = <2>;
                ranges;

                linux,cma {
                        compatible = "shared-dma-pool";
                        reusable;
                        size = <0x0 0x10000000>;
                        alignment = <0x0 0x400000>;
                        linux,cma-default;
                };
        ...

 

3) IOMMU memory – fall-back

• 디바이스가 IOMMU를 사용하여 주소 변환 과정을 통해 시스템 메모리에 DMA 전송한다.
• CMA 영역에서 할당 받은 페이지 또는 일반 버디시스템에서 할당 받은 페이지를 사용한다.
• 할당 받은 후 IOMMU가 지원하는 매핑 방법을 사용하여 다시 매핑한다.

 

IOMMU를 사용하는 DMA controller와 MMC Nand controller 디바이스 트리 예)

arch/arm64/boot/dts/broadcom/stingray/stingray.dtsi

        scr {
                smmu: mmu@3000000 {
                        compatible = "arm,mmu-500";
                        reg = <0x03000000 0x80000>;
                        #global-interrupts = <1>;
                        interrupts = <GIC_SPI 704 IRQ_TYPE_LEVEL_HIGH>,
                                     ...
                                     <GIC_SPI 774 IRQ_TYPE_LEVEL_HIGH>;
                        #iommu-cells = <2>;
                };

 

        hsls {
                dma0: dma@310000 {
                        compatible = "arm,pl330", "arm,primecell";
                        reg = <0x00310000 0x1000>;
                        interrupts = <GIC_SPI 193 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 194 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 195 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 196 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 197 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 198 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 199 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 200 IRQ_TYPE_LEVEL_HIGH>,
                                     <GIC_SPI 201 IRQ_TYPE_LEVEL_HIGH>;
                        #dma-cells = <1>;
                        #dma-channels = <8>;
                        #dma-requests = <32>;
                        clocks = <&hsls_div2_clk>;
                        clock-names = "apb_pclk";
                        iommus = <&smmu 0x6000 0x0000>;
                };

 

                sdio0: sdhci@3f1000 {
                        compatible = "brcm,sdhci-iproc";
                        reg = <0x003f1000 0x100>;
                        interrupts = <GIC_SPI 204 IRQ_TYPE_LEVEL_HIGH>;
                        bus-width = <8&gt;;
                        clocks = <&sdio0_clk>;
                        iommus = <&smmu 0x6002 0x0000>;
                        status = "disabled";
                };

 

DMA 버퍼 할당 및 consistent(coherent) DMA 매핑

• 큰 페이지 할당 및 매핑
  • dma_alloc_coherent() API를 사용하여 페이지 단위의 큰 DMA 버퍼를 할당하고 cosistent 매핑한다.
• 작은 페이지 할당 및 매핑
  • dma_alloc_coherent() API를 사용하여 할당 받은 DMA 버퍼를 여러 개로 나누어 사용하거나,
  • 자주 반복되어 사용되는 작은 블럭 사이즈의 DMA 버퍼를 위해 dma_pool_create() API로 DMA pool을 생성하고, dma_pool_alloc() API로 블럭을 할당 받아 사용한다.

 

페이지 매핑 타입

다음은 페이지를 매핑할 때 사용하는 방법에 대해 잠시 기억해본다.

• WC(Write Combine) 매핑
  • 캐시는 사용하지 않고 쓰기 버퍼만 사용 가능하다. 이 때 weekly(in) 오더 메모리도 가능하다.
• WT(Write Through) 매핑
  • 캐시 hit되는 경우 캐시와 메모리를 동시에 기록한다. 캐시 hit하지 않는 경우는 곧바로 메모리에 기록하게 한다.
• WB(Write Back) 매핑
  • 캐시를 사용하도록 매핑한다. (커널이 사용하는 일반 DRAM 영역)

 

다음 그림은 cpu가 write-combine 매핑된 coherent(contiguous) 메모리에 데이터를 기록하는 모습을 보여준다.

• L1, L2 캐시를 사용하지 않는다.

 

---

2. Streaming DMA 매핑

디바이스가 DMA를 수행하기 전에 매핑(map)을 하고 DMA 수행한 후에 매핑 해제(unmap)를 한다. 이 매핑들은 interrupt context에서 사용될 수 있다.

• consistent DMA 매핑은 드라이버 로드 시 한 번만 수행하는 것과 다르게, Streaming DMA 매핑과 매핑 해제는 매번 DMA를 하기 전/후에 수행하여야 한다.

 

map & unmap

아키텍처 및 시스템 설계에 따라 cpu와 디바이스간에 공유된 메모리를 동시에 양쪽에서 업데이트를 하는 경우 서로 데이터가 싱크되지 않아 올바르게 보여지지 않을 수 있다. 따라서 cpu와 디바이스간의 데이터 일관성을 위해 DMA를 사용하기 전에 DMA 방향을 지정하고 DMA 전송 전/후로 다음 특별한 조작 등을 수행할 필요가 있다. 이러한 동작은 아키텍처마다 조금씩 다르다.

• map
  • 디바이스가 메모리에 DMA 전송(read/write)을 하기 전에 처리해야 할 일을 수행한다.
  • 아키텍처 및 시스템에 따라 다양한 조작이 있을 수 있는데 그러한 조작은 다음과 같은 것들이 있다.
    • 캐시 조작(clean 또는 invalidate)
    • 버퍼 조작(flush)
    • IOMMU 사용 시 TLB 관련 매핑 레지스터 조작
    • SWIOTLB 사용 시 orginal DMA 버퍼와 디바이스가 실제 DMA 전송하는 Bounce 버퍼와의 데이터 복사(copy)
  • ARM64 캐시 조작 예)
    • coherent 메모리를 사용하는 경우 캐시 조작을 할 필요없다.
    • coherent 메모리를 사용하지 않는 경우 캐시 조작이 필요하다.
      • DMA_FROM_DEVICE 방향을 사용하는 경우 캐시를 invalidate 한다.
      • 그 외의 경우 캐시를 clean 한다.
• unmap
  • 디바이스가 메모리에 DMA 전송(read/write)을 한 후에 처리해야 할 일을 수행한다.
  • ARM64 캐시 조작 예)
    • coherent 메모리를 사용하는 경우 캐시 조작을 할 필요없다.
    • coherent 메모리를 사용하지 않는 경우 DMA 방향에 따라 캐시 조작이 필요한 경우가 있다.
      • DMA_TO_DEVICE 방향을 사용하는 경우 아무런 동작을 하지 않는다.
      • 그 외의 경우 캐시를 invalidate 한다.

 

다음 그림은 ARM64 시스템에서 DMA 사용 전 후로 map/unmap 시 시스템 메모리의 캐시에 관여를 하는 모습을 보여준다.

 

DMA directions

다음과 같이 DMA 전송 시 데이터가 움직이는 방향을 지정할 수 있다.

• DMA_BIDIRECTIONAL
  • 메인 메모리 및 디바이스 양방향
  • 정확한 방향을 모를 때 양방향 보낼 수 있도록 지정한다. 다만 단방향 지정보다 cost가 더 높다.
• DMA_TO_DEVICE
  • 메인 메모리에서 디바이스 방향
• DMA_FROM_DEVICE
  • 디바이스에서 메인 메모리 방향
• DMA_NONE
  • 디버그 시 사용

 

single vs sg(scatter/gather)

스트리밍 매핑은 DMA 요청 시 마다(one-shot) 매핑과 매핑 해제를 수행하고, 다음과 같이 두 가지 버전을 지원한다.

• single map/unmap
  • 물리적으로 연속된(contiguous) 하나의 영역을 대상으로 DMA 전송 시 사용
    • 예) large 영역으로 구성된 ring 버퍼
  • 제약: highmem 영역은 사용하지 못한다.
  • DMA 전송 시작 전에 dma_map_single()을 호출하고 DMA 전송이 완료되면 dma_unmap_single()을 호출한다.
• scatter/gather map/unmap
  • 물리적으로 연속되지 않고 fragment된 여러 버퍼를 대상으로 한꺼번에 DMA 전송 시 사용
    • 물리적으로 연속된 대용량의 DMA 버퍼를 준비하지 않아도되는 장점이 있다.
  • scatterlist에서 지정한 개개의 메모리 영역은 물리적으로 연속된 메모리를 사용해야 하지만, 전체 DMA 버퍼가 연속되지 않고 fragment 되었다.
  • scatterlist 배열에 DMA 버퍼로 사용할 영역의 offset 및 길이 정보등을 담아 요청한다.
  • DMA 전송 시작 전에 dma_map_sg()를 호출하고 DMA 전송이 완료되면 dma_unmap_sg()를 호출한다.

 

다음 그림은 single DMA 스트리밍과 scatter/gather DMA 스트리밍의 모습을 보여준다.

 

다음 그림은 연속된(contiguous) single 메모리 영역을 대상으로 디바이스에서 메모리 방향의 스트리밍 DMA 매핑을 보여준다.

 

다음 그림은 fragment된 여러 개의 메모리 영역을 대상으로 디바이스에서 메모리 방향의 스트리밍 DMA 매핑을 보여준다.

 

---

DMA 관련 헤더 파일 구성

arm 아키텍처는 dma 영역 설정 및 dma 할당을 위해 arm 아키텍처 전용 코드가 많이 남아 있다. arm64 아키텍처는 일부에 전용 코드를 사용하고 대부분 디바이스 트리 및 generic 구현을 통해 구성된다. x86 아키텍처는 대부분 generic 코드로 구현되어 있다. 다음은 DMA 관련한 주요 구현 파일들이다.

• 기본 파일
  • include/linux/dma-buf.h
  • include/linux/dma-contiguous.h
  • include/linux/dma-direct.h
  • include/linux/dma-fence.h
  • include/linux/dma-fence-array.h
  • include/linux/dma-iommu.h
  • include/linux/dma-noncoherent.h
  • include/linux/dmaengine.h
  • include/linux/dmapool.h
  • include/linux/dmar.h
  • include/linux/dma-mapping.h
  • include/linux/dma-direction.h
  • include/linux/scatterlist.h
  • mm/dmapool.c
  • kernel/dma/coherent.c
  • kernel/dma/contiguous.c
  • kernel/dma/direct.c
  • kernel/dma/mapping.c
  • kernel/dma/remap.c
• Generic 헤더 파일
  • include/asm-generic/dma-mapping.h
  • include/asm-generic/dma-contiguous.h
  • include/asm-generic/dma.h
• 아키텍처별 헤더 파일
  • arm
    • arch/arm/include/asm/dma-contiguous.h
    • arch/arm/include/asm/dma-iommu.h
    • arch/arm/include/asm/dma.h
    • arch/arm/include/asm/dma-direct.h
    • arch/arm/include/asm/dma-mapping.h
    • arch/arm/mm/dma-mapping.c
  • arm64
    • arch/arm/include/asm/dma-mapping.h
    • arch/arm/mm/dma-mapping.c
  • x86
    • arch/x86/include/asm/dma-mapping.h

 

DMA 메모리 할당/해제

DMA 메모리를 사용하기 위한 할당/해제 관리를 알아본다.

• 디바이스 트리를 사용하면서 reserved-memory 영역을 대상으로 dma 또는 cma 영역으로 지정하여 관리할 수 있게 되었다.
  • default cma 영역을 의미하는 “linux,cma-default” 속성을 사용할 수 있다.
  • 잘 사용되지는 않지만 ARM 아키텍처에서는 default dma 영역을 의미하는 “linux,dma-default” 속성도 사용할 수 있다.
• 디바이스 트리를 사용하지 않는 PC 서버의 경우도 ACPI를 통해 dma 또는 cma 영역을 지정하여 관리할 수 있다.
• 그 외 디바이스 트리 및 ACPI를 사용하지 않는 경우 아키텍처 및 드라이버 specific한 custom 코드를 통해 수행될 수 있다.
• 페이지 단위의 DMA coherent 메모리 할당을 원할때에는 dma_alloc_coherent()를 사용하고, 더 작은 단위의 할당을 반복하여 사용하고자 할 때에는 dma pool을 만든 후 dma_pool_alloc() 함수를 사용하여 할당 할 수 있다.
• dma 영역은 coherent 메모리로 사용하기 위해 no-map 속성을 사용하는 경우 별도의 write-combine 매핑을 사용하여 이용할 수 있다.

 

다음 그림은 전체적인 DMA 관리체계와 주요 API를 한 눈에 보여준다.

• DMA가 버스와 연동하여 사용되지만 PCI 같은 버스 specific API를 사용하는 것보다 버스 독립적인 DMA-API를 사용해야 한다.
• 예) pci_map_*() 보다 dma_map_*()을 사용한다.

 

---

Generic DMA Coherent per-device Memory 영역 선언

주로 성능이 빠른 SRAM 등의 디바이스 전용 메모리로 coherent 메모리 영역을 선언하는데 사용한다. 이렇게 선언된 메모리 영역은 디바이스가 dma 메모리의 할당/해제를 위해 비트맵으로 관리하며, 비트맵 1비트는 1개 페이지에 해당한다.

• dma_declare_coherent_memory()
  • dmam_declare_coherent_memory() – Managed API
• dma_release_declared_memory()
  • dmam_release_declared_memory() – Managed API
• dma_mark_declared_memory_occupied()

 

메모리 페이지 할당/해제 API

DMA Coherent 메모리 페이지 할당/해제 API

위에서 선언한 coherent 메모리를 order 페이지 단위로 할당/해제한다. interrupt context에서 사용해야 하는 경우 GFP_ATOMIC gfp 플래그를 지정하여 사용할 수 있다.

• dma_alloc_coherent()
  • dmam_alloc_coherent() – Managed API
• dma_free_coherent()
  • dmam_free_coherent() – Managed API

 

DMA Contiguous 메모리 페이지 할당/해제 API

dma 메모리에서 order 페이지 단위로 할당/해제하되, write-combine  매핑 속성을 사용한다.

• dma_alloc_wc()
• dma_free_wc()

 

다양한 종류의 옵션 속성을 제공하는 DMA 메모리 페이지 할당/헤제 API

dma_alloc_coherent() 및 dma_alloc_wc() API를 사용할 수 없는 특수한 메모리 환경에서 옵션 속성을 주어 DMA 메모리 페이지 할당/해제를 수행할 수 있다.

• dma_alloc_attrs()
  • dma_alloc_coherent()와 dma_alloc_wc()도 직접 호출한다.
• dma_free_attrs()
  • dma_free_coherent()와 dma_free_wc()가 호출하는 함수이다.

 

DMA Attributes

메모리 할당 시 옵션 속성을 지정할 수 있다.

• 무속성: fully coherent 메모리를 할당한다.
• DMA_ATTR_WRITE_COMBINE
  • ARM과 ARM64 및 일부 mips(avr32) 아키텍처에서 제공된다.
  • dma_alloc_wc()에서 호출할 때 사용한다.
• DMA_ATTR_WEAK_ORDERING
  • powerpc(cell), sparc 등의 아키텍처에서 read 및 write 들이 weakly order될 수 있다고 알려준다.
• DMA_ATTR_NON_CONSISTENT
  • non-coherent 메모리를 사용해도 sync 포인트를 통해 적절히 DMA를 수행할 수 있게된다.
• DMA_ATTR_WRITE_BARRIER
  • 지연된 DMA write가 완료될 때까지 기다린다.
  • 현재 ia64의 infiniband/core/umem.c에서 사용되고 있다.
• DMA_ATTR_FORCE_CONTIGUOUS
  • ARM, ARM64의 특정 gpu 디바이스에서 반드시 물리 주소 및 가상 주소 모두 contiguous 메모리 매핑을 사용해야할 때 요청된다.
• DMA_ATTR_ALLOC_SINGLE_PAGES
  • 1 페이지만 할당할 때 사용된다.
  • ARM에서만 지원하는 기능이다.

유저 매핑 속성.

• DMA_ATTR_NO_KERNEL_MAPPING

기타

• DMA_ATTR_SKIP_CPU_SYNC
  • DMA 전/후에 cpu에서 sync 작업을 할 필요가 없는 경우이다.
• DMA_ATTR_NO_WARN
  • 메모리 할당 실패 경고를 출력하지 못하게 한다.
  • 현재 powerpc 에서만 적용되어 있다.
• DMA_ATTR_PRIVILEGED
  • 유저 및 커널 레벨 양쪽에서 접근 가능하도록 요청한다.
  • arm의 pl330 DMA 컨트롤러 드라이버에서만 사용되고 있다.

 

DMA Pool 종류

• DMA Pool
  • 현재 가장 많이 사용하는 dma pool 자료 구조이며, 실제 우선 할당되는 메모리는 device가 지정한 coherent 메모리이며, 지정한 coherent 메모리가 없는 경우 아래 dma coherent pool로 생성된 메모리 영역을 이용한다.
• DMA Coherent pool (atomic pool)
  • kernel/dma/pool.c
  • 커널 파라미터로 preallocated 용량을 지정할 수 있으며, 지정하지 않는 경우 디폴트로 메모리 용량 1G당 128KB를 선택하되, 128~4MB 범위를 사용한다.
  • kernel parameter ex) “coherent_pool=1M”
  • log) DMA: preallocated 1024 KiB pool for atomic allocations
• DMA Global pool
  • 거의 사용하지 않는다.
  • “linux,dma-default” with arm & !MMU
  • kernel/dma/coherent.c
• 기타 custom dma pool
  • dma pool의 관리는 다양한 각사의 방법들을 사용하여 왔다.

 

DMA Coherent Memory Pool API

페이지 단위가 아닌 작은 용량의 dma coherent 메모리를 반복하여 사용하고자 할 때 DMA coherent 메모리 풀을 생성한 후 그 풀 내부에서 작은 메모리 할당을 할 필요성이 생겼다. 다음은 풀을 생성하고 해제하는데 사용하는 API이다.

• dma_pool_create()
  • 이 함수 내부에서 dma_alloc_coherent() 함수를 호출하여 요청한 크기의 dma coherent pool을 생성한다.
  • dmam_pool_create() – Managed API
• dma_pool_destroy()
  • dmam_pool_destroy() – Managed API

 

다음은 지정한 dma coherent pool에서 1개의 작은 블럭 메모리를 할당/해제하는 API 이다.

• dma_pool_alloc()
• dma_pool_free()

 

DMA Mask

DMA 영역 제한용 마스크를 설정하는 API 이다.

• dma_set_mask()
  • streaming dma 매핑을 위해 사용되는 dma 제한이다.
• dma_set_coherent_mask()
  • consistent dma 매핑을 위해 사용되는 dma 제한이다.
• dma_set_mask_and_coherent()
  • 위의 두 가지 매핑을 한꺼번에 설정한다.

 

DMA 유저스페이스 매핑

유저 스페이스에서 사용할 수 있는 매핑도 지원한다.

• dma_mmap_attrs()
• dma_mmap_coherent()
• dma_mmap_writecombine()

 

DMA 매핑

두 매핑 중 하나의 전략을 사용한다.

• consistent dma 매핑
  • 디바이스 드라이버 초기화 시 dma 매핑(iommu 및 캐시 sync)이 필요한 경우 미리 매핑을 한다.
  • 드라이버 종료까지 개별 dma 매핑을 수행할 필요 없다
• 스트리밍 dma 매핑
  • iommu 사용 시 매핑/언매핑을 동반한다.
  • 코히런트 메모리를 사용하지 않는 경우 캐시 sync 함수를 동반한다.

 

스트리밍 dma 매핑

dma 버퍼를 활용하는 다음 방법들이 제공된다.

• 싱글 매핑
  • 하나의 영역에 대한 요청이고,
• 페이지 매핑
  • 한 페이지에 대한 요청이다.
• scatter/gather 매핑
  • fragment된 여러 영역에 대한 요청이다.

 

for_cpu

DMA 전에 sync가 필요한 경우

• dma_sync_*_for_cpu() 함수를 사용할 수 있고,

 

for_device

DMA 후에 sync가 필요한 경우

• dma_sync_*_for_device() 함수를 사용할 수 있다.

 

• dma_map_single_attrs()
• dma_unmap_single_attrs()
• dma_map_single()
• dma_unmap_single()
• dma_map_page()
• dma_unmap_page()
• dma_map_sg_attrs()
• dma_unmap_sg_attrs()
• dma_map_sg()
• dma_unmap_sg()
• dma_mapping_error()
• dma_sync_single_for_cpu()
• dma_sync_single_for_device()
• dma_sync_single_range_for_cpu()
• dma_sync_single_range_for_device()
• dma_sync_sg_for_cpu()
• dma_sync_sg_for_device()

 

IOMMU

iommu 도메인을 할당하고 이를 이용하는 디바이스를 붙인 후 매핑을 지원하는 API이다.

• iommu_domain_alloc()
• iommu_domain_free()
• iommu_attach_device()
• iommu_detach_device()
• iommu_map()
• iommu_unmap()

 

참고

• DMA -1- (Basic) | 문c – 현재 글
• DMA -2- (DMA Coherent Memory) | 문c
• DMA -3- (DMA Pool) | 문c
• DMA -4- (DMA Mapping) | 문c
• DMA -5- (IOMMU) | 문c
• DMA -6- (DMAEngine Subsystem) | 문c
• IOMMU | 문c

 

• Mastering the DMA and IOMMU APIs (2014) | Laurent Pinchart – 다운로드 pdf
• An Overview of the DMAEngine Subsystem (2015) | Free Electrons – 다운로드 pdf
• Write Combining Memory Implementation Guidelines (1998) | Intel – 다운로드 pdf
• DMA safety in buffers for Linux Kernel device drivers (2018) | Wolfram Sang, Consultant / Renesas – 다운로드 pdf
• Linux Kernel Network Subsystem (2006) | Chih-che Lin – 다운로드 pdf
• What is Direct Memory Access (DMA) and Why Should We Know About it? | John Franco – 다운로드 pdf
• Contiguous memory on ARM and cache coherency (2015) | A else B