Memory Model -1- (Basic)

<kernel v5.15>

물리 메모리 모델

물리 메모리의 0번 주소부터 시작하여 마지막 끝 주소까지 연속된 주소를 사용하는 시스템의 경우 물리 메모리를 관리하는 방법이 가장 간단하다. 그런데 그러한 물리 메모리의 중간에 약간의 홀(hole)이 있어 cpu로 부터 접근할 수 없는 경우가 있다. 어떠한 아키텍처들은 물리 메모리를 배치할 때 중간에 홀(hole)이 생성되는 경우가 있는 경우가 있다. 또한 NUMA 시스템을 보면 메모리 뱅크 사이에 커다란 홀이 발생할 수도 있다.

리눅스 커널은 물리 메모리를 페이지 프레임 단위(디폴트 4K)로 1:1로 대응하여 관리를 하는 page 구조체를 사용한다. 예를 들어 1GB 메모리를 가진 ARM64 시스템의 경우 에서 의 경우 1G 물리 메모리는 페이지 프레임 단위로 1M(0x100000)개를 사용하고, 이에 대응하는 page 구조체는 1M * 64바이트(디폴트) = 64MB 의 용량을 차지한다. 그러니깐 전체 물리 메모리의 약 1.5%를 page 구조체들이 사용을 하며, 이들을 mem_map이라고 부른다.

물리 메모리는 물리 메모리 주소 공간 0부터 시작하는 PFN(Page Frame Number) 숫자 개념을 사용하며, 이 PFN과 page 구조체는 1:1로 대응하므로 서로 변환을 많이하며 변환이 쉽고 빨라야 한다. 이 때 사용하는 API는 pfn_to_page()와 page_to_pfn() 매크로 함수를 사용한다. 전체 물리 메모리가 hole 없이 구성된 경우 page 구조체들로 구성된 mem_map은 일괄적으로 생성하고 이에 대해 pfn을 통한 접근이 단순 산술 연산으로 쉽게 해당 page 구조체를 가리킬 수 있게되는데, 전체 물리 메모리에 홀(hole)이 있는 경우 mem_map 구성에 대한 방법이 달라져아함을 알 수 있고, 이에 대해 리눅스 커널은 3가지의 물리 메모리 모델을 제공하고 있다.

3가지 물리 메모리 모델

리눅스는 물리 메모리를 관리하기 위해 FLATMEM, DISCONTIGMEM 및 SPARSEMEM의 3가지 모델을 제공하다, 최근에 DISCONTIGMEM을 제외하였고, 아키텍처들은 이 중 하나 이상을 지원하며 커널 빌드 시 지원되는 메모리 모델 중 하나를 선택하여 빌드한다. (32비트 시스템의 대부분은 FLATMEM을 사용하고, 64비트 시스템의 경우 SPARSEMEM을 사용한다)

물리 메모리 모델별 특징

각 물리 메모리 모델은 물리 메모리 사이에 hole이 존재하는 경우 이를 처리하는 방법이 다르다. 물리 메모리의 각 프레임 관리를 위해 page 구조체가 필요하고, 이들의 집합형태가 mem_map이다. 이들을 관리하는 방법에 따라 아래 3가지의 물리 메모리 모델을 알아본다.

FLATMEM

• 설치된 메모리 뱅크들의 주소가 연속된다. 이러한 경우 가장 심플하게 이 모델을 선택할 수 있다.
• 설치된 메모리 뱅크들의 주소 사이에 작은 hole이 발생하는 경우에도 이 모델을 사용할 수 있다. 대신 해당 hole에 대응하는 mem_map 만큼의 메모리를 낭비한다.

DISCONTIGMEM

• 2009년 NUMA 시스템을 위해 소개되었다.
• 설치된 메모리 뱅크들의 주소 사이에 큰 hole이 발생하는 경우에 이 모델을 사용했었다.
• ARM은 2010년 핫 플러그에 대응을 못하는 DISCONTIGMEM을 대체하는 SPARSEMEM이 도입되면서 이 모델의 지원을 종료하였다.
  • 참고: ARM: Remove DISCONTIGMEM support
• 커널 메인라인에서 조차 이 모델을 완전히 제거하였다.
  • mm: remove CONFIG_DISCONTIGMEM (2021, v5.14-rc1)

SPARSEMEM

• 설치된 메모리 뱅크들의 주소 사이에 큰 hole이 발생하는 경우(NUMA 시스템 포함) 또는 hotplug memory 기능이 필요한 경우 이모델을 선택할 수 있다.
  • 참고: x86_64: Make sparsemem/vmemmap the default memory model
  • x86 및 arm64의 경우 sparsemem 메모리 모델과 vmemmap 커널 옵션을 디폴트로 사용한다.
• 섹션 단위로 online/offline(hotplug memory) 관리가 되며 섹션 사이즈는 수십MB~수G로 커널 옵션 또는 아키텍처별로 다르다.
  • arm32의 경우 설정된 커널 옵션마다 다르다.
  • arm64의 경우 디폴트 값으로 1G를 사용다가 최근 128M로 변경하였다.
    • 참고: arm64/sparsemem: reduce SECTION_SIZE_BITS (2021, v5.12-rc1)

ARM with NUMA

• arm은 메인 스트림 커널에서는 지원되지 않는다.
  • 2012년 RFC 패치에 arm에서 NUMA를 지원하였었고, linaro 커널도 arm에서 NUMA를 지원하지만 절대적인 필요성이 없어서인지 메인스트림에는 포함되지 않고 있다.
    • 참고: Add support for CONFIG NUMA to ARM | elinux.org
• arm64에서 2014년 NUMA 패치를적용하여 지원하였었고, 2016년 메인 스트림 커널 v4.7-rc1에 기본 적용하였다.
  • 참고: arm64:numa: Add numa support for arm64 platforms | LWN.net
  • 참고: arm64, numa: Add NUMA support for arm64 platforms.

메모리 모델 주요 커널 옵션

• ARM64의 경우 다음과 같은 옵션이 사용되어 SPARSEMEM 메모리 모델 1개만을 사용하고 있다.
  • CONFIG_ARCH_SELECT_MEMORY_MODEL=y
  • CONFIG_SELECT_MEMORY_MODEL=y
  • CONFIG_ARCH_SPARSEMEM_ENABLE=y
  • CONFIG_ARCH_SPARSEMEM_DEFAULT=y

메모리 모델 부가 커널 옵션

• NEED_MULTIPLE_NODES
  • NUMA 시스템 또는 DISCONTIGMEM 메모리 모델에서 사용할 수 있다.
  • NODE_DATA() 매크로를 사용하여 각 노드의 mem_map을 가리킬 수 있게 한다.
  • 전역 node_data[] 배열을 사용하여 노드별로 mem_map에 접근한다.
•  FLAT_NODE_MEM_MAP
  • FLATMEM 또는 DISCONTIGMEM 메모리 모델에서 사용할 수 있다.
  • 노드 정보를 기술해 놓은 pglist_data 구조체의 멤버 변수 node_mem_map을 통해 mem_map에 접근한다.
• HAVE_MEMORY_PRESENT
  • SPARSEMEM 메모리 모델을 위해 요청한 범위에 hole이 발생할 수 있으므로 각 섹션 별로 메모리 존재 여부를 관리할 수 있도록 한다.
• SPARSEMEM_EXTREME
  • sparse 메모리 모델을 사용할 때 사용되는 두 가지 선택 중 하나이다.
  • mem_section[] 배열을 dynamic 하게 할당 받아 사용하려고 할 때 사용
  • 주로 생성해야 할 섹션 수가 많은 64비트 시스템에서 사용한다.
• SPARSEMEM_STATIC
  • sparse 메모리 모델을 사용할 때 사용되는 두 가지 선택 중 하나이다.
  • 컴파일 시 static하게 할당해둔 mem_section[]을 사용한다.
  • 주로 생성해야 할 섹션 수가 적은 32비트 시스템에서 사용한다.
• SPARSEMEM_VMEMMAP
  • vmemmap을 사용하여 빠르게 pfn과 page descriptor 주소를 변환할 수 있다.
  • vmalloc 주소 범위가 큰 64비트 시스템에서 사용한다.
• MEMORY_HOTPLUG
  • 메모리를 시스템 동작 중에 추가할 수 있다.
• MEMORY_HOTREMOVE
  • 메모리를 시스템 동작 중에 제거할 수 있다.
  • MEMORY_HOTPLUG, ARCH_ENABLE_MEMORY_HOTREMOVE, MIGRATION 옵션이 있을 때 선택할 수 있다.
• HIGHMEM
  • 32bit에서 커널에 미리 1:1 매핑되지 않아 커널이 직접 access를 해야 할 때마다 매핑하여 사용해야 하는 메모리 범위이다.
  • 32bit 시스템에서 시스템 메모리가 커널 공간보다 큰 경우 HIGHMEM 옵션을 사용하여 더 많은 메모리를 활용할 수 있게 한다.
• HIGHPTE
  • 32bit 시스템에서 2차 PTE를 highmem에 할당한다.
  • 32bit 시스템에 수 기가 이상의 메모리를 사용하는 경우 2차 PTE를 highmem에 로드하게 하여 lowmem 메모리를 소모하지 않게 유도한다.
• NODE_NOT_IN_PAGE_FLAGS
  • page 구조체의 flags 멤버변수에 노드 번호를 기록하지 못하는 경우 노드 번호를 별도로 섹션에 대해 1:1로 매핑하여 저장한다
  • 32비트 시스템에서 비트 자리가 부족하여 노드 번호를 기록하지 못하는 경우 사용

메모리 모델과 페이지 관리맵(mem_map)

전체 물리 메모리의 페이지 프레임 만큼 page 구조체 배열이 mem_map이라하는데 다음과 같이 각 메모리 모델별로 mem_map을 관리한다.

• FLATMEM
  • *mem_map 포인터가 page[] 구조체 배열을 가리킨다.
  • 노드가 하나 이므로 전역 구조체 contig_page_data를 사용하는데 이 구조체의 멤버 변수 node_mem_map 역시 page[] 구조체 배열을 가리킨다.
• DISCONTIGMEM
  • 노드가 두 개 이상이므로 node_data[] 배열을 사용하는데 이 구조체의 멤버 변수 node_mem_map은 각 노드와 관련된 page[] 구조체 배열을 가리킨다.
• SPARSEMEM
  • 두 가지 방법을 사용한다.
    • SPARSEMEM_STATIC
      • 섹션 수 만큼 mem_section[] 배열을 컴파일 타임에 정적 메모리에 두고 각 섹션 엔트리의 멤버 변수 section_mem_map이 해당 섹션 크기 만큼의 페이지를 관리하는 page[] 구조체 배열을 가리킨다.
    • SPARSEMEM_EXTREAM
      • 섹션 수 만큼 *mem_section[] 포인터 배열을 정적 메모리에 두고 실제 각 mem_section[] 배열은 커널 초기화를 진행할 때 mem_section[] 배열을 dynamic하게 할당받아 메모리를 사용하고 mem_section[]의 사용은 SPARSEMEM_STATIC과 같다.

참고

• Memory Model -1- (Basic) | 문c – 현재 글
• Memory Model -2- (mem_map) | 문c
• Memory Model -3- (Sparse Memory) | 문c
• Memory Model -4- (APIs) | 문c
• ZONE 타입 | 문c
• bootmem_init | 문c
• zone_sizes_init() | 문c – 현재 글
• NUMA -1- (ARM64 초기화) | 문c
• build_all_zonelists() | 문c

• Memory: the flat, the discontiguous, and the sparse(2019) | LWN.net
• sparsemem memory model(2005) | LWN.net
• Sparsemem(2010)