Device & Driver -2- (Bus & Class)

<kernel v4.14>

버스, 디바이스, 드라이버 및 클래스의 관계

다음 그림의 위 박스에 물리적으로 버스에 두 개의 디바이스가 연결되어 있는 것을 알 수 있다. 아래 박스에는 이에 해당하는 구조체들이 구현 레벨로 표시되어 있다.

  • 버스 하나에 버스 컨트롤러 디바이스 및 Consumer 디바이스가 구성되어 있다.
  • 디바이스 하나에 device 구조체와 device_driver 구조체 두 개가 사용되어 등록되는 것을 알 수 있다.

 

디바이스는 버스와 연결될 디바이스와 클래스에 연결될 디바이스로 보통 구분하여 사용한다. 하나의 디바이스로 버스와 클래스를 동시에 지정하는 경우는 지원하지 않는다. 그리고 드라이버는 버스에 연결되는 디바이스와 매치되는 경우 바인딩되어 연동된다.

  • 버스 디바이스
    • 1개의 버스를 지정
  • 클래스 디바이스
    • 1개의 클래스를 지정
  • 드라이버
    • 버스 디바이스와 바인딩된다.

 

디바이스나 드라이버가 등록되기 이전에 버스와 클래스가 이미 등록되어 있어야 한다. 그런 후 버스에 디바이스와 드라이버가 포함될 수 있다. 클래스는 디바이스만을 포함시킬 수 있다.

  • 버스
    • 다수의 버스 디바이스들과 드라이버들을 관리한다.
  • 클래스
    • 다수의 클래스 디바이스들을 관리한다.

 

일반적으로 1개 이상의 클래스 디바이스를 만들 때, 먼저 버스 디바이스들을 만들고 그 밑으로 클래스 디바이스들을 생성하여 사용한다.

 

버스

버스를 등록하려면 다음과 같이 두 단계를 사용한다. (예: 플랫폼 버스)

  • 첫 번째, 버스 컨트롤러 디바이스(struct device) 등록
    • device_register(&platform_bus);
  • 두 번째, 버스(struct bus_type) 등록
    • bus_register(&platform_bus_type);

 

bus_type 구조체

include/linux/device.h

/**                                                                             
 * struct bus_type - The bus type of the device                                 
 *                                                                              
 * @name:   The name of the bus.                                                
 * @dev_name:   Used for subsystems to enumerate devices like ("foo%u", dev->id).
 * @dev_root:   Default device to use as the parent.                            
 * @bus_groups: Default attributes of the bus.                                  
 * @dev_groups: Default attributes of the devices on the bus.                   
 * @drv_groups: Default attributes of the device drivers on the bus.            
 * @match:  Called, perhaps multiple times, whenever a new device or driver     
 *      is added for this bus. It should return a positive value if the         
 *      given device can be handled by the given driver and zero                
 *      otherwise. It may also return error code if determining that            
 *      the driver supports the device is not possible. In case of              
 *      -EPROBE_DEFER it will queue the device for deferred probing.            
 * @uevent: Called when a device is added, removed, or a few other things       
 *      that generate uevents to add the environment variables.                 
 * @probe:  Called when a new device or driver add to this bus, and callback    
 *      the specific driver's probe to initial the matched device.              
 * @remove: Called when a device removed from this bus.                         
 * @shutdown:   Called at shut-down time to quiesce the device.                 
 *                                                                              
 * @online: Called to put the device back online (after offlining it).          
 * @offline:    Called to put the device offline for hot-removal. May fail.     
 *                                                                              
 * @suspend:    Called when a device on this bus wants to go to sleep mode.     
 * @resume: Called to bring a device on this bus out of sleep mode.             
 * @num_vf: Called to find out how many virtual functions a device on this      
 *      bus supports.                                                           
 * @pm:     Power management operations of this bus, callback the specific      
 *      device driver's pm-ops.                                                 
 * @iommu_ops:  IOMMU specific operations for this bus, used to attach IOMMU    
 *              driver implementations to a bus and allow the driver to do      
 *              bus-specific setup                                              
 * @p:      The private data of the driver core, only the driver core can       
 *      touch this.                                                             
 * @lock_key:   Lock class key for use by the lock validator                    
 *                                                                              
 * A bus is a channel between the processor and one or more devices. For the    
 * purposes of the device model, all devices are connected via a bus, even if   
 * it is an internal, virtual, "platform" bus. Buses can plug into each other.  
 * A USB controller is usually a PCI device, for example. The device model      
 * represents the actual connections between buses and the devices they control.
 * A bus is represented by the bus_type structure. It contains the name, the    
 * default attributes, the bus' methods, PM operations, and the driver core's   
 * private data.                                                                
 */
struct bus_type {                                                               
    const char      *name;                                                      
    const char      *dev_name;                                                  
    struct device       *dev_root;                                              
    const struct attribute_group **bus_groups;                                  
    const struct attribute_group **dev_groups;                                  
    const struct attribute_group **drv_groups;                                  
                                                                                
    int (*match)(struct device *dev, struct device_driver *drv);                
    int (*uevent)(struct device *dev, struct kobj_uevent_env *env);             
    int (*probe)(struct device *dev);                                           
    int (*remove)(struct device *dev);                                          
    void (*shutdown)(struct device *dev);                                       
                                                                                
    int (*online)(struct device *dev);                                          
    int (*offline)(struct device *dev);                                         
                                                                                
    int (*suspend)(struct device *dev, pm_message_t state);                     
    int (*resume)(struct device *dev);                                          
                                                                                
    int (*num_vf)(struct device *dev);                                          
                                                                                
    const struct dev_pm_ops *pm;                                                
                                                                                
    const struct iommu_ops *iommu_ops;                                          
                                                                                
    struct subsys_private *p;                                                   
    struct lock_class_key lock_key;                                             
};
  • *name
    • 버스명
  • *dev_name
    • 인스턴스가 포함된 버스 디바이스 명 (형태: “%s%d”, name, dev->id)
    • 예) foo1
  • *dev_root
    • 부모로 사용되는 디폴트 디바이스
  • **bus_groups
    • 버스 속성들을 지정하면 버스 디렉토리에 버스 속성들이 생성된다.
      • 예) /sys/bus/foo_bus 디렉토리에 버스 속성이 만들어진다.
  • **dev_groups
    • 버스에 디바이스가 추가되는 경우 생성되는 디바이스 디렉토리에 이 버스 디바이스 속성들이 생성된다.
      • 예) /sys/devices/foo 디렉토리에 속성들이 생성된다.
  • **drv_groups
    • 버스에 드라이버가 추가되는 경우 생성되는 드라이버 디렉토리에 이 버스 드라이버 속성들이 생성된다.
      • 예) /sys/bus/foo/drivers/foo_driver 디렉토리에 속성들이 생성된다.
  • (*match)
    • 디바이스나 드라이버가 버스에 연결될 때 이 후크 함수가 호출한다.
    • 이 후크 함수의 호출 결과가 양수면 다음 probe 과정이 진행된다.
  • (*uevent)
    • 디바이스가 추가/제거될 때 환경 변수를 추가하도록 이벤트가 발생을 위해 호출된다.
  • (*probe)
    • 버스에 id 매치된 새 디바이스 또는 드라이버가 추가될 때 이 후크 함수가 호출되어 디바이스나 드라이버가 등록되도록 한다.
  • (*remove)
    • 버스에서 디바이스 또는 드라이버가 제거될 때 호출되는 후크 함수이다.
  • (*shutdown)
    • 전원이 off되기 전에 호출되는 후크 함수이다.
  • (*online)
    • 디바이스가 연결(hot-plug)되어 online된 후 호출되는 후크 함수이다.
  • (*offline)
    • 디바이스가 분리(hot-removal)되어 offline될 때 호출되는 후크 함수이다.
  • (*suspend)
    • 절전 모드 진입 시 호출되는 후크 함수이다.
  • (*resume)
    • 절전 모드로 부터 벗어난 후 호출되는 후크 함수이다.
  • (*num_vf)
    • 버스에서 virtual 펑션들의 수를 알아내기 위해 호출되는 후크 함수이다.
  • *pm
    • 전원(절전 모드) 관리가 필요한 경우 사용되는 오퍼레이션
  • *iommu_ops
    • IOMMU 장치가 있는 경우 필요한 IOMMU 오퍼레이션
  • *p
    • 드라이버와 서브시스템간 하이라키 연결을 드라이버 core가 관리하는 내부 자료 구조이다.
  • lock_key
    • lock

 

버스 등록

인자로 받아온 bus_type 구조체를 통해 버스를 등록하는 과정을 알아본다.

 

bus_register()

drivers/base/bus.c

/**                                                                             
 * bus_register - register a driver-core subsystem                              
 * @bus: bus to register                                                        
 *                                                                              
 * Once we have that, we register the bus with the kobject                      
 * infrastructure, then register the children subsystems it has:                
 * the devices and drivers that belong to the subsystem.                        
 */                                                                             
int bus_register(struct bus_type *bus)                                          
{                                                                               
    int retval;                                                                 
    struct subsys_private *priv;                                                
    struct lock_class_key *key = &bus->lock_key;                                
                                                                                
    priv = kzalloc(sizeof(struct subsys_private), GFP_KERNEL);                  
    if (!priv)                                                                  
        return -ENOMEM;                                                         
                                                                                
    priv->bus = bus;                                                            
    bus->p = priv;                                                              
                                                                                
    BLOCKING_INIT_NOTIFIER_HEAD(&priv->bus_notifier);                           
                                                                                
    retval = kobject_set_name(&priv->subsys.kobj, "%s", bus->name);             
    if (retval)                                                                 
        goto out;                                                               
                                                                                
    priv->subsys.kobj.kset = bus_kset;                                          
    priv->subsys.kobj.ktype = &bus_ktype;                                       
    priv->drivers_autoprobe = 1;                                                
                                                                                
    retval = kset_register(&priv->subsys);                                      
    if (retval)                                                                 
        goto out;                                                               
                                                                                
    retval = bus_create_file(bus, &bus_attr_uevent);                            
    if (retval)                                                                 
        goto bus_uevent_fail;                                                   
                                                                                
    priv->devices_kset = kset_create_and_add("devices", NULL,                   
                         &priv->subsys.kobj);                                   
    if (!priv->devices_kset) {                                                  
        retval = -ENOMEM;                                                       
        goto bus_devices_fail;                                                  
    }                                                                           
                                                                                
    priv->drivers_kset = kset_create_and_add("drivers", NULL,                   
                         &priv->subsys.kobj);                                   
    if (!priv->drivers_kset) {                                                  
        retval = -ENOMEM;                                                       
        goto bus_drivers_fail;                                                  
    }

요청한 버스를 등록한다. 이 때 sysfs의 “/sys/bus”에 버스명으로 디렉토리를 만들고 관련 디렉토리들 및 버스 속성들을 추가한다.

  • 코드 라인 15~20에서 버스와 서브시스템간의 하이 라키 관계를 구성하도록 subsys_private 구조체를 할당받고 버스와 서로 연결한다.
  • 코드 라인 22에서 bus notifier 리스트를 초기화한다.
    • 디바이스가 이 버스에 등록/제거될 때 마다 이 리스트에 담긴 notifier 블럭의 함수를 호출하는 용도로 관리한다.
  • 코드 라인 24~26에서 버스 디렉토리 이름을 버스 이름으로 동일하게 사용한다.
    • 예) “foo” 버스명 -> /sys/bus/foo
  • 코드 라인 28~30에서 버스 위치를 /sys/bus로 지정하고, 속성 보기 및 변경에 대한 오퍼레이션을 디폴트 버스 오퍼레이션으로 지정한다. 그리고 이 버스에 등록되는 드라이버를 자동 probe할 수 있도록 설정한다.
    • (*release) 후크 함수
    • (*show) 및 (*store) 후크 함수
  • 코드 라인 32~34에서 버스명에 해당하는 디렉토리를 “/sys/bus”에 생성한다.
  • 코드 라인 36~38에서 uevent 속성을 추가한다.
  • 코드 라인 40~45에서 “/sys/bus” 디렉토리 뒤에 “devices”를 생성한다.
  • 코드 라인 47~52에서 “/sys/bus” 디렉토리 뒤에 “drivers”를 생성한다.

 

    INIT_LIST_HEAD(&priv->interfaces);                                          
    __mutex_init(&priv->mutex, "subsys mutex", key);                            
    klist_init(&priv->klist_devices, klist_devices_get, klist_devices_put);     
    klist_init(&priv->klist_drivers, NULL, NULL);                               
                                                                                
    retval = add_probe_files(bus);                                              
    if (retval)                                                                 
        goto bus_probe_files_fail;                                              
                                                                                
    retval = bus_add_groups(bus, bus->bus_groups);                              
    if (retval)                                                                 
        goto bus_groups_fail;                                                   
                                                                                
    pr_debug("bus: '%s': registered\n", bus->name);                             
    return 0;                                                                   
                                                                                
bus_groups_fail:                                                                
    remove_probe_files(bus);                                                    
bus_probe_files_fail:                                                           
    kset_unregister(bus->p->drivers_kset);                                      
bus_drivers_fail:                                                               
    kset_unregister(bus->p->devices_kset);                                      
bus_devices_fail:                                                               
    bus_remove_file(bus, &bus_attr_uevent);                                     
bus_uevent_fail:                                                                
    kset_unregister(&bus->p->subsys);                                           
out:                                                                            
    kfree(bus->p);                                                              
    bus->p = NULL;                                                              
    return retval;                                                              
}                                                                               
EXPORT_SYMBOL_GPL(bus_register);
  • 코드 라인 1~4에서 버스의 인터페이스, list_devices 및 klist_dirvers들을 초기화한다.
  • 코드 라인 6~8에서 drivers_probe 및 drivers_autoprobe 속성을 생성한다.
  • 코드 라인 10~12에서 버스 속성 그룹들을 추가한다.

 

다음 그림은 foo 버스를 추가할 때의 과정을 보여준다.

 

add_probe_files()

drivers/base/bus.c

static int add_probe_files(struct bus_type *bus)                                
{                                                                               
    int retval;                                                                 
                                                                                
    retval = bus_create_file(bus, &bus_attr_drivers_probe);                     
    if (retval)                                                                 
        goto out;                                                               
                                                                                
    retval = bus_create_file(bus, &bus_attr_drivers_autoprobe);                 
    if (retval)                                                                 
        bus_remove_file(bus, &bus_attr_drivers_probe);                          
out:                                                                            
    return retval;                                                              
}

drivers_probe 및 drivers_autoprobe 속성을 생성한다.

 

다음 그림은 플랫폼 버스에 연결된 i2c 컨트롤러와 1개의 온도 센서가 i2c 버스에 연결된 상태이다. 이 때 속성들을 살펴보자.

 

다음 그림은 위의 상황과 동일하며 다음 심볼 링크가 어느 곳에 연결되어 있는지 확인하여 보자.

  • /sys/devices
    • device 심볼 링크
    • subsystem 심볼 링크
  • /sys/bus
    • 디바이스명으로된 심볼 링크
  • /sys/class
    • 클래스 디바이스명으로된 심볼 링크

 

버스 및 클래스 하이라키 관계 관리

subsys_private 구조체

drivers/base/base.h

/**
 * struct subsys_private - structure to hold the private to the driver core portions of the bus_type/class structure.
 *
 * @subsys - the struct kset that defines this subsystem
 * @devices_kset - the subsystem's 'devices' directory
 * @interfaces - list of subsystem interfaces associated
 * @mutex - protect the devices, and interfaces lists.
 *
 * @drivers_kset - the list of drivers associated
 * @klist_devices - the klist to iterate over the @devices_kset
 * @klist_drivers - the klist to iterate over the @drivers_kset
 * @bus_notifier - the bus notifier list for anything that cares about things
 *                 on this bus.
 * @bus - pointer back to the struct bus_type that this structure is associated
 *        with.
 *
 * @glue_dirs - "glue" directory to put in-between the parent device to
 *              avoid namespace conflicts
 * @class - pointer back to the struct class that this structure is associated
 *          with.
 *
 * This structure is the one that is the actual kobject allowing struct
 * bus_type/class to be statically allocated safely.  Nothing outside of the
 * driver core should ever touch these fields.
 */
struct subsys_private {
        struct kset subsys;
        struct kset *devices_kset;
        struct list_head interfaces;
        struct mutex mutex;

        struct kset *drivers_kset;
        struct klist klist_devices;
        struct klist klist_drivers;
        struct blocking_notifier_head bus_notifier;
        unsigned int drivers_autoprobe:1;
        struct bus_type *bus;

        struct kset glue_dirs;
        struct class *class;
};

이 구조체는 다음과 bus에서도 사용되고 class에서도 사용된다.

bus에서 사용될 때
  • subsys
    • 버스 디렉토리에 해당하는 kset이다.
  • *devices_kset
    • 버스의 devices 디렉토리에 해당하는 kset를 가리킨다.
      • 예) /sys/bus/foo/devices
  • interfaces
    • 버스 인터페이스들
  • mutex
    • 리스트를 보호하기위한 mutex
  •  *drivers_kset
    • 버스의 drivers 디렉토리에 해당하는 kset를 가리킨다.
      • 예) /sys/bus/foo/drivers
  • klist_devices
    • 버스에 등록될 디바이스 리스트
  • klist_drivers
    • 버스에 등록될 드라이버 리스트
  • bus_notifier
    • 버스에 디바이스가 등록/해제 또는 드라이버가 bind/unbind될 때 마다 호출될 notifiler block 노드로 사용된다.
  • drivers_autoprobe
    • 버스가 autoprobe를 지원할지 여부
      • 디폴트: 1
  • *bus
    • 버스를 가리킨다.
class에서 사용될 때
  • subsys
    • 클래스 디렉토리에 해당하는 kset이다.
  • interfaces
    • 클래스 인터페이스들
  • mutex
    • 리스트를 보호하기위한 mutex
  • klist_devices
    • 클래스에 등록될 디바이스 리스트
  • glue_dirs
    • 이름 충돌을 피하기위해 부모 디바이스와 끼워넣을 디렉토리
  • *class
    • 클래스를 가리킨다.

 

버스에 디바이스 추가

bus_add_device()

drivers/base/bus.c

/**                                                                             
 * bus_add_device - add device to bus                                           
 * @dev: device being added                                                     
 *                                                                              
 * - Add device's bus attributes.                                               
 * - Create links to device's bus.                                              
 * - Add the device to its bus's list of devices.                               
 */                                                                             
int bus_add_device(struct device *dev)                                          
{                                                                               
    struct bus_type *bus = bus_get(dev->bus);                                   
    int error = 0;                                                              
                                                                                
    if (bus) {                                                                  
        pr_debug("bus: '%s': add device %s\n", bus->name, dev_name(dev));       
        error = device_add_groups(dev, bus->dev_groups);                        
        if (error)                                                              
            goto out_put;                                                       
        error = sysfs_create_link(&bus->p->devices_kset->kobj,                  
                        &dev->kobj, dev_name(dev));                             
        if (error)                                                              
            goto out_groups;                                                    
        error = sysfs_create_link(&dev->kobj,                                   
                &dev->bus->p->subsys.kobj, "subsystem");                        
        if (error)                                                              
            goto out_subsys;                                                    
        klist_add_tail(&dev->p->knode_bus, &bus->p->klist_devices);             
    }                                                                           
    return 0;                                                                   
                                                                                
out_subsys:                                                                     
    sysfs_remove_link(&bus->p->devices_kset->kobj, dev_name(dev));              
out_groups:                                                                     
    device_remove_groups(dev, bus->dev_groups);                                 
out_put:                                                                        
    bus_put(dev->bus);                                                          
    return error;                                                               
}

버스에 디바이스를 추가한다.

  • 코드 라인 14~18에서 버스에 추가될 디바이스인 경우 해당 버스에 소속된 디바이스 속성들을 추가한다.
    • 예) gpio 디바이스가 플랫폼 버스에 추가되는 경우
      • drivers_autoprobe, drivers_probe 속성이 추가된다.
  • 코드 라인 19~22에서 해당 버스의 디바이스 디렉토리에 디바이스명으로 심볼 링크를 생성하여 해당 디바이스 디렉토리를 가리키게 한다.
    • 플랫폼 버스 예) /sys/bus/platform/devices/<devname> -> /sys/devices/platform/<devname>
  • 코드 라인 23~26에서 디바이스 디렉토리에  “subsystem” 심볼 링크를 생성하여 해당 버스 디렉토리를 가리키게한다.
    • 플랫폼 버스 예) /sys/devices/platform/<devname>/subsystem -> /sys/bus/platform
  • 코드 라인 27에서 버스가 관리하는 디바이스 리스트에 디바이스를 추가한다.

 

다음 그림과 같이 디바이스 디렉토리에 버스 타입 속성을 추가한다. 그리고 디바이스와 버스 타입과 심볼 링크로 서로 연결한다.

 

버스에 드라이버 추가

bus_add_driver()

drivers/base/bus.c

/**
 * bus_add_driver - Add a driver to the bus.
 * @drv: driver.
 */
int bus_add_driver(struct device_driver *drv)
{
        struct bus_type *bus; 
        struct driver_private *priv;
        int error = 0;

        bus = bus_get(drv->bus);
        if (!bus)
                return -EINVAL;

        pr_debug("bus: '%s': add driver %s\n", bus->name, drv->name);

        priv = kzalloc(sizeof(*priv), GFP_KERNEL);
        if (!priv) {
                error = -ENOMEM;
                goto out_put_bus;
        }
        klist_init(&priv->klist_devices, NULL, NULL);
        priv->driver = drv;
        drv->p = priv;
        priv->kobj.kset = bus->p->drivers_kset;
        error = kobject_init_and_add(&priv->kobj, &driver_ktype, NULL,
                                     "%s", drv->name);
        if (error)
                goto out_unregister;
        
        klist_add_tail(&priv->knode_bus, &bus->p->klist_drivers);
        if (drv->bus->p->drivers_autoprobe) {
                if (driver_allows_async_probing(drv)) {
                        pr_debug("bus: '%s': probing driver %s asynchronously\n",
                                drv->bus->name, drv->name); 
                        async_schedule(driver_attach_async, drv);
                } else {
                        error = driver_attach(drv);
                        if (error)
                                goto out_unregister;
                }
        }
        module_add_driver(drv->owner, drv);

버스에 드라이버를 추가한다.

  • 코드 라인 11~13에서 드라이버에 해당되는 버스를 참조하기 위해 참조카운터를 1 증가시킨다.
  • 코드 라인 17~23에서 driver_private 구조체를 생성하고 드라이버와 서로 가리키게한다.
  • 코드 라인 24~28에서 버스의 드라이버 디렉토리에 드라이버명으로 디렉토리를 만든다.
    • 플랫폼 버스 예) sys/bus/platform/drivers/<foo>
  • 코드 라인 30에서 버스가 관리하는 드라이버 리스트에 현재 드라이버를 추가한다.
  • 코드 라인 31~41에서 버스에 drivers_autoprobe 속성이 1로 설정된 경우 드라이버에 디바이스들을 찾아 attach한다. 드라이버가 비동기 probe를 지원하는 경우에는 스레드를 사용하여 attach한다.
    • 예) /sys/bus/platform/drivers_autoprobe
  • 코드 라인 42에서 sysfs의 모듈 디렉토리에 드라이버의 모듈 디렉토리 및 속성을 추가한다.

 

        error = driver_create_file(drv, &driver_attr_uevent);
        if (error) {
                printk(KERN_ERR "%s: uevent attr (%s) failed\n",
                        __func__, drv->name);
        }
        error = driver_add_groups(drv, bus->drv_groups);
        if (error) {
                /* How the hell do we get out of this pickle? Give up */
                printk(KERN_ERR "%s: driver_create_groups(%s) failed\n",
                        __func__, drv->name);
        }

        if (!drv->suppress_bind_attrs) {
                error = add_bind_files(drv);
                if (error) {
                        /* Ditto */
                        printk(KERN_ERR "%s: add_bind_files(%s) failed\n",
                                __func__, drv->name);
                }
        }

        return 0;

out_unregister:
        kobject_put(&priv->kobj);
        /* drv->p is freed in driver_release()  */
        drv->p = NULL;
out_put_bus:
        bus_put(bus);
        return error;
}
  • 코드 라인 1~5에서 드라이버에 uevent 속성을 추가한다.
  • 코드 라인 6~11에서 드라이버에 버스에 등록된 드라이버 속성들을 추가한다.
  • 코드 라인 13~20에서 드라이버에 suppress_bind_attrs 값이 설정되지 않은 상태인 경우 bind 및 unbind 속성을 추가한다.

 

Subsys 인터페이스

Subsys 인터페이스를 사용하는 드라이버가 일부 있으며 다음의 드라이버들에서 사용되고 있다.

  • drivers/net/rionet.c
  • drivers/cpufreq/cpufreq.c
  • drivers/cpufreq/s3c2412-cpufreq.c
  • drivers/rapidio/rio_cm.c
  • drivers/misc/mic/scif/scif_api.c

 

subsys_interface 구조체

include/linux/device.h

/**
 * struct subsys_interface - interfaces to device functions
 * @name:       name of the device function
 * @subsys:     subsytem of the devices to attach to
 * @node:       the list of functions registered at the subsystem
 * @add_dev:    device hookup to device function handler
 * @remove_dev: device hookup to device function handler
 *
 * Simple interfaces attached to a subsystem. Multiple interfaces can
 * attach to a subsystem and its devices. Unlike drivers, they do not
 * exclusively claim or control devices. Interfaces usually represent
 * a specific functionality of a subsystem/class of devices.
 */
struct subsys_interface {
        const char *name;
        struct bus_type *subsys;
        struct list_head node;
        int (*add_dev)(struct device *dev, struct subsys_interface *sif);
        void (*remove_dev)(struct device *dev, struct subsys_interface *sif);
};

이 구조체는 bus에서만 사용된다. (주의: class에서 사용하는 인터페이스는 class_interface 구조체이다)

  •  name
    • 버스 인터페이스명
  • *subsys
    • 버스 타입을 가리킨다.
  • node
    • bus_type->p->interfaces에 등록될 링크 노드로 사용된다.
  • (*add_dev)
    • 서브시스템 인터페이스가 등록될 때 버스 타입에 등록된 디바이스들을 대상으로 이 후크 함수가 호출된다.
  • (*remove_dev)
    • 서브시스템 인터페이스가 해제될 때 버스 타입에 등록된 디바이스들을 대상으로 이 후크 함수가 호출된다.

 

subsys_interface_register()

drivers/base/bus.c

int subsys_interface_register(struct subsys_interface *sif)
{
        struct bus_type *subsys;
        struct subsys_dev_iter iter;
        struct device *dev;

        if (!sif || !sif->subsys)
                return -ENODEV;

        subsys = bus_get(sif->subsys);
        if (!subsys)
                return -EINVAL;

        mutex_lock(&subsys->p->mutex);
        list_add_tail(&sif->node, &subsys->p->interfaces);
        if (sif->add_dev) {
                subsys_dev_iter_init(&iter, subsys, NULL, NULL);
                while ((dev = subsys_dev_iter_next(&iter)))
                        sif->add_dev(dev, sif);
                subsys_dev_iter_exit(&iter);
        }
        mutex_unlock(&subsys->p->mutex);

        return 0;
}
EXPORT_SYMBOL_GPL(subsys_interface_register);

sif(서브시스템 인터페이스)를 등록하고 버스 타입에 등록된 버스 디바이스들을 대상으로 (*add_dev) 후크 함수를 호출한다.

  • 코드 라인 7~8에서 인자로 전달받은 서브시스템 인터페이스가 null이거나 지정된 서브시스템이 없는 경우 -ENODEV 에러를 반환한다.
  • 코드 라인 10~12에서 버스 타입에 접근하기 위해 참조 카운터를 1 증가시킨다.
  • 코드 라인 14~15에서 버스 타입에 락을 걸고 버스 타입에 sif 인터페이스를 추가한다.
  • 코드 라인 16~21에서 sif에 (*add_dev) 후크 함수가 구현되어 있는 경우 버스 타입에 등록된 버스 디바이스들을 대상으로 (*add_dev) 후크 함수를 호출한다.

 

BUS 종류

다음과 같은 버스들이 커널에 정의되어 있다.

net/iucv/iucv.c                                 bus_register(&iucv_bus) 
sound/hda/hda_bus_type.c                        bus_register(&snd_hda_bus_type) 
sound/ac97_bus.c                                bus_register(&ac97_bus_type); 
sound/aoa/soundbus/core.c                       bus_register(&soundbus_bus_type) 
sound/core/seq_device.c                         bus_register(&snd_seq_bus_type) 
kernel/events/core.c                            bus_register(&pmu_bus)
drivers/macintosh/macio_asic.c			bus_register(&macio_bus_type)
drivers/platform/x86/wmi.c			bus_register(&wmi_bus_type)
drivers/target/loopback/tcm_loop.c		bus_register(&tcm_loop_lld_bus)
drivers/edac/edac_mc_sysfs.c			bus_register(mci->bus)
drivers/fmc/fmc-core.c				bus_register(&fmc_bus_type)
drivers/input/gameport/gameport.c		bus_register(&gameport_bus)
drivers/input/rmi4/rmi_bus.c			bus_register(&rmi_bus_type)
drivers/input/serio/serio.c			bus_register(&serio_bus)
drivers/gpu/drm/drm_mipi_dsi.c			bus_register(&mipi_dsi_bus_type)
drivers/gpu/host1x/dev.c			bus_register(&host1x_bus_type)
drivers/parport/share.c			        bus_register(&parport_bus_type)
drivers/acpi/bus.c				bus_register(&acpi_bus_type)
drivers/spmi/spmi.c				bus_register(&spmi_bus_type)
drivers/amba/bus.c				bus_register(&amba_bustype)
drivers/scsi/scsi_sysfs.c			bus_register(&scsi_bus_type)
drivers/scsi/fcoe/fcoe_sysfs.c			bus_register(&fcoe_bus_type)
drivers/scsi/scsi_debug.c			bus_register(&pseudo_lld_bus)
drivers/scsi/scsi_transport_iscsi.c		bus_register(&iscsi_flashnode_bus)
drivers/iio/industrialio-core.c		        bus_register(&iio_bus_type)
drivers/mcb/mcb-core.c				bus_register(&mcb_bus_type)
drivers/w1/w1.c				        bus_register(&w1_bus_type)
drivers/hwtracing/intel_th/core.c		bus_register(&intel_th_bus)
drivers/hwtracing/coresight/coresight.c	        bus_register(&coresight_bustype)
drivers/tty/serdev/core.c			bus_register(&serdev_bus_type)
drivers/pcmcia/ds.c				bus_register(&pcmcia_bus_type)
drivers/ssb/main.c				bus_register(&ssb_bustype)
drivers/vlynq/vlynq.c				bus_register(&vlynq_bus_type)
drivers/hid/hid-core.c				bus_register(&hid_bus_type)
drivers/hid/intel-ish-hid/ishtp/bus.c		bus_register(&ishtp_cl_bus_type)
drivers/pci/endpoint/pci-epf-core.c		bus_register(&pci_epf_bus_type)
drivers/pci/pci-driver.c			bus_register(&pci_bus_type)
drivers/pci/pcie/portdrv_bus.c			bus_register(&pcie_port_bus_type)
drivers/rapidio/rio-driver.c			bus_register(&rio_bus_type)
drivers/i2c/i2c-core-base.c			bus_register(&i2c_bus_type)
drivers/vme/vme.c				bus_register(&vme_bus_type)
drivers/eisa/eisa-bus.c			        bus_register(&eisa_bus_type)
drivers/fsi/fsi-core.c				bus_register(&fsi_bus_type)
drivers/hsi/hsi_core.c				bus_register(&hsi_bus_type)
drivers/sh/superhyway/superhyway.c		bus_register(&superhyway_bus_type)
drivers/sh/maple/maple.c			bus_register(&maple_bus_type)
drivers/zorro/zorro-driver.c			bus_register(&zorro_bus_type)
drivers/net/dummy.c				bus_register(&dummy_bus)
drivers/net/phy/mdio_bus.c			bus_register(&mdio_bus_type)
drivers/memstick/core/memstick.c		bus_register(&memstick_bus_type)
drivers/bcma/main.c				bus_register(&bcma_bus_type)
drivers/mfd/mcp-core.c				bus_register(&mcp_bus_type)
drivers/nvmem/core.c				bus_register(&nvmem_bus_type)
drivers/virtio/virtio.c			        bus_register(&virtio_bus)
drivers/spi/spi.c				bus_register(&spi_bus_type)
drivers/ipack/ipack.c				bus_register(&ipack_bus_type)
drivers/block/rbd.c				bus_register(&rbd_bus_type)
drivers/mmc/core/bus.c				bus_register(&mmc_bus_type)
drivers/mmc/core/sdio_bus.c			bus_register(&sdio_bus_type)
drivers/nvdimm/bus.c				bus_register(&nvdimm_bus_type)
drivers/rpmsg/rpmsg_core.c			bus_register(&rpmsg_bus)
drivers/gpio/gpiolib.c				bus_register(&gpio_bus_type)
drivers/firewire/core-transaction.c		bus_register(&fw_bus_type)
drivers/misc/mei/bus.c				bus_register(&mei_cl_bus_type)
drivers/misc/tifm_core.c			bus_register(&tifm_bus_type)
drivers/misc/mic/scif/scif_peer_bus.c		bus_register(&scif_peer_bus)
drivers/misc/mic/bus/mic_bus.c			bus_register(&mic_bus)
drivers/misc/mic/bus/scif_bus.c		        bus_register(&scif_bus)
drivers/misc/mic/bus/vop_bus.c			bus_register(&vop_bus)
drivers/misc/mic/bus/cosm_bus.c		        bus_register(&cosm_bus)
drivers/pnp/core.c				bus_register(&pnp_bus_type)
drivers/thunderbolt/domain.c			bus_register(&tb_bus_type)
drivers/bus/mips_cdmm.c			        bus_register(&mips_cdmm_bustype)
drivers/bus/sunxi-rsb.c			        bus_register(&sunxi_rsb_bus)
drivers/dio/dio-driver.c			bus_register(&dio_bus_type)
drivers/base/platform.c			        bus_register(&platform_bus_type)
drivers/base/soc.c				bus_register(&soc_bus_type)
drivers/base/isa.c				bus_register(&isa_bus_type)
drivers/xen/xenbus/xenbus_probe_backend.c	bus_register(&xenbus_backend.bus)
drivers/xen/xenbus/xenbus_probe_frontend.c	bus_register(&xenbus_frontend.bus)
drivers/hv/vmbus_drv.c				bus_register(&hv_bus)
drivers/usb/serial/usb-serial.c		        bus_register(&usb_serial_bus_type)
drivers/usb/core/usb.c				bus_register(&usb_bus_type)
drivers/usb/common/ulpi.c			bus_register(&ulpi_bus)
drivers/ntb/ntb.c				bus_register(&ntb_bus)
drivers/ntb/ntb_transport.c			bus_register(&ntb_transport_bus)
drivers/uwb/umc-bus.c				bus_register(&umc_bus_type)
drivers/uwb/driver.c				bus_register(&uwb_bus_type)
drivers/ide/ide.c				bus_register(&ide_bus_type)
drivers/vfio/mdev/mdev_driver.c		        bus_register(&mdev_bus_type)
drivers/tc/tc-driver.c				bus_register(&tc_bus_type)
drivers/media/pci/bt8xx/bttv-driver.c		bus_register(&bttv_sub_bus_type)
drivers/media/cec/cec-core.c			bus_register(&cec_bus_type)
drivers/media/media-devnode.c			bus_register(&media_bus_type)

 

Bus 관련 API들

  • bus_create_file()
    • 버스 디렉토리를 생성하고 그 디렉토리 내부에 지정한 버스 속성 파일도 생성한다.
      • 예) /sys/bus/foo-bus 디렉토리와 속성 파일이 생성된다.
  • bus_remove_file()
    • 버스 디렉토리 및 속성들을 삭제한다.
  • bus_for_each_dev()
    • 버스에 포함된 디바이스들을 순회(iteration)
  • bus_find_device()
    • 버스에 포함된 디바이스들을 대상으로 매치되는 디바이스를 찾는다.
  • bus_find_device_by_name()
    • 버스에 포함된 디바이스들을 대상으로 요청한 디바이스명으로 start 디바이스부터 검색한다.
  • subsys_find_device_by_id()
    • 서브시스템에 포함된 디바이스들을 대상으로 id로 검색한다.
    • 디바이스를 처음 검색할 디바이스 위치를 hint로 지정할 수 있다.
  • bus_for_each_drv()
    • 버스에 포함된 드라이버들을 순회(iteration)
  • bus_rescan_devices()
    • 버스에서 디바이스를 리스캔한다.
  • device_reprobe()
    • 요청 디바이스에 대한 드라이버를 제거한 후 다시 새 드라이버로 probe한다.
  • bus_unregister()
    • 버스를 등록 해제한다.
  • bus_register_notifier()
    • 버스에 디바이스의 등록/해제 그리고 드라이버의 바운드/언바운드에 대해 notifier할 nb를 등록한다.
  • bus_unregister_notifier()
    • 버스에 등록된 notify 블럭을 등록 해제한다.
  • bus_get_kset()
    • 버스의 서브시스템에 해당하는 kset을 알아한다.
  • bus_get_device_klist()
    • 버스에 등록된 디바이스 리스트를 알아한다.
  • bus_sort_breadthfirst()
  • subsys_dev_iter_init()
    • subsys 디바이스 순회자(iterator 또는 cursor)를 초기화한다.
  • subsys_dev_iter_next()
    • subsys 다음 디바이스를 지정하고 알아온다.
  • subsys_dev_iter_exit()
    • subsys 순회자를 종료한다.
  • subsys_interface_register()
    • subsys 인터페이스를 등록한다.
  • subsys_interface_unregister()
    • subsys 인터페이스를 등록 해제한다.
  • subsys_system_register()
    • subsys 시스템을 등록한다.
      • /sys/devices/system
  • subsys_virtual_register()
    • subsys virtual을 등록한다.
      • /sys/devices/virtual

 

Class

각 디바이스가 논리적인 용도로 구분하는 개개의 클래스로 등록할 수 있다.

  • 예) 여러 회사의 온도 및 습도 센서 디바이스를 사용할 때 이들을 hwmon이라는 클래스 하나를 등록하여 비슷한 유형들을 관리할 수 있다.

 

class 구조체

include/linux/device.h

/**                                                                             
 * struct class - device classes                                                
 * @name:   Name of the class.                                                  
 * @owner:  The module owner.                                                   
 * @class_groups: Default attributes of this class.                             
 * @dev_groups: Default attributes of the devices that belong to the class.     
 * @dev_kobj:   The kobject that represents this class and links it into the hierarchy.
 * @dev_uevent: Called when a device is added, removed from this class, or a    
 *      few other things that generate uevents to add the environment           
 *      variables.                                                              
 * @devnode:    Callback to provide the devtmpfs.                               
 * @class_release: Called to release this class.                                
 * @dev_release: Called to release the device.                                  
 * @suspend:    Used to put the device to sleep mode, usually to a low power    
 *      state.                                                                  
 * @resume: Used to bring the device from the sleep mode.                       
 * @shutdown_pre: Called at shut-down time before driver shutdown.              
 * @ns_type:    Callbacks so sysfs can detemine namespaces.                     
 * @namespace:  Namespace of the device belongs to this class.                  
 * @pm:     The default device power management operations of this class.       
 * @p:      The private data of the driver core, no one other than the          
 *      driver core can touch this.                                             
 *                                                                              
 * A class is a higher-level view of a device that abstracts out low-level      
 * implementation details. Drivers may see a SCSI disk or an ATA disk, but,     
 * at the class level, they are all simply disks. Classes allow user space      
 * to work with devices based on what they do, rather than how they are         
 * connected or how they work.                                                  
 */
struct class {                                                                  
    const char      *name;                                                      
    struct module       *owner;                                                 
                                                                                
    const struct attribute_group    **class_groups;                             
    const struct attribute_group    **dev_groups;                               
    struct kobject          *dev_kobj;                                          
                                                                                
    int (*dev_uevent)(struct device *dev, struct kobj_uevent_env *env);         
    char *(*devnode)(struct device *dev, umode_t *mode);                        
                                                                                
    void (*class_release)(struct class *class);                                 
    void (*dev_release)(struct device *dev);                                    
                                                                                
    int (*suspend)(struct device *dev, pm_message_t state);                     
    int (*resume)(struct device *dev);                                          
    int (*shutdown_pre)(struct device *dev);                                    
                                                                                
    const struct kobj_ns_type_operations *ns_type;                              
    const void *(*namespace)(struct device *dev);                               
                                                                                
    const struct dev_pm_ops *pm;                                                
                                                                                
    struct subsys_private *p;                                                   
};
  • name
    • 클래스 명
  • *owner
    • 모듈 오너
  • **class_groups
    • 클래스 속성들을 지정하면 클래스 디렉토리에 클래스 속성들이 생성된다.
      • 예) /sys/devices/foo_class 디렉토리에 클래스 속성들이 생성된다.
  • **dev_groups
    • 클래스 디바이스 속성들을 지정하면 클래스 디바이스가 생성되는 디렉토리에 클래스 디바이스 속성들이 생성된다.
      • 예) /sys/devices/foo/foo_class/foo_class_device 디렉토리에 클래스 디바이스 속성들이 생성된다.
  • dev_kobj
    • 디바이스 드라이버 모델에 따라 하이라키에 소속되기 위한 kobject
  • (*dev_uevent)
    • 디바이스 이벤트 후크 함수
  • (*devnode)
  • (*class_release)
    • 클래스를 해제할 때 호출되는 후크 함수
  • (*dev_release)
    • 디바이스가 클래스로부터 해제할 때 호출되는 후크 함수
  • (*suspend)
    • 절전 진입 시 호출되는 후크 함수
  • (*resume)
    • 절전이 끝난 후 정상 진입 시 호출되는 후크 함수
  • (*showdown_pre)
    • 셧다운 전에 호출되는 후크 함수
  • *ns_type
    • namespace 타입에 대한 오퍼레이션
    • 현재 KOBJ_NS_TYPE_NONE(0)과 KOBJ_NS_TYPE_NET(1) 타입만 사용한다.
  • (*namespace)
    • 네임 스페이스 후크 함수
  • (*pm)
    • 전원(절전) 관리에 대한 오퍼레이션
  • *p
    • 클래스와 서브시스템간 하이라키 연결을 class core가 관리하는 내부 자료 구조이다.

 

 

Class 등록

class_register()

include/linux/device.h

/* This is a #define to keep the compiler from merging different                
 * instances of the __key variable */                                           
#define class_register(class)           \                                       
({                      \                                                       
    static struct lock_class_key __key; \                                       
    __class_register(class, &__key);    \                                       
})

요청한 클래스를 등록한다.

 

__class_register()

drivers/base/class.c

int __class_register(struct class *cls, struct lock_class_key *key)             
{                                                                               
    struct subsys_private *cp;                                                  
    int error;                                                                  
                                                                                
    pr_debug("device class '%s': registering\n", cls->name);                    
                                                                                
    cp = kzalloc(sizeof(*cp), GFP_KERNEL);                                      
    if (!cp)                                                                    
        return -ENOMEM;                                                         
    klist_init(&cp->klist_devices, klist_class_dev_get, klist_class_dev_put);   
    INIT_LIST_HEAD(&cp->interfaces);                                            
    kset_init(&cp->glue_dirs);                                                  
    __mutex_init(&cp->mutex, "subsys mutex", key);                              
    error = kobject_set_name(&cp->subsys.kobj, "%s", cls->name);                
    if (error) {                                                                
        kfree(cp);                                                              
        return error;                                                           
    }                                                                           
                                                                                
    /* set the default /sys/dev directory for devices of this class */          
    if (!cls->dev_kobj)                                                         
        cls->dev_kobj = sysfs_dev_char_kobj;                                    
                                                                                
#if defined(CONFIG_BLOCK)                                                       
    /* let the block class directory show up in the root of sysfs */            
    if (!sysfs_deprecated || cls != &block_class)                               
        cp->subsys.kobj.kset = class_kset;                                      
#else                                                                           
    cp->subsys.kobj.kset = class_kset;                                          
#endif                                                                          
    cp->subsys.kobj.ktype = &class_ktype;                                       
    cp->class = cls;                                                            
    cls->p = cp;                                                                
                                                                                
    error = kset_register(&cp->subsys);                                         
    if (error) {                                                                
        kfree(cp);                                                              
        return error;                                                           
    }                                                                           
    error = class_add_groups(class_get(cls), cls->class_groups);                
    class_put(cls);                                                             
    return error;                                                               
}                                                                               
EXPORT_SYMBOL_GPL(__class_register);

요청한 클래스를 등록한다. 이 때 sysfs의 “/sys/class”에 클래스명으로 디렉토리를 만들고 관련 디렉토리들 및 클래스 속성들을 추가한다.

  • 코드 라인 8~14에서 버스와 서브시스템간의 하이 라키 관계를 구성하도록 subsys_private 구조체를 할당받고 멤버들을 초기화한다.
  • 코드 라인 15~19에서 생성할 클래스 디렉토리에 사용할 이름을 클래스 이름으로 동일하게 사용한다.
    • 예) “foo” 클래스명 -> /sys/class/foo
  • 코드 라인 22~23에서 클래스의 디바이스로 디폴트인 “/sys/dev”를 가리키게한다.
  • 코드 라인 25~31에서 서브시스템이 “/sys/class”를 가리키게 한다. 단 sysfs _deprecated 설정이 되어 있고 추가할 클래스가  block 클래스 인경우는 지정하지 않는다.
  • 코드 라인 32~34에서 서브시스템이 디폴트 class 오퍼레이션을 사용하게 한다. 그리고 서브시스템과 클래스를 서로 연결한다.
  • 코드 라인 36~40에서 sysfs에 클래스를 등록한다.
  • 코드 라인 41에서 클래스에 클래스 속성들을 추가한다.
  • 코드 라인 42에서 클래스 사용이 루틴에서 완료되었으므로 참조 카운터를 1 감소시킨다.

 

다음 그림은 foo 클래스를 추가할 때의 과정을 보여준다.

 

클래스 디바이스 생성

클래스에 연동

디바이스에 클래스를 연결하기 위해 사용되는 일반적인 패턴이 있다. 디바이스 하나가 하나의 클래스를 가질 수 있는 제약이 있으므로, 1 개 이상의 클래스에 연동하기 위해서는 특정 디바이스의 아래에 클래스용 자식 디바이스를 만들어 사용한다. 클래스용 자식 디바이스의 디렉토리 구조는 클래스 명으로 빈 디렉토리를 하나 만들고 그 아래에 클래스 연동된 자식 디바이스가 위치한다. 클래스 디바이스들은 속성을 통해 추상화된 기능을 작성하여 사용하므로 드라이버와 연결하여 사용하는 경우가 없는 것이 특징이다.

 

다음 그림과 같이 클래스용 디바이스를 쉽게 생성하기 위해 device_create() 함수를 사용하였고, 그룹으로 이루어진 속성들도 추가할 수 있는 device_create_with_groups() 함수를 사용한 모습을 보여준다.

 

다음 그림은 2개의 클래스에 연결된 foo 디바이스를 보여준다. 클래스와 연결하기 위해 생성되는 서브 디바이스명 들은 foo_sub_device1과 foo_sub_device2로 하였다.

 

속성 없이 클래스 디바이스 생성과 등록

device_create()

drivers/base/core.c

/**                                                                             
 * device_create - creates a device and registers it with sysfs                 
 * @class: pointer to the struct class that this device should be registered to 
 * @parent: pointer to the parent struct device of this new device, if any      
 * @devt: the dev_t for the char device to be added                             
 * @drvdata: the data to be added to the device for callbacks                   
 * @fmt: string for the device's name                                           
 *                                                                              
 * This function can be used by char device classes.  A struct device           
 * will be created in sysfs, registered to the specified class.                 
 *                                                                              
 * A "dev" file will be created, showing the dev_t for the device, if           
 * the dev_t is not 0,0.                                                        
 * If a pointer to a parent struct device is passed in, the newly created       
 * struct device will be a child of that device in sysfs.                       
 * The pointer to the struct device will be returned from the call.             
 * Any further sysfs files that might be required can be created using this     
 * pointer.                                                                     
 *                                                                              
 * Returns &struct device pointer on success, or ERR_PTR() on error.            
 *                                                                              
 * Note: the struct class passed to this function must have previously          
 * been created with a call to class_create().                                  
 */
struct device *device_create(struct class *class, struct device *parent,        
                 dev_t devt, void *drvdata, const char *fmt, ...)               
{                                                                               
    va_list vargs;                                                              
    struct device *dev;                                                         
                                                                                
    va_start(vargs, fmt);                                                       
    dev = device_create_vargs(class, parent, devt, drvdata, fmt, vargs);        
    va_end(vargs);                                                              
    return dev;                                                                 
}                                                                               
EXPORT_SYMBOL_GPL(device_create);

포맷과 가변인수를 사용한 디바이스명으로 클래스용 디바이스를 생성하고 등록한다. 부모 디바이스가 지정된 경우 부모 디바이스 아래에 생성한다.

 

device_create_vargs()

drivers/base/core.c

/**                                                                             
 * device_create_vargs - creates a device and registers it with sysfs           
 * @class: pointer to the struct class that this device should be registered to 
 * @parent: pointer to the parent struct device of this new device, if any      
 * @devt: the dev_t for the char device to be added                             
 * @drvdata: the data to be added to the device for callbacks                   
 * @fmt: string for the device's name                                           
 * @args: va_list for the device's name                                         
 *                                                                              
 * This function can be used by char device classes.  A struct device           
 * will be created in sysfs, registered to the specified class.                 
 *                                                                              
 * A "dev" file will be created, showing the dev_t for the device, if           
 * the dev_t is not 0,0.                                                        
 * If a pointer to a parent struct device is passed in, the newly created       
 * struct device will be a child of that device in sysfs.                       
 * The pointer to the struct device will be returned from the call.             
 * Any further sysfs files that might be required can be created using this     
 * pointer.                                                                     
 *                                                                              
 * Returns &struct device pointer on success, or ERR_PTR() on error.            
 *                                                                              
 * Note: the struct class passed to this function must have previously          
 * been created with a call to class_create().                                  
 */
struct device *device_create_vargs(struct class *class, struct device *parent,  
                   dev_t devt, void *drvdata, const char *fmt,                  
                   va_list args)                                                
{                                                                               
    return device_create_groups_vargs(class, parent, devt, drvdata, NULL,       
                      fmt, args);                                               
}                                                                               
EXPORT_SYMBOL_GPL(device_create_vargs);

포맷과 가변인수를 사용한 디바이스명으로 클래스용 디바이스를 생성하고 등록한다. 부모 디바이스가 지정된 경우 부모 디바이스 아래에 생성한다.

 

device_create_groups_vargs()

drivers/base/core.c

static struct device *                                                          
device_create_groups_vargs(struct class *class, struct device *parent,          
               dev_t devt, void *drvdata,                                       
               const struct attribute_group **groups,                           
               const char *fmt, va_list args)                                   
{                                                                               
    struct device *dev = NULL;                                                  
    int retval = -ENODEV;                                                       
                                                                                
    if (class == NULL || IS_ERR(class))                                         
        goto error;                                                             
                                                                                
    dev = kzalloc(sizeof(*dev), GFP_KERNEL);                                    
    if (!dev) {                                                                 
        retval = -ENOMEM;                                                       
        goto error;                                                             
    }                                                                           
                                                                                
    device_initialize(dev);                                                     
    dev->devt = devt;                                                           
    dev->class = class;                                                         
    dev->parent = parent;                                                       
    dev->groups = groups;                                                       
    dev->release = device_create_release;                                       
    dev_set_drvdata(dev, drvdata);                                              
                                                                                
    retval = kobject_set_name_vargs(&dev->kobj, fmt, args);                     
    if (retval)                                                                 
        goto error;                                                             
                                                                                
    retval = device_add(dev);                                                   
    if (retval)                                                                 
        goto error;                                                             
                                                                                
    return dev;                                                                 
                                                                                
error:                                                                          
    put_device(dev);                                                            
    return ERR_PTR(retval);                                                     
}

포맷과 가변인수를 사용한 디바이스명으로 클래스용 디바이스를 생성하고 등록한다. 부모 디바이스가 지정된 경우 부모 디바이스 아래에 생성한다.

  • 코드 라인 10~11에서 클래스가 지정되지 않은 경우 에러로 함수를 빠져나간다.
  • 코드 라인 13~17에서 디바이스를 할당한다.
  • 코드 라인 19~25에서 디바이스를 초기화하고, 캐릭터 디바이스용 번호, 클래스, 부모 디바이스, 그룹 속성들을 지정한다. 그리고 디폴트 디바이스 해제 함수를 연결하고 드라이버 데이터를 연결한다.
  • 코드 라인 27~29에서 인자로 전달받은 포맷과 가변인수로 디바이스명을 설정한다.
  • 코드 라인 31~33에서 디바이스를 추가 등록한다.

 

속성을 포함하여 디바이스 생성과 등록

device_create_with_groups()

drivers/base/core.c

/**                                                                             
 * device_create_with_groups - creates a device and registers it with sysfs     
 * @class: pointer to the struct class that this device should be registered to 
 * @parent: pointer to the parent struct device of this new device, if any      
 * @devt: the dev_t for the char device to be added                             
 * @drvdata: the data to be added to the device for callbacks                   
 * @groups: NULL-terminated list of attribute groups to be created              
 * @fmt: string for the device's name                                           
 *                                                                              
 * This function can be used by char device classes.  A struct device           
 * will be created in sysfs, registered to the specified class.                 
 * Additional attributes specified in the groups parameter will also            
 * be created automatically.                                                    
 *                                                                              
 * A "dev" file will be created, showing the dev_t for the device, if           
 * the dev_t is not 0,0.                                                        
 * If a pointer to a parent struct device is passed in, the newly created       
 * struct device will be a child of that device in sysfs.                       
 * The pointer to the struct device will be returned from the call.             
 * Any further sysfs files that might be required can be created using this     
 * pointer.                                                                     
 *                                                                              
 * Returns &struct device pointer on success, or ERR_PTR() on error.            
 *                                                                              
 * Note: the struct class passed to this function must have previously          
 * been created with a call to class_create().                                  
 */
struct device *device_create_with_groups(struct class *class,                   
                     struct device *parent, dev_t devt,                         
                     void *drvdata,                                             
                     const struct attribute_group **groups,                     
                     const char *fmt, ...)                                      
{                                                                               
    va_list vargs;                                                              
    struct device *dev;                                                         
                                                                                
    va_start(vargs, fmt);                                                       
    dev = device_create_groups_vargs(class, parent, devt, drvdata, groups,      
                     fmt, vargs);                                               
    va_end(vargs);                                                              
    return dev;                                                                 
}                                                                               
EXPORT_SYMBOL_GPL(device_create_with_groups);

포맷과 가변인수를 사용한 디바이스명으로 클래스용 디바이스를 생성하고 등록한다. 부모 디바이스가 지정된 경우 부모 디바이스 아래에 생성한다. 생성된 클래스용 디바이스에 속성 파일들을 추가한다.

 

Class 인터페이스

Class 인터페이스를 사용하는 드라이버가 일부 있으며 다음의 드라이버들에서 사용되고 있다.

  • drivers/net/rionet.c
  • drivers/pcmcia/ds.c
  • drivers/pcmcia/rsrc_nonstatic.c
  • drivers/rapidio/devices/rio_mport_cdev.c
  • drivers/rapidio/rio_cm.c
  • drivers/scsi/ses.c
  • drivers/scsi/scsi_sysfs.c
  • drivers/scsi/sg.c

 

class_interface 구조체

include/linux/device.h

struct class_interface {
        struct list_head        node;
        struct class            *class;

        int (*add_dev)          (struct device *, struct class_interface *);
        void (*remove_dev)      (struct device *, struct class_interface *);
};
  • node
    • class->interfaces에 등록될 링크 노드로 사용된다.
  • *class
    • 부모 클래스
  • (*add_dev)
    • 클래스 인터페이스가 등록될 때 클래스에 등록된 디바이스들을 대상으로 이 후크 함수가 호출된다.
  • (*remove_dev)
    • 클래스 인터페이스가 해제될 때 클래스에 등록된 디바이스들을 대상으로 이 후크 함수가 호출된다.

 

Class 인터페이스 등록

class_interface_register()

drivers/base/class.c

int class_interface_register(struct class_interface *class_intf)
{
        struct class *parent;
        struct class_dev_iter iter;
        struct device *dev;

        if (!class_intf || !class_intf->class)
                return -ENODEV;

        parent = class_get(class_intf->class);
        if (!parent)
                return -EINVAL;

        mutex_lock(&parent->p->mutex);
        list_add_tail(&class_intf->node, &parent->p->interfaces);
        if (class_intf->add_dev) {
                class_dev_iter_init(&iter, parent, NULL, NULL);
                while ((dev = class_dev_iter_next(&iter)))
                        class_intf->add_dev(dev, class_intf);
                class_dev_iter_exit(&iter);
        }
        mutex_unlock(&parent->p->mutex);

        return 0;
}

클래스 인터페이스를 등록하고 클래스에 등록된 클래스 디바이스들을 대상으로 (*add_dev) 후크 함수를 호출한다.

  • 코드 라인 7~8에서 인자로 전달받은 클래스 인터페이스가 null이거나 지정된 클래스가 없는 경우 -ENODEV 에러를 반환한다.
  • 코드 라인 10~12에서 클래스에 접근하기 위해 참조 카운터를 1 증가시킨다.
  • 코드 라인 14~15에서 클래스에 락을 걸고 클래스 인터페이스를 추가한다.
  • 코드 라인 16~21에서 클래스 인터페이스에 (*add_dev) 후크 함수가 구현되어 있는 경우 클래스에 등록된 클래스 디바이스들을 대상으로 (*add_dev) 후크 함수를 호출한다.

 

Class 종류

다음과 같은 클래스들이 커널에 정의되어 있다.

./net/ieee802154/sysfs.c			class_register(&wpan_phy_class)
./net/atm/atm_sysfs.c				class_register(&atm_class)
./net/rfkill/core.c				class_register(&rfkill_class)
./net/nfc/core.c				class_register(&nfc_class)
./net/core/net-sysfs.c				class_register(&net_class)
./net/wireless/sysfs.c				class_register(&ieee80211_class)
./block/genhd.c					class_register(&block_class)
./drivers/platform/x86/wmi.c			class_register(&wmi_bus_class)
./drivers/platform/chrome/cros_ec_dev.c		class_register(&cros_class)
./drivers/iommu/iommu-sysfs.c			class_register(&iommu_class)
./drivers/input/input.c				class_register(&input_class)
./drivers/uio/uio.c				class_register(&uio_class)
./drivers/hwmon/hwmon.c				class_register(&hwmon_class)
./drivers/scsi/scsi_sysfs.c			class_register(&sdev_class)
./drivers/scsi/ibmvscsi_tgt/ibmvscsi_tgt.c	class_register(&ibmvscsis_class)
./drivers/scsi/scsi_transport_sas.c		transport_class_register(&sas_host_class)
./drivers/scsi/scsi_transport_sas.c		transport_class_register(&sas_phy_class)
./drivers/scsi/scsi_transport_sas.c		transport_class_register(&sas_port_class)
./drivers/scsi/scsi_transport_sas.c		transport_class_register(&sas_rphy_class)
./drivers/scsi/scsi_transport_sas.c		transport_class_register(&sas_end_dev_class)
./drivers/scsi/scsi_transport_sas.c		transport_class_register(&sas_expander_class)
./drivers/scsi/hosts.c				class_register(&shost_class)
./drivers/scsi/osd/osd_uld.c			class_register(&osd_uld_class)
./drivers/scsi/scsi_transport_srp.c		transport_class_register(&srp_host_class)
./drivers/scsi/scsi_transport_srp.c		transport_class_register(&srp_rport_class)
./drivers/scsi/sd.c				class_register(&sd_disk_class)
./drivers/scsi/scsi_transport_fc.c		transport_class_register(&fc_host_class)
./drivers/scsi/scsi_transport_fc.c		transport_class_register(&fc_vport_class)
./drivers/scsi/scsi_transport_fc.c		transport_class_register(&fc_rport_class)
./drivers/scsi/scsi_transport_fc.c		transport_class_register(&fc_transport_class)
./drivers/scsi/raid_class.c			transport_class_register(&raid_class)
./drivers/scsi/scsi_transport_iscsi.c		class_register(&iscsi_transport_class)
./drivers/scsi/scsi_transport_iscsi.c		class_register(&iscsi_endpoint_class)
./drivers/scsi/scsi_transport_iscsi.c		class_register(&iscsi_iface_class)
./drivers/scsi/scsi_transport_iscsi.c		transport_class_register(&iscsi_host_class)
./drivers/scsi/scsi_transport_iscsi.c		transport_class_register(&iscsi_connection_class)
./drivers/scsi/scsi_transport_iscsi.c		transport_class_register(&iscsi_session_class)
./drivers/scsi/scsi_transport_spi.c		transport_class_register(&spi_transport_class)
./drivers/scsi/scsi_transport_spi.c		transport_class_register(&spi_host_class)
./drivers/scsi/st.c				class_register(&st_sysfs_class)
./drivers/pwm/sysfs.c				class_register(&pwm_class)
./drivers/mux/core.c				class_register(&mux_class)
./drivers/regulator/core.c			class_register(&regulator_class)
./drivers/hwtracing/stm/core.c			class_register(&stm_class)
./drivers/hwtracing/stm/core.c			class_register(&stm_source_class)
./drivers/isdn/mISDN/core.c			class_register(&mISDN_class)
./drivers/pcmcia/cs.c				class_register(&pcmcia_socket_class)
./drivers/mtd/mtdcore.c				class_register(&mtd_class)
./drivers/mtd/ubi/build.c			class_register(&ubi_class)
./drivers/ata/libata-transport.c		transport_class_register(&ata_link_class)
./drivers/ata/libata-transport.c		transport_class_register(&ata_port_class)
./drivers/ata/libata-transport.c		transport_class_register(&ata_dev_class)
./drivers/pci/probe.c				class_register(&pcibus_class)
./drivers/rapidio/rio-driver.c			class_register(&rio_mport_class)
./drivers/staging/greybus/loopback.c		class_register(&loopback_class)
./drivers/staging/greybus/vibrator.c		class_register(&vibrator_class)
./drivers/net/ipvlan/ipvtap.c			class_register(&ipvtap_class)
./drivers/net/phy/mdio_bus.c			class_register(&mdio_bus_class)
./drivers/net/macvtap.c				class_register(&macvtap_class)
./drivers/memstick/core/memstick.c		class_register(&memstick_host_class)
./drivers/mfd/ucb1x00-core.c			class_register(&ucb1x00_class)
./drivers/powercap/powercap_sys.c		class_register(&powercap_class)
./drivers/spi/spi.c				class_register(&spi_master_class)
./drivers/spi/spi.c				class_register(&spi_slave_class)
./drivers/remoteproc/remoteproc_sysfs.c		class_register(&rproc_class)
./drivers/firmware/dmi-id.c			class_register(&dmi_class)
./drivers/watchdog/watchdog_dev.c		class_register(&watchdog_class)
./drivers/block/zram/zram_drv.c			class_register(&zram_control_class)
./drivers/block/pktcdvd.c			class_register(class_pktcdvd)
./drivers/mmc/core/host.c			class_register(&mmc_host_class)
./drivers/gpio/gpiolib-sysfs.c			class_register(&gpio_class)
./drivers/misc/tifm_core.c			class_register(&tifm_adapter_class)
./drivers/misc/enclosure.c			class_register(&enclosure_class)
./drivers/mailbox/omap-mailbox.c		class_register(&omap_mbox_class)
./drivers/base/devcoredump.c			class_register(&devcd_class)
./drivers/base/firmware_class.c			class_register(&firmware_class)
./drivers/uwb/driver.c				class_register(&uwb_rc_class)
./drivers/infiniband/ulp/srp/ib_srp.c		class_register(&srp_class)
./drivers/infiniband/core/device.c		class_register(&ib_class)
./drivers/infiniband/core/cm.c			class_register(&cm_class)
./drivers/thermal/thermal_core.c		class_register(&thermal_class)
./drivers/media/rc/rc-main.c			class_register(&rc_class)
./drivers/media/v4l2-core/v4l2-dev.c		class_register(&video_class)
./drivers/media/pci/ddbridge/ddbridge-core.c	class_register(&ddb_class)
./drivers/media/usb/pvrusb2/pvrusb2-sysfs.c	class_register(&clp->class) 
./drivers/dma/dmaengine.c			class_register(&dma_devclass)

 

Classs 관련 API들

  • class_dev_iter_init()
    • 클래스 디바이스 순회자를 초기화한다.
  • class_dev_iter_next()
    • 클래스 디바이스에서 다음 디바이스를 지정하고 얻어온다.
  • class_dev_iter_exit()
    • 클래스 디바이스 순회자를 종료한다.
  • class_for_each_device()
    • 클래스 디바이스를 순회한다.
  • class_find_device()
    • 클래스에서 start 디바이스부터 시작하여 매치되는 디바이스를 검색한다.
  • show_class_attr_string()
    • 클래스 속성 문자열을 출력한다.
  • class_compat_register()
    • compatibility 클래스를 등록한다.
  • class_compat_unregister()
    • compatibility 클래스를 등록 해제한다.
  • class_compat_create_link()
    • compatibility 클래스 링크 심볼을 생성한다.
  • class_compat_remove_link()
    • compatibility 클래스 링크 심볼을 삭제한다.

 

Device Binding

디바이스가 드라이버를 probing하는 과정은 다음과 같다.

  • 디바이스가 등록될 때 드라이버가 준비된 상태인 경우 자동으로 probe 한다.
  • 드라이버가 등록될 때 역시 디바이스가 준비된 상태인 경우 자동으로 probe 한다.
    • insmod에 의해 사용자 드라이버가 등록될 때 probe되는 과정과 동일하다.
  • 매치된 디바이스와 드라이버가 probe되지 못한 경우 스레드를 사용하여 probe를 시도한다.
  • pci 또는 usb와 같이 plug & plug를 지원하여 버스를 스캔하며 디바이스 드라이버를 등록할 수 있다.
    • 이 과정은 pci 드라이버를 다루는 과정에서 알아보자.

 

bus_probe_device()

drivers/base/bus.c

/**                                                                             
 * bus_probe_device - probe drivers for a new device                            
 * @dev: device to probe                                                        
 *                                                                              
 * - Automatically probe for a driver if the bus allows it.                     
 */                                                                             
void bus_probe_device(struct device *dev)                                       
{                                                                               
    struct bus_type *bus = dev->bus;                                            
    struct subsys_interface *sif;                                               
                                                                                
    if (!bus)                                                                   
        return;                                                                 
                                                                                
    if (bus->p->drivers_autoprobe)                                              
        device_initial_probe(dev);                                              
                                                                                
    mutex_lock(&bus->p->mutex);                                                 
    list_for_each_entry(sif, &bus->p->interfaces, node)                         
        if (sif->add_dev)                                                       
            sif->add_dev(dev, sif);                                             
    mutex_unlock(&bus->p->mutex);                                               
}

버스가 autoprobe  상태인 경우 디바이스를 probe한다.  (디폴트로 bus는 항상 autoprobe 상태이다)

 

device_initial_probe()

drivers/base/dd.c

void device_initial_probe(struct device *dev)                                   
{                                                                               
    __device_attach(dev, true);                                                 
}

디바이스가 드라이버와의 동기 attach를 시도한다.

 

__device_attach()

drivers/base/dd.c

static int __device_attach(struct device *dev, bool allow_async)                
{                                                                               
    int ret = 0;                                                                
                                                                                
    device_lock(dev);                                                           
    if (dev->driver) {                                                          
        if (device_is_bound(dev)) {                                             
            ret = 1;                                                            
            goto out_unlock;                                                    
        }                                                                       
        ret = device_bind_driver(dev);                                          
        if (ret == 0)                                                           
            ret = 1;                                                            
        else {                                                                  
            dev->driver = NULL;                                                 
            ret = 0;                                                            
        }                                                                       
    } else {                                                                    
        struct device_attach_data data = {                                      
            .dev = dev,                                                         
            .check_async = allow_async,                                         
            .want_async = false,                                                
        };                                                                      
                                                                                
        if (dev->parent)                                                        
            pm_runtime_get_sync(dev->parent);                                   
                                                                                
        ret = bus_for_each_drv(dev->bus, NULL, &data,                           
                    __device_attach_driver);                                    
        if (!ret && allow_async && data.have_async) {                           
            /*                                                                  
             * If we could not find appropriate driver                          
             * synchronously and we are allowed to do                           
             * async probes and there are drivers that                          
             * want to probe asynchronously, we'll                              
             * try them.                                                        
             */                                                                 
            dev_dbg(dev, "scheduling asynchronous probe\n");                    
            get_device(dev);                                                    
            async_schedule(__device_attach_async_helper, dev);                  
        } else {                                                                
            pm_request_idle(dev);                                               
        }                                                                       
                                                                                
        if (dev->parent)                                                        
            pm_runtime_put(dev->parent);                                        
    }                                                                           
out_unlock:                                                                     
    device_unlock(dev);                                                         
    return ret;                                                                 
}

디바이스가 드라이버의 attach를 시도한다. 인자로 비동기 및 동기 attach 요청을 지정할 수 있다. attach 시도 전에 부모 디바이스가 절전 모드인 경우 절전에서 빠져나온다.

  • 코드 라인 6~17에서 디바이스에 이미 드라이버가 지정된 경우 드라이버를 바인딩 시도한다. 성공(1) 또는 실패(0)를 반환한다. 만일 이미 디바이스와 드라이버가 바인딩 되어 있는 경우 성공(1)을 반환한다.
  • 코드 라인 18~29에서 버스에 등록되어있는 드라이버들을 대상으로 매치 체크하여 매치된 드라이버를 attach 시도한다.
  • 코드 라인 30~40에서 부모 디바이스가 절전 상태에서 빠져나오도록 대기(sync)한다. 그리고 비동기 요청으로 드라이버의 attach가 성공된 경우 __device_attach_async_helper 워크를 언바운드 워커스레드로 동작시킨다.
    • 이 때 async probe가 완료되도록 한다.
  • 코드 라인 41~47에서 디바이스를 idle 상태로 바꾼다. 그리고 부모 디바이스의 참조 카운터를 1 감소시킨다.

 

__driver_attach()

drivers/base/dd.c

static int __driver_attach(struct device *dev, void *data)                      
{                                                                               
    struct device_driver *drv = data;                                           
    int ret;                                                                    
                                                                                
    /*                                                                          
     * Lock device and try to bind to it. We drop the error                     
     * here and always return 0, because we need to keep trying                 
     * to bind to devices and some drivers will return an error                 
     * simply if it didn't support the device.                                  
     *                                                                          
     * driver_probe_device() will spit a warning if there                       
     * is an error.                                                             
     */                                                                         
                                                                                
    ret = driver_match_device(drv, dev);                                        
    if (ret == 0) {                                                             
        /* no match */                                                          
        return 0;                                                               
    } else if (ret == -EPROBE_DEFER) {                                          
        dev_dbg(dev, "Device match requests probe deferral\n");                 
        driver_deferred_probe_add(dev);                                         
    } else if (ret < 0) {                                                       
        dev_dbg(dev, "Bus failed to match device: %d", ret);                    
        return ret;                                                             
    } /* ret > 0 means positive match */                                        
                                                                                
    if (dev->parent)    /* Needed for USB */                                    
        device_lock(dev->parent);                                               
    device_lock(dev);                                                           
    if (!dev->driver)                                                           
        driver_probe_device(drv, dev);                                          
    device_unlock(dev);                                                         
    if (dev->parent)                                                            
        device_unlock(dev->parent);                                             
                                                                                
    return 0;                                                                   
}

인자로 전달받은 디바이스와 드라이버가 매치되는 경우 attach 시도한다.

  • 코드 라인 16~19에서 디바이스와 드라이버가 서로 매치되는 것이 없으면 성공(0)을 반환한다.
  • 코드 라인 20~26에서 probe 유예인 경우 deferred_probe_pending_list에 디바이스를 추가한다. 그 외 에러의 경우 함수를 빠져나간다.
  • 코드 라인 28~35에서 부모 디바이스의 락을 건채 디바이스와 드라이버를 probe 시도 한 후 성공(0)을 반환한다.

 

driver_probe_device()

drivers/base/dd.c

/**                                                                             
 * driver_probe_device - attempt to bind device & driver together               
 * @drv: driver to bind a device to                                             
 * @dev: device to try to bind to the driver                                    
 *                                                                              
 * This function returns -ENODEV if the device is not registered,               
 * 1 if the device is bound successfully and 0 otherwise.                       
 *                                                                              
 * This function must be called with @dev lock held.  When called for a         
 * USB interface, @dev->parent lock must be held as well.                       
 *                                                                              
 * If the device has a parent, runtime-resume the parent before driver probing. 
 */                                                                             
int driver_probe_device(struct device_driver *drv, struct device *dev)          
{                                                                               
    int ret = 0;                                                                
                                                                                
    if (!device_is_registered(dev))                                             
        return -ENODEV;                                                         
                                                                                
    pr_debug("bus: '%s': %s: matched device %s with driver %s\n",               
         drv->bus->name, __func__, dev_name(dev), drv->name);                   
                                                                                
    pm_runtime_get_suppliers(dev);                                              
    if (dev->parent)                                                            
        pm_runtime_get_sync(dev->parent);                                       
                                                                                
    pm_runtime_barrier(dev);                                                    
    ret = really_probe(dev, drv);                                               
    pm_request_idle(dev);                                                       
                                                                                
    if (dev->parent)                                                            
        pm_runtime_put(dev->parent);                                            
                                                                                
    pm_runtime_put_suppliers(dev);                                              
    return ret;                                                                 
}

디바이스와 드라이버를 서로 bind 시도한다. 반환되는 값이 -ENODEV인 경우 디바이스가 등록되지 않았음을 의미한다. 1인 경우 binding이 성공이고, 0인 경우 실패이다.

  • 코드 라인 18~19에서 디바이스가 등록되지 않은 경우 -ENODEV 결과를 반환한다.
  • 코드 라인 24~26에서 디바이스의 suppliers를 대상으로 DL_FLAG_PM_RUNTIME 플래그가 설정된 경우 pm 참조 카운터를 감소시키고 resunme 처리한다.
  • 코드 라인 28~30에서 pm 기능(suspend)이 정상 완료될 때까지 대기한 후 드라이버를 probe 요청한다. 그런 후 디바이스가 suspend되어야 하는 경우 pm idle 요청한다.
  • 코드 라인 32~33에서 부모 디바이스의 참조 카운터를 1 감소시킨다.
  • 코드 라인 35에서 suppolier 디바이스들의 참조 카운터를 1 감소시킨다.

 

really_probe()

drivers/base/dd.c

static int really_probe(struct device *dev, struct device_driver *drv)          
{                                                                               
    int ret = -EPROBE_DEFER;                                                    
    int local_trigger_count = atomic_read(&deferred_trigger_count);             
    bool test_remove = IS_ENABLED(CONFIG_DEBUG_TEST_DRIVER_REMOVE) &&           
               !drv->suppress_bind_attrs;                                       
                                                                                
    if (defer_all_probes) {                                                     
        /*                                                                      
         * Value of defer_all_probes can be set only by                         
         * device_defer_all_probes_enable() which, in turn, will call           
         * wait_for_device_probe() right after that to avoid any races.         
         */                                                                     
        dev_dbg(dev, "Driver %s force probe deferral\n", drv->name);            
        driver_deferred_probe_add(dev);                                         
        return ret;                                                             
    }                                                                           
                                                                                
    ret = device_links_check_suppliers(dev);                                    
    if (ret)                                                                    
        return ret;                                                             
                                                                                
    atomic_inc(&probe_count);                                                   
    pr_debug("bus: '%s': %s: probing driver %s with device %s\n",               
         drv->bus->name, __func__, drv->name, dev_name(dev));                   
    WARN_ON(!list_empty(&dev->devres_head));                                    
                                                                                
re_probe:                                                                       
    dev->driver = drv;                                                          
                                                                                
    /* If using pinctrl, bind pins now before probing */                        
    ret = pinctrl_bind_pins(dev);                                               
    if (ret)                                                                    
        goto pinctrl_bind_failed;                                               
                                                                                
    ret = dma_configure(dev);                                                   
    if (ret)                                                                    
        goto dma_failed;                                                        
                                                                                
    if (driver_sysfs_add(dev)) {                                                
        printk(KERN_ERR "%s: driver_sysfs_add(%s) failed\n",                    
            __func__, dev_name(dev));                                           
        goto probe_failed;                                                      
    }                                                                           
                                                                                
    if (dev->pm_domain && dev->pm_domain->activate) {                           
        ret = dev->pm_domain->activate(dev);                                    
        if (ret)                                                                
            goto probe_failed;                                                  
    }

디바이스가 드라이버를 probe 한다.

  • 코드 라인 8~17에서 dpm 절전(suspend) 모드로 진입 시에는 디바이스를 전역 deferred_probe_pending_list에 추가하여  probe를 유예시킨다.
  • 코드 라인 19~21에서 supplier 디바이스들 중 DL_STATE_AVAILABLE 상태인 디바이스를 DL_STATE_CONSUMER_PROBE 상태로 변경한다. 그 후 요청한 디바이스의 상태는 DL_DEV_PROBING 상태로 변경한다.
  • 코드 라인 23~26에서 probe 카운터를 1 증가시키고 디버그 정보를 출력한다.
  • 코드 라인 32~34에서 디바이스를 사용하기 위해 pinctrl로 bind한다.
  • 코드 라인 36~38에서 디바이스가 dma를 사용하는 경우 디바이스 트리 또는 ACPI를 사용하여 dma 설정을 한다.
  • 코드 라인 40~44에서 sysfs에 드라이버와 디바이스간의 심볼 링크를 생성한다.
  • 코드 라인 46~50에서 디바이스의 pm 도메인에 있는 (*active) 후크 함수를 호출한다.

 

.   /*                                                                          
     * Ensure devices are listed in devices_kset in correct order               
     * It's important to move Dev to the end of devices_kset before             
     * calling .probe, because it could be recursive and parent Dev             
     * should always go first                                                   
     */                                                                         
    devices_kset_move_last(dev);                                                
                                                                                
    if (dev->bus->probe) {                                                      
        ret = dev->bus->probe(dev);                                             
        if (ret)                                                                
            goto probe_failed;                                                  
    } else if (drv->probe) {                                                    
        ret = drv->probe(dev);                                                  
        if (ret)                                                                
            goto probe_failed;                                                  
    }                                                                           
                                                                                
    if (test_remove) {                                                          
        test_remove = false;                                                    
                                                                                
        if (dev->bus->remove)                                                   
            dev->bus->remove(dev);                                              
        else if (drv->remove)                                                   
            drv->remove(dev);                                                   
                                                                                
        devres_release_all(dev);                                                
        driver_sysfs_remove(dev);                                               
        dev->driver = NULL;                                                     
        dev_set_drvdata(dev, NULL);                                             
        if (dev->pm_domain && dev->pm_domain->dismiss)                          
            dev->pm_domain->dismiss(dev);                                       
        pm_runtime_reinit(dev);                                                 
                                                                                
        goto re_probe;                                                          
    }                                                                           
                                                                                
    pinctrl_init_done(dev);                                                     
                                                                                
    if (dev->pm_domain && dev->pm_domain->sync)                                 
        dev->pm_domain->sync(dev);                                              
                                                                                
    driver_bound(dev);                                                          
    ret = 1;                                                                    
    pr_debug("bus: '%s': %s: bound device %s to driver %s\n",                   
         drv->bus->name, __func__, dev_name(dev), drv->name);                   
    goto done;
  • 코드 라인 7에서 디바이스를 devices_kset 리스트의 마지막으로 옮긴다.
  • 코드 라인 9~17에서 디바이스의 버스에 있는 (*probe) 후크 함수를 호출한다. 만일 없으면 드라이버의 (*probe) 후크 함수를 호출한다.
  • 코드 라인 19~36에서probe 시 테스트 드라이버 기능을 사용하는 경우 드라이버를 제거한 후 다시 probe하는 과정을 거친다.
  • 코드 라인 38에서 probe가 완료되었음을 pinctrl에 전한다.
  • 코드 라인 40~41에서 디바이스의 pm_domain에 있는 (*sync) 후크를 호출한다.
  • 코드 라인 43~47에서 디바이스가 드라이버를 바운드한 후 done 레이블로 이동하여 probe_waitqueue에 있는 스레드를 깨우고 정상적으로 함수를 빠져나간다.

 

probe_failed:                                                                   
    dma_deconfigure(dev);                                                       
dma_failed:                                                                     
    if (dev->bus)                                                               
        blocking_notifier_call_chain(&dev->bus->p->bus_notifier,                
                         BUS_NOTIFY_DRIVER_NOT_BOUND, dev);                     
pinctrl_bind_failed:                                                            
    device_links_no_driver(dev);                                                
    devres_release_all(dev);                                                    
    driver_sysfs_remove(dev);                                                   
    dev->driver = NULL;                                                         
    dev_set_drvdata(dev, NULL);                                                 
    if (dev->pm_domain && dev->pm_domain->dismiss)                              
        dev->pm_domain->dismiss(dev);                                           
    pm_runtime_reinit(dev);                                                     
                                                                                
    switch (ret) {                                                              
    case -EPROBE_DEFER:                                                         
        /* Driver requested deferred probing */                                 
        dev_dbg(dev, "Driver %s requests probe deferral\n", drv->name);         
        driver_deferred_probe_add(dev);                                         
        /* Did a trigger occur while probing? Need to re-trigger if yes */      
        if (local_trigger_count != atomic_read(&deferred_trigger_count))        
            driver_deferred_probe_trigger();                                    
        break;                                                                  
    case -ENODEV:                                                               
    case -ENXIO:                                                                
        pr_debug("%s: probe of %s rejects match %d\n",                          
             drv->name, dev_name(dev), ret);                                    
        break;                                                                  
    default:                                                                    
        /* driver matched but the probe failed */                               
        printk(KERN_WARNING                                                     
               "%s: probe of %s failed with error %d\n",                        
               drv->name, dev_name(dev), ret);                                  
    }                                                                           
    /*                                                                          
     * Ignore errors returned by ->probe so that the next driver can try        
     * its luck.                                                                
     */                                                                         
    ret = 0;                                                                    
done:                                                                           
    atomic_dec(&probe_count);                                                   
    wake_up(&probe_waitqueue);                                                  
    return ret;                                                                 
}

sysfs 속성을 사용하여 바인딩하는 방법은 다음을 참고한다.참고:

 

디바이스 드라이버 바인딩 관련 API들

  • device_bind_driver()
    • 디바이스에 대응하는 드라이버를 바인딩한다.
  • wait_for_device_probe()
    • 디바이스 probe의 완료를 기다린다. (deferred probe 포함)
  • device_attach()
    • 디바이스에 대응하는 드라이버를 동기 attach 한다.
  • driver_attach()
    • 드라이버에 대응하는 디바이스 찾아 attach 한다.
  • device_release_driver()
    • 디바이스에 attach된 드라이버를 분리시킨다.

 

디바이스, 드라이버, 버스, 클래스 및 모듈 간의 관계 관리

다음 그림에서 sysfs에서 관계 관리를 위해 kobject, kset 및 klist 이외에도 다음의 구조체들이 사용되는 것을 알 수 있다.

  • device
    • device_private
  • device_driver
    • driver_private
  • bus & class
    • subsys_private
  • module
    • module_kobject

 

다음 그림은 각 구조체에서 정의한 속성들에 대해 생성되는 디렉토리 위치를 보여준다.

 

참고

 

 

Device & Driver -1- (Basic)

<kernel v4.14>

디바이스와 드라이버 -1-

리눅스 커널에서 디바이스 드라이버를 표현하자면 디바이스를 구동하는 프로그램이 디바이스 드라이버이다.  리눅스 커널의 디바이스 드라이버 모델에 따라 이들을 구분하여 표현할 때 디바이스 정보를 먼저 등록하고, 디바이스 core에서 hotplug 기반으로 id 매치되는 디바이스 드라이버를 probe하는 것으로 나누어 디바이스 드라이버를 가동하게 된다. 디바이스 드라이버를 가동(probe)할 때, 미리 등록된 디바이스 정보를 사용하여 디바이스 드라이버의 HW 조작을 위한 설정등을 할 수 있다. 다음과 같이 드라이버 모델에 따른 분류를 더 자세히 살펴보자.

  • 디바이스
    • 한국말로 그대로 장치라고한다. 장치에 대한 정보를 등록하면 나중에 디바이스 드라이버가 호출(probe)될 때 등록된 디바이스 정보를 사용할 수 있게된다.
    • 디바이스를 등록 시 리눅스 커널은 버스 및 클래스(option)로 분류한다.
      • bus
        • 버스 컨트롤러 또는 호스트 컨트롤러 기능이 있는 디바이스
        • 예) pci, i2c, usb, scsi, spi, acpi, mdio_bus, platform
      • class
        • scsi 디스크나 ata 디스크는 클래스 단계로 볼 때 동일한 디스크이다. 이렇게 디바이스를 추상화 시켜 상위 단계에서 보았을 때 분류하는 방법이다.
        • 예) input, block, dma, gpio, leds, net, phy, rtc, tty, watchdog, mem, bdi, …
  • 디바이스 드라이버
    • 디바이스 HW의 식별, 구동/해제 및 절전 기능 등에 대한 구현이 담긴 프로그램이다.
    • 디바이스 드라이버는 특정 디바이스 HW가 detect되어 hotplug 할 수 있도록 디바이스 부분과 디바이스 드라이버 부분이 분리되어있다.
    • 디바이스 드라이버가 HW 정보를 설정할 때 등록된 디바이스 정보를 알아와서 사용할 수 있다.
      • 레지스터, irq, dma 정보 등…

 

유저 스페이스를 위한 또 다른 디바이스 유형 분류

유저 스페이스에서 각 유형별 디바이스에 접근하기 위해 사용되는 분류는 다음과 같이 3가지가 있다. 이러한 디바이스 유형들은 별도의 글에서 자세히 알아보기로 한다.

  • char
    • 캐릭터 디바이스
  • block
    • 블럭 디바이스
  • net
    • 네트웍 디바이스

 

임베드된 device와 device_driver

디바이스를 정의하기 위해 device 구조체가 그대로 사용되는 경우는 많지 않으며 다음과 같이 보통 사용자 디바이스 구조체안에 임베드되어 사용된다.

struct foo_device {
        struct device;
        ...
}

 

다음 그림은 임베드된 device 및 device_driver 구조체를 보여준다.

 

다음 그림은 디바이스 드라이버가 호출되는 과정을 간략히 보여준다. 최근의 디바이스 드라이버 구현 부분은 hotplug 기반으로 probe되어 호출되는 구조로되어있다.

  • hotplug 인지를 할 수 없는 플랫폼 디바이스 드라이버일지라도 디바이스 드라이버 모델에 맞추어 probe 후크가 구현되어야 한다.

 

버스

대부분의 디바이스는 반드시 자신이 속한 버스(부모 버스)가 있다. 아래 그림을 보고 디바이스 수, 버스 컨트롤러 수를 확인해보자.

  • 참고로 버스 없이 사용되는 custom 디바이스 및 클래스 디바이스로만 등록되어 사용되는 디바이스 드라이버도 있다.
  • 주의: 버스 컨트롤러 자신도 디바이스이다.
    • 디바이스 수: 6개
    • 버스 컨트롤러 수: 2개
  • bus Controller B의 소속 버스는 bus A이다.
  • bus Controller A의 소속 버스는 아래 그림에 나와 있지 않지만 보통 platform, system, virtual 등 중 하나이다.

 

아래의 그림을 보면 다음과 같은 특징을 가지고 있음을 알 수 있다.

  • pci 고속(high speed) 버스에 i2c 저속(low speed) 버스가 연결되었다.
  • gpio 및 cpld 디바이스가 pci 버스에도 연결되어 있는 것이 있고, i2c 버스에 연결되어 있는 것도 있다.

 

device 구조체

include/linux/device.h

/**                                                                             
 * struct device - The basic device structure                                   
 * @parent: The device's "parent" device, the device to which it is attached.   
 *      In most cases, a parent device is some sort of bus or host              
 *      controller. If parent is NULL, the device, is a top-level device,       
 *      which is not usually what you want.                                     
 * @p:      Holds the private data of the driver core portions of the device.   
 *      See the comment of the struct device_private for detail.                
 * @kobj:   A top-level, abstract class from which other classes are derived.   
 * @init_name:  Initial name of the device.                                     
 * @type:   The type of device.                                                 
 *      This identifies the device type and carries type-specific               
 *      information.                                                            
 * @mutex:  Mutex to synchronize calls to its driver.                           
 * @bus:    Type of bus device is on.                                           
 * @driver: Which driver has allocated this                                     
 * @platform_data: Platform data specific to the device.                        
 *      Example: For devices on custom boards, as typical of embedded           
 *      and SOC based hardware, Linux often uses platform_data to point         
 *      to board-specific structures describing devices and how they            
 *      are wired.  That can include what ports are available, chip             
 *      variants, which GPIO pins act in what additional roles, and so          
 *      on.  This shrinks the "Board Support Packages" (BSPs) and               
 *      minimizes board-specific #ifdefs in drivers.                            
 * @driver_data: Private pointer for driver specific info.                      
 * @links:  Links to suppliers and consumers of this device.                    
 * @power:  For device power management.                                        
 *      See Documentation/driver-api/pm/devices.rst for details.                
 * @pm_domain:  Provide callbacks that are executed during system suspend,      
 *      hibernation, system resume and during runtime PM transitions            
 *      along with subsystem-level and driver-level callbacks.                  
 * @pins:   For device pin management.                                          
 *      See Documentation/driver-api/pinctl.rst for details.                    
 * @msi_list:   Hosts MSI descriptors                                           
 * @msi_domain: The generic MSI domain this device is using.                    
 * @numa_node:  NUMA node this device is close to.                              
 * @dma_ops:    DMA mapping operations for this device.                         
 * @dma_mask:   Dma mask (if dma'ble device).                                   
 * @coherent_dma_mask: Like dma_mask, but for alloc_coherent mapping as not all 
 *      hardware supports 64-bit addresses for consistent allocations           
 *      such descriptors.                                                       
 * @dma_pfn_offset: offset of DMA memory range relatively of RAM                
 * @dma_parms:  A low level driver may set these to teach IOMMU code about      
 *      segment limitations.                                                    
 * @dma_pools:  Dma pools (if dma'ble device).                                  
 * @dma_mem:    Internal for coherent mem override.                             
 * @cma_area:   Contiguous memory area for dma allocations                      
 * @archdata:   For arch-specific additions.                                    
 * @of_node:    Associated device tree node.                                    
 * @fwnode: Associated device node supplied by platform firmware.               
 * @devt:   For creating the sysfs "dev".                                       
 * @id:     device instance                                                     
 * @devres_lock: Spinlock to protect the resource of the device.                
 * @devres_head: The resources list of the device.                              
 * @knode_class: The node used to add the device to the class list.             
 * @class:  The class of the device.                                            
 * @groups: Optional attribute groups.                                     
 * @release:    Callback to free the device after all references have           
 *      gone away. This should be set by the allocator of the                   
 *      device (i.e. the bus driver that discovered the device).                
 * @iommu_group: IOMMU group the device belongs to.                             
 * @iommu_fwspec: IOMMU-specific properties supplied by firmware.               
 *                                                                              
 * @offline_disabled: If set, the device is permanently online.                 
 * @offline:    Set after successful invocation of bus type's .offline().       
 * @of_node_reused: Set if the device-tree node is shared with an ancestor      
 *              device.                                                         
 *                                                                              
 * At the lowest level, every device in a Linux system is represented by an     
 * instance of struct device. The device structure contains the information     
 * that the device model core needs to model the system. Most subsystems,       
 * however, track additional information about the devices they host. As a      
 * result, it is rare for devices to be represented by bare device structures;  
 * instead, that structure, like kobject structures, is usually embedded within 
 * a higher-level representation of the device.                                 
 */
struct device {                                                                 
    struct device       *parent;                                                
                                                                                
    struct device_private   *p;                                                 
                                                                                
    struct kobject kobj;                                                        
    const char      *init_name; /* initial name of the device */                
    const struct device_type *type;                                             
                                                                                
    struct mutex        mutex;  /* mutex to synchronize calls to                
                     * its driver.                                              
                     */                                                         
                                                                                
    struct bus_type *bus;       /* type of bus device is on */                  
    struct device_driver *driver;   /* which driver has allocated this          
                       device */                                                
    void        *platform_data; /* Platform specific data, device               
                       core doesn't touch it */                                 
    void        *driver_data;   /* Driver data, set and get with                
                       dev_set/get_drvdata */                                   
    struct dev_links_info   links;                                              
    struct dev_pm_info  power;                                                  
    struct dev_pm_domain    *pm_domain;                                         
                                                                                
#ifdef CONFIG_GENERIC_MSI_IRQ_DOMAIN                                            
    struct irq_domain   *msi_domain;                                            
#endif                                                                          
#ifdef CONFIG_PINCTRL                                                           
    struct dev_pin_info *pins;                                                  
#endif                                                                          
#ifdef CONFIG_GENERIC_MSI_IRQ                                                   
    struct list_head    msi_list;                                               
#endif                                                                          
                                                                                
#ifdef CONFIG_NUMA                                                              
    int     numa_node;  /* NUMA node this device is close to */                 
#endif                                                                          
    const struct dma_map_ops *dma_ops;                                          
    u64     *dma_mask;  /* dma mask (if dma'able device) */                     
    u64     coherent_dma_mask;/* Like dma_mask, but for                         
                         alloc_coherent mappings as                             
                         not all hardware supports                              
                         64 bit addresses for consistent                        
                         allocations such descriptors. */                       
    unsigned long   dma_pfn_offset;                                             
                                                                                
    struct device_dma_parameters *dma_parms;             

    struct list_head    dma_pools;  /* dma pools (if dma'ble) */                
                                                                                
    struct dma_coherent_mem *dma_mem; /* internal for coherent mem              
                         override */                                            
#ifdef CONFIG_DMA_CMA                                                           
    struct cma *cma_area;       /* contiguous memory area for dma               
                       allocations */                                           
#endif                                                                          
    /* arch specific additions */                                               
    struct dev_archdata archdata;                                               
                                                                                
    struct device_node  *of_node; /* associated device tree node */             
    struct fwnode_handle    *fwnode; /* firmware device node */                 
                                                                                
    dev_t           devt;   /* dev_t, creates the sysfs "dev" */                
    u32         id; /* device instance */                                       
                                                                                
    spinlock_t      devres_lock;                                                
    struct list_head    devres_head;                                            
                                                                                
    struct klist_node   knode_class;                                            
    struct class        *class;                                                 
    const struct attribute_group **groups;  /* optional groups */               
                                                                                
    void    (*release)(struct device *dev);                                     
    struct iommu_group  *iommu_group;                                           
    struct iommu_fwspec *iommu_fwspec;                                          
                                                                                
    bool            offline_disabled:1;                                         
    bool            offline:1;                                                  
    bool            of_node_reused:1;                                           
};
  • *parent
    • 부모 디바이스를 가리킨다.
  • *p
    • 디바이스 연관 관계를 위해 디바이스 코어가 관리한다.
  • kobj
    • 상속 관계에 대한 추상클래스 역할을 하는 kobject이다.
  • *init_name
    • 초기 이름
  • *type
    • 디바이스 타입(device_type)이 지정된다.
  • *mutex
    • 드라이버의 호출 동기화를 위해 사용한다.
  • *bus
    • 버스 디바이스인 경우 버스 타입(bus_type)이 지정된다.
  • *driver
    • 디바이스 드라이버(device_driver)가 지정된다.
  • *platform_data
    • 개별 플랫폼 디바이스 전용 데이터로 HW 연결 정보등을 드라이버에게 제공하기 위해 사용한다.
  • *driver_data
    • 개별 디바이스 드라이버 전용 데이터로 dev_set() 및 get_drvdat() 함수를 사용하여 설정 및 알아올 수 있다.
  • links
    • 디바이스의 supplier들과 consumer들에 대한 연결 정보(dev_links_info)가 지정된다.
  • power
    • 디바이스의 절전 관리
  • *pm_domain
    • 서브 시스템 레벨과 드라이버 레벨의 콜백을 통해 디바이스의 절전 관리를 수행하는 핸들러이다.
  • msi_list
    • 호스트의 msi 디스크립터 정보가 지정된다.
  • *msi_domain
    • MSI 방식을 사용하는 irq 도메인이 지정된다.
  • *pins
    • pin control 정보(dev_pin_info)가 지정된다.
  • numa_node
    • NUMA 시스템인 경우 디바이스가 붙어있는 노드 번호이다.
  • *dma_ops
    • dma를 사용하는 장치인 경우 dma 오페레이션이 지정된다.
  • *dma_mask
    • dma를 사용하는 장치인 경우 dma 마스크가 지정된다.
  • coherent_dma_mask
    • coherent dma를 지원하는 시스템에서 사용하는 coherent dma 마스크가 지정된다.
  • dma_pfn_offset
    • dma 페이지의 pfn offset이 지정된다.
    • 물리 메모리로부터 DMA 페이지가 위치한 offset이다.
  • *dma_parms
    • dma 파라메터가 지정된다.
  • dma_pools
    • dma 장치인 경우 사용하는 dma pool을 가리킨다.
  • *dma_mem
    • dma 장치가 사용하는 coherent 메모리를 가리킨다.
  • *cma_area
    • dma 장치가 사용할 커널의 연속된 메모리인 cma 영역을 가리킨다.
  • archdata
    • 아키텍처 추가 데이터
  • *of_node
    • 디바이스 트리에서 해당 디바이스 노드를 가리킨다.
  • *fwnode
    • 펌웨어 디바이스 노드 핸들러를 가리킨다.
  • devt
    • sysfs의 /dev를 생성 시 사용한다.
  • id
    • 디바이스 인스턴트가 담긴다.
    • -1은 인스턴스가 하나일 때, 복수개인 경우 0부터 시작
  • devres_lock
    • 디바이스 리소스의 조작 시 protect를 위해 사용할 spinlock이다.
  • devres_head
    • 디바이스 리소스들이 담길 리스트이다.
  • knode_class
    • 디바이스 클래스 분류 집합
  • *class
    • 디바이스 클래스를 지정한다.
  • **groups
    • 디바이스 속성 그룹(attribute_group)이 옵션으로 지정된다.
  • (*release)
    • 디바이스 참조가 0이 될 때 디바이스 해제 시 사용할 후크 함수가 지정된다.
  • *iommu_group
    • 디바이스가 소속될 iommu 그룹(iommu_group을 지정한다.
  • *iommu_fwspec
    • iommu용 펌웨어 핸들러(iommu_fwspec)가 지정된다.
  • offline_disabled:1
    • 디바이스가 영구적으로 online인 경우 설정된다.
  • offline:1
    • 버스 타입의 (*offline) 후크 함수의 호출 결과가 성공인 경우 1로 설정된다.
  • of_node_reused:1
    • 디바이스 트리노드가 상위 디바이스 트리노드와 공유되는 경우 1로 설정된다.

 

device_driver 구조체

include/linux/device.h

/**                                                                             
 * struct device_driver - The basic device driver structure                     
 * @name:   Name of the device driver.                                          
 * @bus:    The bus which the device of this driver belongs to.                 
 * @owner:  The module owner.                                                   
 * @mod_name:   Used for built-in modules.                                      
 * @suppress_bind_attrs: Disables bind/unbind via sysfs.                        
 * @probe_type: Type of the probe (synchronous or asynchronous) to use.         
 * @of_match_table: The open firmware table.                                    
 * @acpi_match_table: The ACPI match table.                                     
 * @probe:  Called to query the existence of a specific device,                 
 *      whether this driver can work with it, and bind the driver               
 *      to a specific device.                                                   
 * @remove: Called when the device is removed from the system to                
 *      unbind a device from this driver.                                       
 * @shutdown:   Called at shut-down time to quiesce the device.                 
 * @suspend:    Called to put the device to sleep mode. Usually to a            
 *      low power state.                                                        
 * @resume: Called to bring a device from sleep mode.                           
 * @groups: Default attributes that get created by the driver core              
 *      automatically.                                                          
 * @pm:     Power management operations of the device which matched             
 *      this driver.                                                            
 * @p:      Driver core's private data, no one other than the driver            
 *      core can touch this.                                                    
 *                                                                              
 * The device driver-model tracks all of the drivers known to the system.       
 * The main reason for this tracking is to enable the driver core to match      
 * up drivers with new devices. Once drivers are known objects within the       
 * system, however, a number of other things become possible. Device drivers    
 * can export information and configuration variables that are independent      
 * of any specific device.                                                      
 */
struct device_driver {                                                          
    const char      *name;                                                      
    struct bus_type     *bus;                                                   
                                                                                
    struct module       *owner;                                                 
    const char      *mod_name;  /* used for built-in modules */                 
                                                                                
    bool suppress_bind_attrs;   /* disables bind/unbind via sysfs */            
    enum probe_type probe_type;                                                 
                                                                                
    const struct of_device_id   *of_match_table;                                
    const struct acpi_device_id *acpi_match_table;                              
                                                                                
    int (*probe) (struct device *dev);                                          
    int (*remove) (struct device *dev);                                         
    void (*shutdown) (struct device *dev);                                      
    int (*suspend) (struct device *dev, pm_message_t state);                    
    int (*resume) (struct device *dev);                                         
    const struct attribute_group **groups;                                      
                                                                                
    const struct dev_pm_ops *pm;                                                
                                                                                
    struct driver_private *p;                                                   
};
  • *name
    • 디바이스 드라이버명
  • *bus
    • 버스 타입(bus_type)이 지정된다.
  • *owner
    • 모듈 오너
  • *mod_name
    • 내장 모듈에서 사용하는 모듈명
  • suppress_bind_attrs
    • sysfs를 통한 bind/unbind를 사용하지 못하게할 때 1로 설정된다.
  • probe_type
    • probe 타입이 지정된다.
  • *of_match_table
    • 디바이스 트리 식별를 위한 매치 테이블이 지정된다.
  • *acpi_match_table
    • ACPI 식별을 위한 매치 테이블이 지정된다.
  • (*probe)
    • HW 디바이스 존재 유무를 판단하기 위해 호출되고 해당 디바이스를 사용하기 위해 디바이스 드라이버와 바인드한다.
  • (*remove)
    • 디바이스의 사용을 완료시킨 경우 호출된다.
  • (*shutdown)
    • 디바이스의 전원을 끄려고할 때 호출된다.
  • (*suspend)
    • 디바이스가 절전 모드로 진입할 때 호출된다.
  • (*resume)
    • 디바이스가 절전 모드로부터 정상 모드로 돌아올 때 호출된다.
  • **groups
    • 디바이스 속성 그룹(attribute_group)이 옵션으로 지정된다.
  • *pm
    • 드라이버 레벨의 콜백을 통해 디바이스의 절전 관리를 수행하는 핸들러이다.
  • *p
    • 드라이버의 하이라키 관계 정보가 관리된다.
    • 이 정보는 드라이버 코어가 업데이트하고 관리한다.

 

디바이스 등록

다음 API를 사용하여 디바이스를 요청한 버스에 등록할 때 버스 타입에 따라 리스트로 관리된다. 등록된 디바이스 정보들은 추후 디바이스 드라이버와의 매치 여부를 판단할 때 사용한다.

  • int device_register(struct device * dev);

 

디바이스가 등록될 때 다음 매크로 함수를 사용하여 디바이스 속성을 추가할 수 있다. 속성에 대해서는 조금 후에 자세히 알아본다.

  • #define DEVICE_ATTR(name,mode,show,store)

 

device_register()

drivers/base/core.c

/**                                                                             
 * device_register - register a device with the system.                         
 * @dev: pointer to the device structure                                        
 *                                                                              
 * This happens in two clean steps - initialize the device                      
 * and add it to the system. The two steps can be called                        
 * separately, but this is the easiest and most common.                         
 * I.e. you should only call the two helpers separately if                      
 * have a clearly defined need to use and refcount the device                   
 * before it is added to the hierarchy.                                         
 *                                                                              
 * For more information, see the kerneldoc for device_initialize()              
 * and device_add().                                                            
 *                                                                              
 * NOTE: _Never_ directly free @dev after calling this function, even           
 * if it returned an error! Always use put_device() to give up the              
 * reference initialized in this function instead.                              
 */
int device_register(struct device *dev)                                         
{                                                                               
    device_initialize(dev);                                                     
    return device_add(dev);                                                     
}                                                                               
EXPORT_SYMBOL_GPL(device_register);

요청한 디바이스를 추가한다.

  • 코드 라인 3에서 인자로 받은 디바이스 구조체를 초기화한다.
  • 코드 라인 4에서 인자로 받은 디바이스를 초기화한다.

 

device_initialize()

drivers/base/core.c

/**                                                                             
 * device_initialize - init device structure.                                   
 * @dev: device.                                                                
 *                                                                              
 * This prepares the device for use by other layers by initializing             
 * its fields.                                                                  
 * It is the first half of device_register(), if called by                      
 * that function, though it can also be called separately, so one               
 * may use @dev's fields. In particular, get_device()/put_device()              
 * may be used for reference counting of @dev after calling this                
 * function.                                                                    
 *                                                                              
 * All fields in @dev must be initialized by the caller to 0, except            
 * for those explicitly set to some other value.  The simplest                  
 * approach is to use kzalloc() to allocate the structure containing            
 * @dev.                                                                        
 *                                                                              
 * NOTE: Use put_device() to give up your reference instead of freeing          
 * @dev directly once you have called this function.                            
 */
void device_initialize(struct device *dev)                                      
{                                                                               
    dev->kobj.kset = devices_kset;                                              
    kobject_init(&dev->kobj, &device_ktype);                                    
    INIT_LIST_HEAD(&dev->dma_pools);                                            
    mutex_init(&dev->mutex);                                                    
    lockdep_set_novalidate_class(&dev->mutex);                                  
    spin_lock_init(&dev->devres_lock);                                          
    INIT_LIST_HEAD(&dev->devres_head);                                          
    device_pm_init(dev);                                                        
    set_dev_node(dev, -1);                                                      
#ifdef CONFIG_GENERIC_MSI_IRQ                                                   
    INIT_LIST_HEAD(&dev->msi_list);                                             
#endif                                                                          
    INIT_LIST_HEAD(&dev->links.consumers);                                      
    INIT_LIST_HEAD(&dev->links.suppliers);                                      
    dev->links.status = DL_DEV_NO_DRIVER;                                       
}                                                                               
EXPORT_SYMBOL_GPL(device_initialize);

인자로 받은 디바이스 구조체를 초기화한다. (kobject, dma pools, mutex, resource, pm, node, msi_list, links)

 

device_add()

drivers/base/core.c -1/3-

/**                                                                             
 * device_add - add device to device hierarchy.                                 
 * @dev: device.                                                                
 *                                                                              
 * This is part 2 of device_register(), though may be called                    
 * separately _iff_ device_initialize() has been called separately.             
 *                                                                              
 * This adds @dev to the kobject hierarchy via kobject_add(), adds it           
 * to the global and sibling lists for the device, then                         
 * adds it to the other relevant subsystems of the driver model.                
 *                                                                              
 * Do not call this routine or device_register() more than once for             
 * any device structure.  The driver model core is not designed to work         
 * with devices that get unregistered and then spring back to life.             
 * (Among other things, it's very hard to guarantee that all references         
 * to the previous incarnation of @dev have been dropped.)  Allocate            
 * and register a fresh new struct device instead.                              
 *                                                                              
 * NOTE: _Never_ directly free @dev after calling this function, even           
 * if it returned an error! Always use put_device() to give up your             
 * reference instead.                                                           
 */
int device_add(struct device *dev)                                              
{                                                                               
    struct device *parent;                                                      
    struct kobject *kobj;                                                       
    struct class_interface *class_intf;                                         
    int error = -EINVAL;                                                        
    struct kobject *glue_dir = NULL;                                            
                                                                                
    dev = get_device(dev);                                                      
    if (!dev)                                                                   
        goto done;                                                              
                                                                                
    if (!dev->p) {                                                              
        error = device_private_init(dev);                                       
        if (error)                                                              
            goto done;                                                          
    }                                                                           
                                                                                
    /*                                                                          
     * for statically allocated devices, which should all be converted          
     * some day, we need to initialize the name. We prevent reading back        
     * the name, and force the use of dev_name()                                
     */                                                                         
    if (dev->init_name) {                                                       
        dev_set_name(dev, "%s", dev->init_name);                                
        dev->init_name = NULL;                                                  
    }                                                                           
                                                                                
    /* subsystems can specify simple device enumeration */                      
    if (!dev_name(dev) && dev->bus && dev->bus->dev_name)                       
        dev_set_name(dev, "%s%u", dev->bus->dev_name, dev->id);                 
                                                                                
    if (!dev_name(dev)) {                                                       
        error = -EINVAL;                                                        
        goto name_error;                                                        
    }                                                                           
                                                                                
    pr_debug("device: '%s': %s\n", dev_name(dev), __func__);

디바이스 하이라키에 디바이스를 추가한다. (sysfs에 연동된다)

  • 코드 라인 9~11에서 디바이스 참조 카운터를 1 증가시킨다.
  • 코드 라인 13~17에서 디바이스에 device_private 구조체가 할당되어 있지 않은 경우 할당한다.
  • 코드 라인 24~27에서 디바이스의 초기 이름(init_name)이 주어진 경우 이를 사용하여 디바이스 명(kobject의 이름)을 지정한다. 그런 후 init_name은 null로 변경한다.
  • 코드 라인 30~31에서 디바이스 명이 주어지지 않지만 버스 이름이 있는 경우 디바이스명으로 버스 이름을 사용한다.
  • 코드 라인 33~36에서 여전히 디바이스명이 없는 경우 에러로 함수를 빠져나간다.

 

drivers/base/core.c -2/3-

.   parent = get_device(dev->parent);                                           
    kobj = get_device_parent(dev, parent);                                      
    if (kobj)                                                                   
        dev->kobj.parent = kobj;                                                
                                                                                
    /* use parent numa_node */                                                  
    if (parent && (dev_to_node(dev) == NUMA_NO_NODE))                           
        set_dev_node(dev, dev_to_node(parent));                                 
                                                                                
    /* first, register with generic layer. */                                   
    /* we require the name to be set before, and pass NULL */                   
    error = kobject_add(&dev->kobj, dev->kobj.parent, NULL);                    
    if (error) {                                                                
        glue_dir = get_glue_dir(dev);                                           
        goto Error;                                                             
    }                                                                           
                                                                                
    /* notify platform of device entry */                                       
    if (platform_notify)                                                        
        platform_notify(dev);                                                   
                                                                                
    error = device_create_file(dev, &dev_attr_uevent);                          
    if (error)                                                                  
        goto attrError;                                                         
                                                                                
    error = device_add_class_symlinks(dev);                                     
    if (error)                                                                  
        goto SymlinkError;                                                      
    error = device_add_attrs(dev);                                              
    if (error)                                                                  
        goto AttrsError;                                                        
    error = bus_add_device(dev);                                                
    if (error)                                                                  
        goto BusError;                                                          
    error = dpm_sysfs_add(dev);                                                 
    if (error)                                                                  
        goto DPMError;                                                          
    device_pm_add(dev);                                                         
                                                                                
    if (MAJOR(dev->devt)) {                                                     
        error = device_create_file(dev, &dev_attr_dev);                         
        if (error)                                                              
            goto DevAttrError;                                                  
                                                                                
        error = device_create_sys_dev_entry(dev);                               
        if (error)                                                              
            goto SysEntryError;                                                 
                                                                                
        devtmpfs_create_node(dev);                                              
    }
  • 코드 라인 1~4에서 부모 디바이스의 참조 카운터를 1 증가시켜 알아오고 현재 디바이스의 부모를 지정한다.
  • 코드 라인 7~8에서 부모 디바이스가 존재하고 현재 디바이스가 모든 노드의 사용이 가능하면 현재 디바이스가 부모 디바이스의 노드번호를 사용하도록 한다.
  • 코드 라인 12~16에서 현재 디바이스를 부모 디바이스에 추가한다.
  • 코드 라인 19~20에서 플랫폼 notify 후크 함수가 지정된 경우 호출한다.
    • of_platform_notify() 또는 acpi_platform_notify() 함수가 사용된다.
  • 코드 라인 22~24에서 uevent 속성에 대한 파일을 생성하고 속성 핸들러를 연동한다.
    • 속성과 관련하여 연동되는 함수는 다음과 같다.
      • uevent_show()
      • uevent_store()
    • kset과 관련하여 연동되는 함수는 다음과 같다. 이들 함수들은 devices_init() 함수를 통해 “/sys/devices” 디렉토리에 연동된다.
      • dev_uevent_filter()
      • dev_uevent_name()
      • dev_uevent()
  • 코드 라인 26~28에서 요청한 디바이스에 대해 of_node, subsystem 및 device 심볼 링크를 생성한다. 부모 디바이스에서는 <요청한 디바이스명>으로 심볼 링크를 생성한다.
  • 코드 라인 29~31에서 디바이스, 디바이스 타입, 클래스에 등록된 속성 그룹들을 추가하여 sysfs에 반영한다. 디바이스의 hot-removal이 지원되는 경우 디바이스에 online 속성도 추가하여 sysfs에 반영한다.
  • 코드 라인 32~34에서 버스에 추가될 디바이스인 경우 디바이스에 버스 타입 속성들을 추가한다. 이들은 그대로 sysfs에 반영된다. 그리고 디바이스와 버스 타입을 서로 심볼 링크로 연결한다
  • 코드 라인 35~37에서 디바이스 디렉토리에 pm 디렉토리와 pm 관련 속성 그룹들을 머지(merge)한 후 추가한다.
  • 코드 라인 38에서 dpm_list에 현재 디바이스를 추가한다.
    • 부모 디바이스가 pm core에 의해 관리되면 부모 디바이스가 슬립하면 안된다는 경고 메시지를 출력한다.
  • 코드 라인 40~50에서 “/sys/dev”에 등록되는 디바이스의 경우 디바이스 디렉토리에 dev 속성을 생성한다. 그리고 “/sys/dev/<dev type>” 디렉토리에 <major>:<minor> 번호로 심볼 링크를 만들어 디바이스와 연결한다.
    • 예) /sys/devices/platform/soc/66090000.watchdog/misc/watchdog/dev
    • 예) /sys/dev/char/10:130 -> /sys/devices/platform/soc/66090000.watchdog/misc/watchdog

 

drivers/base/core.c -3/3-

    /* Notify clients of device addition.  This call must come                  
     * after dpm_sysfs_add() and before kobject_uevent().                       
     */                                                                         
    if (dev->bus)                                                               
        blocking_notifier_call_chain(&dev->bus->p->bus_notifier,                
                         BUS_NOTIFY_ADD_DEVICE, dev);                           
                                                                                
    kobject_uevent(&dev->kobj, KOBJ_ADD);                                       
    bus_probe_device(dev);                                                      
    if (parent)                                                                 
        klist_add_tail(&dev->p->knode_parent,                                   
                   &parent->p->klist_children);                                 
                                                                                
    if (dev->class) {                                                           
        mutex_lock(&dev->class->p->mutex);                                      
        /* tie the class to the device */                                       
        klist_add_tail(&dev->knode_class,                                       
                   &dev->class->p->klist_devices);                              
                                                                                
        /* notify any interfaces that the device is here */                     
        list_for_each_entry(class_intf,                                         
                    &dev->class->p->interfaces, node)                           
            if (class_intf->add_dev)                                            
                class_intf->add_dev(dev, class_intf);                           
        mutex_unlock(&dev->class->p->mutex);                                    
    }                                                                           
done:                                                                           
    put_device(dev);                                                            
    return error;                                                               
 SysEntryError:                                                                 
    if (MAJOR(dev->devt))                                                       
        device_remove_file(dev, &dev_attr_dev);                                 
 DevAttrError:                                                                  
    device_pm_remove(dev);                                                      
    dpm_sysfs_remove(dev);                                                      
 DPMError:                                                                      
    bus_remove_device(dev);                                                     
 BusError:                                                                      
    device_remove_attrs(dev);                                                   
 AttrsError:                                                                    
    device_remove_class_symlinks(dev);                                          
 SymlinkError:                                                                  
    device_remove_file(dev, &dev_attr_uevent);                                  
 attrError:                                                                     
    kobject_uevent(&dev->kobj, KOBJ_REMOVE);                                    
    glue_dir = get_glue_dir(dev);                                               
    kobject_del(&dev->kobj);                                                    
 Error:                                                                         
    cleanup_glue_dir(dev, glue_dir);                                            
    put_device(parent);                                                         
name_error:                                                                     
    kfree(dev->p);                                                              
    dev->p = NULL;                                                              
    goto done;                                                                  
}                                                                               
EXPORT_SYMBOL_GPL(device_add);
  • 코드 라인 4~6에서 버스에 디바이스가 추가된 경우 버스가 알도록 bus notifier 호출 체인에 등록된 함수를 호출한다.
  • 코드 라인 8에서 userspace에서 알 수 있도록 uevent를 발생시킨다.
  • 코드 라인 9에서 버스에 연결될 autoprobe가 가능한 디바이스의 경우 곧바로 디바이스 드라이버의 probe 함수를 호출한다.
  • 코드 라인 10~12에서 부모 디바이스가 있는 경우 현재 디바이스를 children으로 등록한다.
  • 코드 라인 14~18에서 클래스가 있는 디바이스의 경우 클래스의 소속되도록 리스트에 디바이스를 추가하고, 클래스 인터페이스의 후크함수 (*add_dev)를 호출한다.

 

디바이스 하이라키 관리 정보

device_private 구조체

drivers/base/base.h

/**
 * struct device_private - structure to hold the private to the driver core portions of the device structure.
 *
 * @klist_children - klist containing all children of this device
 * @knode_parent - node in sibling list
 * @knode_driver - node in driver list
 * @knode_bus - node in bus list
 * @deferred_probe - entry in deferred_probe_list which is used to retry the
 *      binding of drivers which were unable to get all the resources needed by
 *      the device; typically because it depends on another driver getting
 *      probed first.
 * @device - pointer back to the struct device that this structure is
 * associated with.
 *
 * Nothing outside of the driver core should ever touch these fields.
 */
struct device_private {
        struct klist klist_children;
        struct klist_node knode_parent;
        struct klist_node knode_driver;
        struct klist_node knode_bus;
        struct list_head deferred_probe;
        struct device *device;
};
  • klist_children
    • child 디바이스가 추가될 리스트
  • knode_parent
    • child 디바이스가 위의 리스트에 추가시킬 때 사용하는 노드
  • knode_driver
    • 이 디바이스가 드라이버의 디바이스 리스트에 포함될 때 사용되는 노드
      • driver->p->klist_devices
  • knode_bus
    • 이 디바이스가 버스의 디바이스 리스트에 포함될 때 사용되는 노드
      • bus_type->p->klist_devices
  • deferred_probe
    • 전역 deferred probe 리스트에 추가시킬 때 사용되는 노드
      • 전역 deferred_probe_pending_list
  • *device
    • 자신 디바이스를 가리키는 포인터

 

속성(Attribute) & 속성 그룹(Attribute Group)

 

다음 그림과 같이 속성과 속성 그룹간의 관계를 4 단계로 표현해보았다.

 

attribute 구조체

include/linux/sysfs.h

struct attribute {                                                              
    const char      *name;                                                      
    umode_t         mode;                                                       
#ifdef CONFIG_DEBUG_LOCK_ALLOC                                                  
    bool            ignore_lockdep:1;                                           
    struct lock_class_key   *key;                                               
    struct lock_class_key   skey;                                               
#endif                                                                          
};

속성은 attribute 구조체를 사용하여 표현된다. 이 구조체는 여러 가지 타입의 속성 구조체에 임베드되는 기본 골격이다.

  • *name
    • 속성명
  • mode
    • 파일 권한(permission)
      • 예) 0664 = -rw-rw-r–

 

다양한 속성 타입과 속성 정의 매크로

위의 attribute 구조체를 임베드하고 (*show) 및 (*store) 두 가지 후크를 추가하여 다음과 같이 4개의 속성 구조체가 사용된다.

  • device_attribute 구조체
  • bus_attribute 구조체
  • class_attribute 구조체
  • driver_attribute 구조체

 

4가지 구조체 소스를 확인해보면 (*show) 및 (*store) 후크의 인자만 조금씩 다른 것을 확인할 수 있다.

device_attribute()
struct device_attribute {
        struct attribute        attr;
        ssize_t (*show)(struct device *dev, struct device_attribute *attr,
                        char *buf);
        ssize_t (*store)(struct device *dev, struct device_attribute *attr,
                         const char *buf, size_t count);
};

디바이스 속성을 생성하는 경우 /sys/devices/foo에 속성들이 생성된다. 속성 값을 보거나 변경하기 위해 device_attribute 구조체가 지원하는 후크 함수의 기능은 다음과 같다.

  • (*show)
    • 디바이스 속성을 출력
  • (*store)
    • 디바이스 속성을 변경

 

bus_attribute()
struct bus_attribute {
        struct attribute        attr;
        ssize_t (*show)(struct bus_type *bus, char *buf);
        ssize_t (*store)(struct bus_type *bus, const char *buf, size_t count);
};

버스 속성을 생성하는 경우 /sys/bus/foo에 속성들이 생성된다.

 

class_attribute()
struct class_attribute {
        struct attribute attr;
        ssize_t (*show)(struct class *class, struct class_attribute *attr,
                        char *buf);
        ssize_t (*store)(struct class *class, struct class_attribute *attr,
                        const char *buf, size_t count);
};

클래스 속성을 생성하는 경우 /sys/class/foo에 속성들이 생성된다.

 

driver_attribute()
struct driver_attribute {
        struct attribute attr;
        ssize_t (*show)(struct device_driver *driver, char *buf);
        ssize_t (*store)(struct device_driver *driver, const char *buf,
                         size_t count);
};

드라이버 속성을 생성하는 경우 /sys/bus/drivers/foo에 속성들이 생성된다.

 

각 속성 타입별로 속성 구조체를 심플하게 작성해주는 매크로들이 준비되어 있다.

device_attribute 구조체 정의 매크로
#define DEVICE_ATTR(_name, _mode, _show, _store) \
        struct device_attribute dev_attr_##_name = __ATTR(_name, _mode, _show, _store)
#define DEVICE_ATTR_RW(_name) \
        struct device_attribute dev_attr_##_name = __ATTR_RW(_name)
#define DEVICE_ATTR_RO(_name) \
        struct device_attribute dev_attr_##_name = __ATTR_RO(_name)
#define DEVICE_ATTR_WO(_name) \
        struct device_attribute dev_attr_##_name = __ATTR_WO(_name)

 

예) 다음과 같이 디바이스 속성을 하나 정의할 때 생성되는 구조체와 연결된 후크 함수들을 알아본다.

static DEVICE_ATTR_RW(a1);

 

생성되는 구조체 함수는 다음과 같다. a1_show() 함수와 a1_store() 함수는 사용자가 직접 추가 구현해야 한다.

struct device_attribute dev_attr_a1 = {
	.attr = {
		.name = "a1",
		.mode = 644
	}
	.show = a1_show,
	.store = a1_store,
}

 

bus_attribute 구조체 정의 매크로
#define BUS_ATTR(_name, _mode, _show, _store)   \
        struct bus_attribute bus_attr_##_name = __ATTR(_name, _mode, _show, _store)
#define BUS_ATTR_RW(_name) \
        struct bus_attribute bus_attr_##_name = __ATTR_RW(_name)
#define BUS_ATTR_RO(_name) \
        struct bus_attribute bus_attr_##_name = __ATTR_RO(_name)

 

class_attribute 구조체 정의 매크로
#define CLASS_ATTR_RW(_name) \
        struct class_attribute class_attr_##_name = __ATTR_RW(_name)
#define CLASS_ATTR_RO(_name) \
        struct class_attribute class_attr_##_name = __ATTR_RO(_name)
#define CLASS_ATTR_WO(_name) \
        struct class_attribute class_attr_##_name = __ATTR_WO(_name)

 

driver_attribute 구조체 정의 매크로
#define DRIVER_ATTR_RW(_name) \
        struct driver_attribute driver_attr_##_name = __ATTR_RW(_name)
#define DRIVER_ATTR_RO(_name) \
        struct driver_attribute driver_attr_##_name = __ATTR_RO(_name)
#define DRIVER_ATTR_WO(_name) \
        struct driver_attribute driver_attr_##_name = __ATTR_WO(_name)

 

각 속성 구조체의 멤버 설정

위의 4가지 매크로에서 공통으로 사용되며, 구조체의 멤버들에 값을 부여하는 매크로이다.

__ATTR()

include/linux/sysfs.h

#define __ATTR(_name, _mode, _show, _store) {               \                   
    .attr = {.name = __stringify(_name),                \                       
         .mode = VERIFY_OCTAL_PERMISSIONS(_mode) },     \                       
    .show   = _show,                        \                                   
    .store  = _store,                       \                                   
}

__ATTR() 매크로에서 사용하는 VERIFY_OCTAL_PERMISSIONS() 매크로는 컴파일 타임에 파일 권한 값이 다음의 조건을 만족하는지 체크한다.

  • 0000 ~ 0777 범위 이내
  • USER_READABLE >= GROUP_READABLE >= OTHER_READABLE
    • 0444 (ok)
    • 0440 (ok)
    • 0400 (ok)
    • 0000 (ok)
    • 0404 (X)
    • 0004 (X)
    • 0040 (X)
    • 가장 많이 실수하는 값은 예전에는 허용했던 0666 값이 최근에는 OTHER_WRITABLE 때문에 문제가 발생한다. 이를 0644 또는 664등으로 수정해야 한다.
  • USER_WRITABLE >= GROUP_WRITABLE
    • 0220 (ok)
    • 0200 (ok)
    • 0000 (ok)
    • 0020 (X)
    • OTHER_WRITABLE 안됨!
      • 0XX0 (ok)
      • 0XX2 (X)

 

__ATTR_WO()
#define __ATTR_RW(_name) __ATTR(_name, (S_IWUSR | S_IRUGO),             \
                         _name##_show, _name##_store)

파일 권한 값으로 0644를 사용한다.

  • user, group, other 모두 읽기 전용

 

__ATTR_RO()
#define __ATTR_RO(_name) { \
.attr = { .name = __stringify(_name), .mode = S_IRUGO }, \
.show = _name##_show, \
}

파일 권한 값으로 0444를 사용한다.

  • user, group, other 모두 읽기 전용

 

__ATTR_WO()
#define __ATTR_WO(_name) { \
.attr = { .name = __stringify(_name), .mode = S_IWUSR }, \
.store = _name##_store, \
}

파일 권한 값으로 0200을 사용한다.

  • user만 쓰기 전용
  • group, other는 금지

 

속성 그룹 및 속성 그룹들

속성 그룹들을 정의하기 위해 다음 단계와 같이 준비한다.

  • 첫 번째, 다수의 속성을 갖는 속성들을 정의한다.
  • 두 번째 ATTRIBUTE_GROUPS()를 사용하여 다음과 같이 2개의 구조체를 생성한다.
    • 하나의 속성 그룹을 만들고 지정한 속성들을 포함시킨다.
    • 속성 그룹들을 만들고 속성 그룹을 포함시킨다.

 

첫 번째, 다수의 속성이 포함된 속성들 정의

다음과 같이 foo 디바이스를 위해 속성들을 정의한다.

static struct attribute *foo_attrs[] = {
        &dev_attr_a1.attr,
        &dev_attr_a2.attr,
        NULL,
};

 

두 번째, 속성 그룹들 정의

이어서 foo 디바이스를 위해 위에서 정의한 속성들을 포함하는 속성 그룹과 속성 그룹들을 정의한다.

ATTRIBUTE_GROUPS(foo);

 

ATTRIBUTE_GROUPS() 매크로 함수
#define ATTRIBUTE_GROUPS(_name)                                 \
static const struct attribute_group _name##_group = {           \
        .attrs = _name##_attrs,                                 \
};                                                              \
__ATTRIBUTE_GROUPS(_name)

 

__ATTRIBUTE_GROUPS() 매크로 함수
#define __ATTRIBUTE_GROUPS(_name)                               \
static const struct attribute_group *_name##_groups[] = {       \
        &_name##_group,                                         \
        NULL,                                                   \
}

 

위의 매크로를 사용하여 생성되는 두 개의 구조체는 다음과 같다.

  • a1과 a2 속성이 foo 속성 그룹이 생성된다.
  • foo 속성 그룹이 담긴 foo 속성 그룹들이 생성된다.
static const struct attribute_group foo_group = {
	.attrs = foo_attrs,
}

static const struct attribute_group *foo_groups[] = {
        &foo_group,
        NULL,
}

 

다음 그림은 플랫폼 디바이스로 등록한 디바이스 속성들을 보여준다.

 

다음 그림에서 foo 디바이스에 대한 디바이스 속성 및 속성 그룹들을 알아보자.

 

속성 그룹들 동적 추가

device_add_attrs()

drivers/base/core.c

static int device_add_attrs(struct device *dev)
{
        struct class *class = dev->class;
        const struct device_type *type = dev->type;
        int error;

        if (class) {
                error = device_add_groups(dev, class->dev_groups);
                if (error)
                        return error;
        }

        if (type) {
                error = device_add_groups(dev, type->groups);
                if (error)
                        goto err_remove_class_groups;
        }

        error = device_add_groups(dev, dev->groups);
        if (error)
                goto err_remove_type_groups;

        if (device_supports_offline(dev) && !dev->offline_disabled) {
                error = device_create_file(dev, &dev_attr_online);
                if (error)
                        goto err_remove_dev_groups;
        }

        return 0;

 err_remove_dev_groups:
        device_remove_groups(dev, dev->groups);
 err_remove_type_groups:
        if (type)
                device_remove_groups(dev, type->groups);
 err_remove_class_groups:
        if (class)
                device_remove_groups(dev, class->dev_groups);

        return error;
}

디바이스, 디바이스 타입, 클래스에 등록된 속성 그룹들을 추가하여 sysfs에 반영한다. 디바이스의 hot-removal이 지원되는 경우 디바이스에 online 속성도 추가하여 sysfs에 반영한다.

  • 코드 라인 7~11에서 디바이스의 클래스에 소속된 그룹들 속성을 추가하여 sysfs에 반영한다.
  • 코드 라인 13~17에서 디바이스의 타입에 소속된 그룹들 속성을 추가하여 sysfs에 반영한다.
  • 코드 라인 19~21에서 디바이스에 소속된 그룹들 속성을 추가하여 sysfs에 반영한다.
  • 코드 라인 23~27에서 디바이스의 hot-removal을 지원하고 현재 offline 기능을 동작하게 할 수 있는 경우 디바이스에 online 속성도 추가하여 sysfs에 반영한다.

 

device_add_groups()

drivers/base/core.c

int device_add_groups(struct device *dev, const struct attribute_group **groups)
{
        return sysfs_create_groups(&dev->kobj, groups);
}
EXPORT_SYMBOL_GPL(device_add_groups);

속성이 담겨있는는 그룹들을 디바이스에 추가하여 sysfs에 반영한다.

 

디바이스 등록 시 생성되는 속성들

아래와 같이 디바이스가 등록되면 디바이스 공통 또는 디바이스 타입, 클래스 타입 및 버스 타입 등에 따라 속성들이 각각 추가된다.

  • 예) gpio 컨트롤러 디바이스에 gpio 0번이 등록된 경우

 

아래 그림을 보면 gpio 디바이스, gpio 컨트롤러 디바이스, gpio 포트 디바이스들이 생성된 경우 아래와 같은 속성들이 등록되는 것을 보여준다.

 

sysfs 반영

device_create_file()

drivers/base/core.c

/**
 * device_create_file - create sysfs attribute file for device.
 * @dev: device.
 * @attr: device attribute descriptor.
 */
int device_create_file(struct device *dev,
                       const struct device_attribute *attr)
{
        int error = 0;

        if (dev) {
                WARN(((attr->attr.mode & S_IWUGO) && !attr->store),
                        "Attribute %s: write permission without 'store'\n",
                        attr->attr.name);
                WARN(((attr->attr.mode & S_IRUGO) && !attr->show),
                        "Attribute %s: read permission without 'show'\n",
                        attr->attr.name);
                error = sysfs_create_file(&dev->kobj, &attr->attr);
        }

        return error;
}
EXPORT_SYMBOL_GPL(device_create_file);

sysfs에 디바이스명에 해당하는 디렉토리와 속성들을 생성한다. 만일 속성에 해당하는 (*store) 및 (*show) 후크 핸들러가 없는 경우 경고 메시지가 출력된다.

 

다음 그림은 foo 디바이스에 준비된 a1 속성이 추가되는 모습을 보여준다.

  • 참고로 대부분의 디바이스 드라이버를 등록할 때 개별 디바이스에 대한 custom 속성들은 대부분 보이지 않을 것이다. 보통 디바이스 타입,  버스 타입 및 클래스 타입에 등록되어 있는 속성들을 사용하므로 개별 드라이버의 custom 속성을 사용할 일이 거의 없다.

 

device_add_class_symlinks()

drivers/base/core.c

static int device_add_class_symlinks(struct device *dev)
{
        struct device_node *of_node = dev_of_node(dev);
        int error;

        if (of_node) {
                error = sysfs_create_link(&dev->kobj, &of_node->kobj,"of_node");
                if (error)
                        dev_warn(dev, "Error %d creating of_node link\n",error);
                /* An error here doesn't warrant bringing down the device */
        }

        if (!dev->class)
                return 0;

        error = sysfs_create_link(&dev->kobj,
                                  &dev->class->p->subsys.kobj,
                                  "subsystem");
        if (error)
                goto out_devnode;

        if (dev->parent && device_is_not_partition(dev)) {
                error = sysfs_create_link(&dev->kobj, &dev->parent->kobj,
                                          "device");
                if (error)
                        goto out_subsys;
        }

#ifdef CONFIG_BLOCK
        /* /sys/block has directories and does not need symlinks */
        if (sysfs_deprecated && dev->class == &block_class)
                return 0;
#endif

        /* link in the class directory pointing to the device */
        error = sysfs_create_link(&dev->class->p->subsys.kobj,
                                  &dev->kobj, dev_name(dev));
        if (error)
                goto out_device;

        return 0;

out_device:
        sysfs_remove_link(&dev->kobj, "device");

out_subsys:
        sysfs_remove_link(&dev->kobj, "subsystem");
out_devnode:
        sysfs_remove_link(&dev->kobj, "of_node");
        return error;
}

요청한 디바이스에 대해 of_node, subsystem 및 device 심볼 링크를 생성한다. 부모 디바이스에서는 <요청한 디바이스명>으로 심볼 링크를 생성한다.

  • 코드 라인 6~14에서 디바이스가 있는 디렉토리에서 디바이스 트리 노드로 “of_node” 파일명으로 심볼 링크를 연결한다.
    • 예) /sys/devices/platform/soc/foo/foo0/of_node -> /sys/firmware/devicetree/base/soc/foo/foo0@660a0000
  • 코드 라인 16~20에서 디바이스가 있는 디렉토리에서 클래스의 타입이 있는 디렉토리를 향하도록 “subsystem” 파일명으로 심볼 링크를 연결한다.
    • 예) /sys/devices/platform/soc/foo/foo0/subsystem -> /sys/class/foo타입
  • 코드 라인 22~27에서 디바이스가 파티션 타입이 아닌 경우 부모 디바이스가 있는 디렉토리로 연동되도록 “device” 파일명으로 심볼 링크를 연결한다.
    • 예) /sys/devices/platform/soc/foo/foo0/device -> /sys/devices/platform/soc/foo/foo0
  • 코드 라인 29~33에서 deprecated된 block 클래스 디바이스인 경우 성공(0) 결과로 그냥 함수를 빠져나간다.
    • CONFIG_SYSFS_DEPRECATED 또는 CONFIG_SYSFS_DEPRECATED_V2 커널 옵션을 사용하면 “/dev/block”을 사용하지 않게 한다.
  • 코드 라인 36~39에서 부모 디바이스에 해당하는 디렉토리에 현재 디바이스 디렉토리를 향하도록 <디바이스명> 파일명으로 심볼 링크를 연결한다.
    • 예) /sys/class/foo타입/foo0 -> /sys/devices/platform/soc/foo/foo0

 

다음 그림은 foo0디바이스와 클래스 및 디바이스에 해당하는 디바이스 트리 노드를 심볼 링크로 연결한 모습을 보여준다.

 

uevent 속성

커널에서 유저 application(udev)에게 디바이스의 hotplug 등의 변경 정보를 전달하기 위해 uevent 속성을 사용한다.

 

드라이버

동작 유형이 비슷한 디바이스들은 벤더에서 드라이버 코드를 작성할 때 하나의 드라이버에서 동작시킨다. 따라서 드라이버는 1개 이상의 디바이스들을 대상으로 동작한다.

 

driver_register()

drivers/base/driver.c

/**
 * driver_register - register driver with bus
 * @drv: driver to register
 *
 * We pass off most of the work to the bus_add_driver() call,
 * since most of the things we have to do deal with the bus
 * structures.
 */
int driver_register(struct device_driver *drv)
{
        int ret;
        struct device_driver *other;

        BUG_ON(!drv->bus->p);

        if ((drv->bus->probe && drv->probe) ||
            (drv->bus->remove && drv->remove) ||
            (drv->bus->shutdown && drv->shutdown))
                printk(KERN_WARNING "Driver '%s' needs updating - please use "
                        "bus_type methods\n", drv->name);

        other = driver_find(drv->name, drv->bus);
        if (other) {
                printk(KERN_ERR "Error: Driver '%s' is already registered, "
                        "aborting...\n", drv->name);
                return -EBUSY;
        }

        ret = bus_add_driver(drv);
        if (ret)
                return ret;
        ret = driver_add_groups(drv, drv->groups);
        if (ret) {
                bus_remove_driver(drv);
                return ret;
        }
        kobject_uevent(&drv->p->kobj, KOBJ_ADD);

        return ret;
}
EXPORT_SYMBOL_GPL(driver_register);

드라이버를 등록한다.

  • 코드 라인 16~20에서 드라이버 또는 버스에 probe, remove 또는 shutdown 후크 함수가 이미 구현된 경우 경고 메시지를 출력한다.
  • 코드 라인 22~27에서 버스에서 인자로 요청한 드라이버에 해당하는 이름으로 검색하여 발견되는 경우 드라이버가 이미 등록되었다는 에러 메시지를 출력하고 -EBUSY 에러를 반환한다.
  • 코드 라인 29~31에서 버스에 드라이버를 등록한다.
    • sysfs의 드라이버 디렉토리에 관련 속성들을 생성한다.
    • sysfs의 모듈 디렉토리에 관련 파라메터들을 생성한다.
  • 코드 라인 32~36에서 sysfs의 드라이버 디렉토리와 드라이버에 해당하는 속성들을 생성한다.
    • /sys/bus/<bus_name>/drivers/foo 디렉토리
  • 코드 라인 37에서 sysfs 드라이버 디렉토리에 uevent 속성도 추가한다.

 

아래 그림은 드라이버를 등록하는 과정에서  sysfs에 생성되는 디렉토리와 속성 파일들을 보여준다.

 

드라이버 하이라키 관리 정보

driver_private 구조체

drivers/base/base.h

struct driver_private {
        struct kobject kobj;
        struct klist klist_devices;
        struct klist_node knode_bus;
        struct module_kobject *mkobj;
        struct device_driver *driver;
};
  • kobj
    • 드라이버를 관리하는 kobject
  • klist_devices
    • 드라이버에 속한 디바이스들
  • knode_bus
    • 소속 버스 klist에 포함될 때 사용되는 klist_node
  • *mkobj
    • module_kobject를 가리킨다.
  • *driver
    • 자신 드라이버를 가리키는 포인터

 

드라이버 관련 API들

  • driver_for_each_device()
    • 드라이버에 소속된 디바이스드을 순회한다.
  • driver_find_device()
    • 드라이버에서 start 디바이스부터 시작하여 매치된 디바이스를 검색한다.
  • driver_create_file()
    • 드라이버 디렉토리를 생성하고 그 디렉토리 내부에 드라이버 속성 파일을 생성한다.
  • driver_remove_file()
    • 드라이버 디렉토리를 삭제한다.
  • driver_unregister()
    • 드라이버를 할당 해제한다.
  • driver_find()
    • 버스에서 요청 드라이버명으로 드라이버를 검색한다.

 

참고

 

do_initcalls()

<kernel v4.14>

do_initcalls()

init/main.c

static void __init do_initcalls(void)
{
        int level;

        for (level = 0; level < ARRAY_SIZE(initcall_levels) - 1; level++)
                do_initcall_level(level);
}

0 레벨부터  7 레벨까지 단계별로 *_initcall() 매크로 함수로 등록된 함수들을 모두 호출한다.

 

do_initcall_level()

init/main.c

static void __init do_initcall_level(int level)
{
        initcall_t *fn;

        strcpy(initcall_command_line, saved_command_line);
        parse_args(initcall_level_names[level],
                   initcall_command_line, __start___param,
                   __stop___param - __start___param,
                   level, level,
                   NULL, &repair_env_string);

        for (fn = initcall_levels[level]; fn < initcall_levels[level+1]; fn++)
                do_one_initcall(*fn);
}

커멘드 라인 파라메터들을 파싱하여 커널에 등록된 파라메터들 중 요청 레벨 및 이름이 모두 매치되는 파라메터를 해당함수를 호출하여 설정한다. 그 후 지정된 레벨에 등록된 initcall 함수들을 모두 호출한다.

 

do_one_initcall()

init/main.c

int __init_or_module do_one_initcall(initcall_t fn)
{
        int count = preempt_count();
        int ret;
        char msgbuf[64];

        if (initcall_blacklisted(fn))
                return -EPERM;

        if (initcall_debug)
                ret = do_one_initcall_debug(fn);
        else
                ret = fn();

        msgbuf[0] = 0;

        if (preempt_count() != count) {
                sprintf(msgbuf, "preemption imbalance ");
                preempt_count_set(count);
        }
        if (irqs_disabled()) {
                strlcat(msgbuf, "disabled interrupts ", sizeof(msgbuf));
                local_irq_enable();
        }
        WARN(msgbuf[0], "initcall %pF returned with %s\n", fn, msgbuf);

        add_latent_entropy();
        return ret;
}

initcall 함수 하나를 호출한다. 커널 파라메터를 사용하여 블랙리스트에 등록된 함수들은 실행하지 않는다.

 

initcall 레벨별 주요 파라메터

각 단계별 주요 파라메터명 및 호출 함수를 확인해보자. 참고로 현재 커널 소스에는 0레벨과 1레벨만 등록하여 사용하고 있다.

  •  레벨 0: 이 레벨은 셋업 함수와 연동된다.
    • early_param(“earlycon”, param_setup_earlycon);
    • early_param(“cma”, early_cma);
    • early_param(“sysfs.deprecated”, sysfs_deprecated_setup);
    • early_param(“kgdbdbgp”, kgdbdbgp_parse_config);
  • 레벨 1: 이 레벨은 변수와 연동된다.
    • core_param(panic, panic_timeout, int, 0644);
    • core_param(irqtime, irqtime, int, 0400);
    • core_param(nomodule, modules_disabled, bint, 0);
    • core_param(module_blacklist, module_blacklist, charp, 0400);
    • core_param(consoleblank, blankinterval, int, 0444);
    • core_param(initcall_debug, initcall_debug, bool, 0644);
  • 참고

 

각 단계별 initcall에 해당하는 이름은 다음에서 확인할 수 있다.

init/main.c

/* Keep these in sync with initcalls in include/linux/init.h */
static char *initcall_level_names[] __initdata = {
        "early",
        "core",
        "postcore",
        "arch",
        "subsys",
        "fs",
        "device",
        "late",
};

 

레벨별 initcall 함수가 모여있는 섹션의 시작 위치를 담은 배열은 다음에서 확인할 수 있다.

init/main.c

static initcall_t *initcall_levels[] __initdata = {
        __initcall0_start,
        __initcall1_start,
        __initcall2_start,
        __initcall3_start,
        __initcall4_start,
        __initcall5_start,
        __initcall6_start,
        __initcall7_start,
        __initcall_end,
};

 

initcall 섹션

initcall 함수들이 위치하는 곳은 컴파일 타임에 .init.data 섹션의 INIT_CALLS 매크로 자리에 위치하게된다.

arch/arm64/kernel/vmlinux.lds.S

...
        .init.data : {
                INIT_DATA
                INIT_SETUP(16)
                INIT_CALLS
                CON_INITCALL
                SECURITY_INITCALL
                INIT_RAM_FS
                *(.init.rodata.* .init.bss)     /* from the EFI stub */
        }
...

 

INIT_CALLS 매크로에는 early, 0~5, rootfs, 6, 7 레벨에 해당하는 함수들의 주소가 적재된다.

include/asm-generic/vmlinux.lds.h

#define INIT_CALLS                                                      \
                VMLINUX_SYMBOL(__initcall_start) = .;                   \
                KEEP(*(.initcallearly.init))                            \
                INIT_CALLS_LEVEL(0)                                     \
                INIT_CALLS_LEVEL(1)                                     \
                INIT_CALLS_LEVEL(2)                                     \
                INIT_CALLS_LEVEL(3)                                     \
                INIT_CALLS_LEVEL(4)                                     \
                INIT_CALLS_LEVEL(5)                                     \
                INIT_CALLS_LEVEL(rootfs)                                \
                INIT_CALLS_LEVEL(6)                                     \
                INIT_CALLS_LEVEL(7)                                     \
                VMLINUX_SYMBOL(__initcall_end) = .;

 

다음 매크로 함수에서 해당 레벨의 initcall 시작 심볼에 주소가 담기고, initcall 함수들 주소가 적재되는 섹션 위치를 알 수 있다.

include/asm-generic/vmlinux.lds.h

#define INIT_CALLS_LEVEL(level)                                         \
                VMLINUX_SYMBOL(__initcall##level##_start) = .;          \
                KEEP(*(.initcall##level##.init))                        \
                KEEP(*(.initcall##level##s.init))                       \

 

initcall 함수 등록

다음은 레벨 0보다 먼저 시작되어야 할 early 함수들이 컴파일 타임에 정적으로 등록하는 매크로 함수이다.

include/linux/init.h

/*
 * Early initcalls run before initializing SMP.
 *
 * Only for built-in code, not modules.
 */
#define early_initcall(fn)              __define_initcall(fn, early)

 

다음 매크로 함수는 컴파일된 호출 함수의 주소를 해당 레벨의 섹션 위치에 저장한다. (함수 포인터 하나를 저장한다)

include/linux/init.h

/*
 * initcalls are now grouped by functionality into separate
 * subsections. Ordering inside the subsections is determined
 * by link order. 
 * For backwards compatibility, initcall() puts the call in 
 * the device init subsection.
 *
 * The `id' arg to __define_initcall() is needed so that multiple initcalls
 * can point at the same handler without causing duplicate-symbol build errors.
 *
 * Initcalls are run by placing pointers in initcall sections that the
 * kernel iterates at runtime. The linker can do dead code / data elimination
 * and remove that completely, so the initcall sections have to be marked
 * as KEEP() in the linker script.
 */

#define __define_initcall(fn, id) \
        static initcall_t __initcall_##fn##id __used \
        __attribute__((__section__(".initcall" #id ".init"))) = fn;

 

다음 매크로 함수들은 initcall 함수들의 주소를 해당 레벨의 위치에 저장한다. (함수 포인터 하나를 저장한다)

include/linux/init.h

/*
 * A "pure" initcall has no dependencies on anything else, and purely
 * initializes variables that couldn't be statically initialized.
 *
 * This only exists for built-in code, not for modules.
 * Keep main.c:initcall_level_names[] in sync.
 */
#define pure_initcall(fn)               __define_initcall(fn, 0)

#define core_initcall(fn)               __define_initcall(fn, 1)
#define core_initcall_sync(fn)          __define_initcall(fn, 1s)
#define postcore_initcall(fn)           __define_initcall(fn, 2)
#define postcore_initcall_sync(fn)      __define_initcall(fn, 2s)
#define arch_initcall(fn)               __define_initcall(fn, 3)
#define arch_initcall_sync(fn)          __define_initcall(fn, 3s)
#define subsys_initcall(fn)             __define_initcall(fn, 4)
#define subsys_initcall_sync(fn)        __define_initcall(fn, 4s)
#define fs_initcall(fn)                 __define_initcall(fn, 5)
#define fs_initcall_sync(fn)            __define_initcall(fn, 5s)
#define rootfs_initcall(fn)             __define_initcall(fn, rootfs)
#define device_initcall(fn)             __define_initcall(fn, 6)
#define device_initcall_sync(fn)        __define_initcall(fn, 6s)
#define late_initcall(fn)               __define_initcall(fn, 7)
#define late_initcall_sync(fn)          __define_initcall(fn, 7s)

 

console에 대한 initcall이 별도로 정의되고 저장되는 위치도 별도로 두었다.

include/linux/init.h

#define console_initcall(fn)                                    \
        static initcall_t __initcall_##fn                       \
        __used __section(.con_initcall.init) = fn

 

initcall 레벨별 주요 호출 함수

다음은 QEMU에서 arm64 커널을 동작시킬 때 호출되는 initcall들이다.

 

early 레벨: early_initcall()

[    0.049844] initcall cpu_suspend_init+0x0/0x4c returned 0 after 0 usecs
[    0.050052] initcall asids_init+0x0/0xd0 returned 0 after 0 usecs
[    0.050120] initcall xen_guest_init+0x0/0x2e4 returned 0 after 0 usecs
[    0.060595] initcall spawn_ksoftirqd+0x0/0x50 returned 0 after 7812 usecs
[    0.060665] initcall migration_init+0x0/0x4c returned 0 after 0 usecs
[    0.060711] initcall check_cpu_stall_init+0x0/0x2c returned 0 after 0 usecs
[    0.060787] initcall srcu_bootup_announce+0x0/0x40 returned 0 after 0 usecs
[    0.061902] initcall rcu_spawn_gp_kthread+0x0/0x12c returned 0 after 0 usecs
[    0.072857] initcall cpu_stop_init+0x0/0xd4 returned 0 after 7812 usecs
[    0.072966] initcall jump_label_init_module+0x0/0x1c returned 0 after 0 usecs
[    0.073171] initcall its_pci_msi_init+0x0/0xc4 returned 0 after 0 usecs
[    0.073286] initcall its_pmsi_init+0x0/0xa8 returned 0 after 0 usecs
[    0.073394] initcall renesas_soc_init+0x0/0x214 returned -19 after 0 usecs
[    0.073566] initcall rcar_sysc_pd_init+0x0/0x2f0 returned -19 after 0 usecs
[    0.073800] initcall tegra_init_fuse+0x0/0x18c returned 0 after 0 usecs
[    0.073928] initcall tegra_flowctrl_init+0x0/0xc8 returned 0 after 0 usecs
[    0.074271] initcall tegra_pmc_early_init+0x0/0x58c returned 0 after 0 usecs
[    0.075707] initcall rand_initialize+0x0/0x128 returned 0 after 0 usecs
[    0.075794] initcall arm_enable_runtime_services+0x0/0x1fc returned 0 after 0 usecs
[    0.075943] initcall dummy_timer_register+0x0/0x34 returned 0 after 0 usecs

 

0 레벨: pure_initcall()

<pre “>[ 0.190141] initcall ipc_ns_init+0x0/0x68 returned 0 after 0 usecs [ 0.190196] initcall init_mmap_min_addr+0x0/0x18 returned 0 after 0 usecs [ 0.190316] initcall init_cpufreq_transition_notifier_list+0x0/0x34 returned 0 after 0 usecs [ 0.190369] initcall jit_init+0x0/0x8 returned 0 after 0 usecs [ 0.192294] initcall net_ns_init+0x0/0x154 returned 0 after 3906 usecs

 

1 레벨: core_initcall()

[    0.192760] initcall fpsimd_init+0x0/0x80 returned 0 after 0 usecs
[    0.192834] initcall enable_mrs_emulation+0x0/0x24 returned 0 after 0 usecs
[    0.193145] initcall map_entry_trampoline+0x0/0x128 returned 0 after 0 usecs
[    0.193216] initcall cpu_hotplug_pm_sync_init+0x0/0x24 returned 0 after 0 usecs
[    0.193252] initcall alloc_frozen_cpus+0x0/0x8 returned 0 after 0 usecs
[    0.193811] initcall wq_sysfs_init+0x0/0x40 returned 0 after 0 usecs
[    0.194052] initcall ksysfs_init+0x0/0xc0 returned 0 after 0 usecs
[    0.194327] initcall pm_init+0x0/0x80 returned 0 after 0 usecs
[    0.194407] initcall pm_disk_init+0x0/0x24 returned 0 after 0 usecs
[    0.195198] initcall swsusp_header_init+0x0/0x40 returned 0 after 0 usecs
[    0.195239] initcall rcu_set_runtime_mode+0x0/0x14 returned 0 after 0 usecs
[    0.195364] initcall init_jiffies_clocksource+0x0/0x24 returned 0 after 0 usecs
[    0.195683] initcall futex_init+0x0/0xfc returned 0 after 0 usecs
[    0.195819] initcall cgroup_wq_init+0x0/0x40 returned 0 after 0 usecs
[    0.195967] initcall cgroup1_wq_init+0x0/0x40 returned 0 after 0 usecs
[    0.196044] initcall cpu_pm_init+0x0/0x20 returned 0 after 0 usecs
[    0.196439] initcall init_per_zone_wmark_min+0x0/0x8c returned 0 after 0 usecs
[    0.196484] initcall init_zero_pfn+0x0/0x28 returned 0 after 0 usecs
[    0.197700] initcall cma_init_reserved_areas+0x0/0x1c4 returned 0 after 0 usecs
[    0.197821] initcall fsnotify_init+0x0/0x54 returned 0 after 0 usecs
[    0.197966] initcall filelock_init+0x0/0xbc returned 0 after 0 usecs
[    0.198259] initcall init_script_binfmt+0x0/0x24 returned 0 after 0 usecs
[    0.198304] initcall init_elf_binfmt+0x0/0x24 returned 0 after 0 usecs
[    0.198344] initcall init_compat_elf_binfmt+0x0/0x24 returned 0 after 0 usecs
[    0.198470] initcall configfs_init+0x0/0xb8 returned 0 after 0 usecs
[    0.198551] initcall debugfs_init+0x0/0x78 returned 0 after 0 usecs
[    0.198684] initcall prandom_init+0x0/0x154 returned 0 after 0 usecs
[    0.200146] initcall pinctrl_init+0x0/0xc0 returned 0 after 3906 usecs
[    0.200434] initcall gpiolib_dev_init+0x0/0xf4 returned 0 after 0 usecs
[    0.201001] initcall hi3516cv300_crg_init+0x0/0x20 returned 0 after 0 usecs
[    0.201145] initcall hi3519_clk_init+0x0/0x20 returned 0 after 0 usecs
[    0.201288] initcall hi3660_clk_init+0x0/0x20 returned 0 after 0 usecs
[    0.201408] initcall hi3798cv200_crg_init+0x0/0x20 returned 0 after 0 usecs
[    0.201534] initcall gcc_ipq8074_init+0x0/0x20 returned 0 after 0 usecs
[    0.201667] initcall gcc_msm8916_init+0x0/0x20 returned 0 after 0 usecs
[    0.201895] initcall gcc_msm8994_init+0x0/0x20 returned 0 after 0 usecs
[    0.202030] initcall gcc_msm8996_init+0x0/0x20 returned 0 after 0 usecs
[    0.202150] initcall rpm_smd_clk_init+0x0/0x20 returned 0 after 0 usecs
[    0.202295] initcall vexpress_osc_init+0x0/0x20 returned 0 after 0 usecs
[    0.202416] initcall zx_clk_init+0x0/0x20 returned 0 after 0 usecs
[    0.202539] initcall fsl_guts_init+0x0/0x20 returned 0 after 0 usecs
[    0.202866] initcall exynos4_pm_init_power_domain+0x0/0x2fc returned 0 after 0 usecs
[    0.203028] initcall virtio_init+0x0/0x30 returned 0 after 0 usecs
[    0.208022] initcall regulator_init+0x0/0xb0 returned 0 after 3906 usecs
[    0.208149] initcall iommu_init+0x0/0x3c returned 0 after 0 usecs
[    0.208221] initcall opp_debug_init+0x0/0x50 returned 0 after 0 usecs
[    0.208275] initcall dma_init_reserved_memory+0x0/0x60 returned -12 after 0 usecs
[    0.208417] initcall soc_bus_register+0x0/0x50 returned 0 after 0 usecs
[    0.208460] initcall register_cpufreq_notifier+0x0/0x54 returned -22 after 0 usecs
[    0.208668] initcall vexpress_syscfg_init+0x0/0x20 returned 0 after 0 usecs
[    0.208871] initcall vexpress_sysreg_init+0x0/0x70 returned 0 after 0 usecs
[    0.208958] initcall cpufreq_core_init+0x0/0x68 returned 0 after 0 usecs
[    0.209296] initcall cpuidle_init+0x0/0x54 returned 0 after 3906 usecs
[    0.209354] initcall capsule_reboot_register+0x0/0x20 returned 0 after 0 usecs
[    0.209450] initcall arm_dmi_init+0x0/0x28 returned 0 after 0 usecs
[    0.209628] initcall tegra_bpmp_init+0x0/0x20 returned 0 after 0 usecs
[    0.209779] initcall hi6220_mbox_init+0x0/0x20 returned 0 after 0 usecs
[    0.209914] initcall tegra_hsp_init+0x0/0x20 returned 0 after 0 usecs
[    0.213400] initcall sock_init+0x0/0xc0 returned 0 after 0 usecs
[    0.213537] initcall net_inuse_init+0x0/0x30 returned 0 after 0 usecs
[    0.213591] initcall net_defaults_init+0x0/0x30 returned 0 after 0 usecs
[    0.213715] initcall init_default_flow_dissectors+0x0/0x54 returned 0 after 0 usecs
[    0.229426] initcall netlink_proto_init+0x0/0x174 returned 0 after 15625 usecs

 

1 레벨: early_initcall_sync()

core_s
[    0.229483] initcall __gnttab_init+0x0/0x40 returned -19 after 0 usecs

 

2 레벨: postcore_initcall()

postcore
[    0.230197] initcall debug_monitors_init+0x0/0x38 returned 0 after 0 usecs
[    0.230610] initcall irq_sysfs_init+0x0/0xb4 returned 0 after 0 usecs
[    0.230880] initcall bdi_class_init+0x0/0x74 returned 0 after 0 usecs
[    0.230961] initcall mm_sysfs_init+0x0/0x3c returned 0 after 0 usecs
[    0.231166] initcall irqc_init+0x0/0x20 returned 0 after 0 usecs
[    0.231314] initcall vexpress_config_init+0x0/0xec returned 0 after 0 usecs
[    0.231499] initcall rockchip_pinctrl_drv_register+0x0/0x20 returned 0 after 0 usecs
[    0.231655] initcall samsung_pinctrl_drv_register+0x0/0x20 returned 0 after 0 usecs
[    0.231796] initcall sh_pfc_init+0x0/0x20 returned 0 after 0 usecs
[    0.231983] initcall gpiolib_sysfs_init+0x0/0xbc returned 0 after 0 usecs
[    0.232120] initcall tegra_gpio_init+0x0/0x20 returned 0 after 0 usecs
[    0.232222] initcall pcibus_class_init+0x0/0x24 returned 0 after 0 usecs
[    0.232382] initcall pci_driver_init+0x0/0x1c returned 0 after 0 usecs
[    0.232868] initcall backlight_class_init+0x0/0xc0 returned 0 after 0 usecs
[    0.233041] initcall amba_init+0x0/0x1c returned 0 after 0 usecs
[    0.233340] initcall rockchip_grf_init+0x0/0xf8 returned -19 after 0 usecs
[    0.233859] initcall rockchip_pm_domain_drv_register+0x0/0x20 returned 0 after 3906 usecs
[    0.234031] initcall exynos_pmu_init+0x0/0x20 returned 0 after 0 usecs
[    0.234103] initcall xenbus_init+0x0/0x2e8 returned -19 after 0 usecs
[    0.234250] initcall hi6220_reset_init+0x0/0x20 returned 0 after 0 usecs
[    0.234383] initcall tty_class_init+0x0/0x54 returned 0 after 0 usecs
[    0.234848] initcall vtconsole_class_init+0x0/0xfc returned 0 after 0 usecs
[    0.235077] initcall serdev_init+0x0/0x2c returned 0 after 0 usecs
[    0.235173] initcall iommu_dev_init+0x0/0x24 returned 0 after 0 usecs
[    0.235304] initcall mipi_dsi_bus_init+0x0/0x1c returned 0 after 0 usecs
[    0.235389] initcall wakeup_sources_debugfs_init+0x0/0x34 returned 0 after 0 usecs
[    0.235634] initcall register_node_type+0x0/0x20 returned 0 after 0 usecs
[    0.235745] initcall regmap_initcall+0x0/0x18 returned 0 after 0 usecs
[    0.235935] initcall sram_init+0x0/0x20 returned 0 after 0 usecs
[    0.236071] initcall syscon_init+0x0/0x24 returned 0 after 0 usecs
[    0.236334] initcall spi_init+0x0/0xac returned 0 after 0 usecs
[    0.236476] initcall spmi_init+0x0/0x30 returned 0 after 0 usecs
[    0.237354] initcall i2c_init+0x0/0xf0 returned 0 after 0 usecs
[    0.239930] initcall init_menu+0x0/0x1c returned 0 after 3906 usecs
[    0.239996] initcall pcc_init+0x0/0x3dc returned -19 after 0 usecs
[    0.240204] initcall qcom_hwspinlock_init+0x0/0x20 returned 0 after 0 usecs
[    0.240377] initcall rpmsg_init+0x0/0x4c returned 0 after 0 usecs
[    0.240680] initcall kobject_uevent_init+0x0/0x20 returned 0 after 0 usecs

 

2 레벨: postcore_initcall_sync()

[    0.241128] initcall of_iommu_init+0x0/0x88 returned 0 after 0 usecs

 

3 레벨: arch_initcall()

[    0.241563] initcall debug_traps_init+0x0/0x54 returned 0 after 0 usecs
[    0.241706] initcall vdso_init+0x0/0x150 returned 0 after 0 usecs
[    0.245891] initcall alloc_vectors_page+0x0/0xb4 returned 0 after 3906 usecs
[    0.246968] initcall arch_hw_breakpoint_init+0x0/0xf8 returned 0 after 0 usecs
[    0.247140] initcall __iommu_dma_init+0x0/0x14 returned 0 after 0 usecs
[    0.259147] initcall arm64_dma_init+0x0/0x48 returned 0 after 11718 usecs
[    0.259212] initcall p2m_init+0x0/0x18 returned 0 after 0 usecs
[    0.259253] initcall xen_mm_init+0x0/0x94 returned 0 after 0 usecs
[    0.260103] initcall ns2_pinmux_init+0x0/0x20 returned 0 after 0 usecs
[    0.260459] initcall ipq8074_pinctrl_init+0x0/0x20 returned 0 after 0 usecs
[    0.261524] initcall msm8916_pinctrl_init+0x0/0x20 returned 0 after 3906 usecs
[    0.262042] initcall msm8994_pinctrl_init+0x0/0x20 returned 0 after 0 usecs
[    0.262422] initcall msm8996_pinctrl_init+0x0/0x20 returned 0 after 0 usecs
[    0.262996] initcall qdf2xxx_pinctrl_init+0x0/0x20 returned 0 after 0 usecs
[    0.263438] initcall mtk_pinctrl_init+0x0/0x20 returned 0 after 0 usecs
[    0.263553] initcall acpi_pci_init+0x0/0x80 returned 0 after 0 usecs
[    0.264249] initcall clk_mt6797_init+0x0/0x20 returned 0 after 0 usecs
[    0.264306] initcall tegra_clocks_apply_init_table+0x0/0x2c returned 0 after 0 usecs
[    0.264978] initcall dma_bus_init+0x0/0xf4 returned 0 after 0 usecs
[    0.265462] initcall dma_channel_table_init+0x0/0x108 returned 0 after 0 usecs
[    0.266509] initcall qcom_smd_rpm_init+0x0/0x24 returned 0 after 0 usecs
[    0.268196] initcall qcom_smem_init+0x0/0x20 returned 0 after 3906 usecs
[    0.268251] initcall setup_vcpu_hotplug_event+0x0/0x34 returned -19 after 0 usecs
[    0.268300] initcall register_xen_amba_notifier+0x0/0x5c returned 0 after 0 usecs
[    0.268343] initcall register_xen_platform_notifier+0x0/0x58 returned 0 after 0 usecs
[    0.268381] initcall register_xen_pci_notifier+0x0/0x4c returned 0 after 0 usecs
[    0.268908] initcall hi3660_reset_init+0x0/0x20 returned 0 after 0 usecs
[    0.269749] initcall pl011_init+0x0/0x54 returned 0 after 0 usecs
[    0.271510] initcall mvebu_uart_init+0x0/0x60 returned 0 after 3906 usecs
[    0.271566] initcall dmi_id_init+0x0/0x334 returned -19 after 0 usecs

 

3 레벨: arch_initcall_sync()

[    0.272148] initcall iproc_gpio_init+0x0/0x20 returned 0 after 0 usecs
[    0.374345] initcall of_platform_default_populate_init+0x0/0x78 returned 0 after 85937 usecs

 

4 레벨: subsys_initcall()

[    0.379095] initcall topology_init+0x0/0xf4 returned 0 after 3906 usecs
[    0.379245] initcall uid_cache_init+0x0/0xa8 returned 0 after 0 usecs
[    0.547249] initcall param_sysfs_init+0x0/0x1b4 returned 0 after 140625 usecs
[    0.547505] initcall user_namespace_sysctl_init+0x0/0x4c returned 0 after 0 usecs
[    0.554072] initcall pm_sysrq_init+0x0/0x24 returned 0 after 3906 usecs
[    0.554137] initcall create_proc_profile+0x0/0xe8 returned 0 after 0 usecs
[    0.554859] initcall crash_save_vmcoreinfo_init+0x0/0x52c returned 0 after 0 usecs
[    0.554941] initcall crash_notes_memory_init+0x0/0x3c returned 0 after 0 usecs
[    0.554978] initcall cgroup_namespaces_init+0x0/0x8 returned 0 after 0 usecs
[    0.555111] initcall user_namespaces_init+0x0/0x38 returned 0 after 0 usecs
[    0.568422] initcall oom_init+0x0/0x6c returned 0 after 11718 usecs
[    0.570858] initcall default_bdi_init+0x0/0xa4 returned 0 after 0 usecs
[    0.570911] initcall percpu_enable_async+0x0/0x14 returned 0 after 0 usecs
[    0.571306] initcall kcompactd_init+0x0/0xbc returned 0 after 0 usecs
[    0.571350] initcall init_reserve_notifier+0x0/0x8 returned 0 after 0 usecs
[    0.571413] initcall init_admin_reserve+0x0/0x30 returned 0 after 0 usecs
[    0.571459] initcall init_user_reserve+0x0/0x30 returned 0 after 0 usecs
[    0.571562] initcall swap_init_sysfs+0x0/0x78 returned 0 after 0 usecs
[    0.572016] initcall swapfile_init+0x0/0xd8 returned 0 after 3906 usecs
[    0.573415] initcall hugetlb_init+0x0/0x47c returned 0 after 0 usecs
[    0.574489] initcall ksm_init+0x0/0x194 returned 0 after 0 usecs
[    0.575332] initcall hugepage_init+0x0/0x158 returned 0 after 0 usecs
[    0.575419] initcall mem_cgroup_swap_init+0x0/0x7c returned 0 after 0 usecs
[    0.575725] initcall mem_cgroup_init+0x0/0x190 returned 0 after 0 usecs
[    0.576955] initcall crypto_wq_init+0x0/0x44 returned 0 after 3906 usecs
[    0.577026] initcall cryptomgr_init+0x0/0x1c returned 0 after 0 usecs
[    0.577257] initcall cryptd_init+0x0/0xe4 returned 0 after 0 usecs
[    0.578228] initcall init_bio+0x0/0xec returned 0 after 0 usecs
[    0.578280] initcall blk_settings_init+0x0/0x30 returned 0 after 0 usecs
[    0.578363] initcall blk_ioc_init+0x0/0x38 returned 0 after 0 usecs
[    0.578458] initcall blk_softirq_init+0x0/0xa4 returned 0 after 0 usecs
[    0.578503] initcall blk_mq_init+0x0/0x38 returned 0 after 0 usecs
[    0.582086] initcall genhd_device_init+0x0/0x94 returned 0 after 3906 usecs
[    0.582163] initcall gpiolib_debugfs_init+0x0/0x38 returned 0 after 0 usecs
[    0.582368] initcall pca953x_init+0x0/0x20 returned 0 after 0 usecs
[    0.582445] initcall pwm_debugfs_init+0x0/0x38 returned 0 after 0 usecs
[    0.582551] initcall pwm_sysfs_init+0x0/0x28 returned 0 after 0 usecs
[    0.582644] initcall pci_slot_init+0x0/0x58 returned 0 after 0 usecs
[    0.583008] initcall xgene_pcie_msi_init+0x0/0x20 returned 0 after 0 usecs
[    0.583917] initcall fbmem_init+0x0/0x100 returned 0 after 0 usecs
[    0.584243] initcall acpi_init+0x0/0x334 returned -19 after 0 usecs
[    0.584436] initcall pnp_init+0x0/0x1c returned 0 after 0 usecs
[    0.584679] initcall s2mps11_clk_init+0x0/0x20 returned 0 after 0 usecs
[    0.584993] initcall hi6220_stub_clk_init+0x0/0x20 returned 0 after 0 usecs
[    0.586440] initcall cpg_mssr_init+0x0/0x28 returned -19 after 3906 usecs
[    0.586493] initcall balloon_init+0x0/0xd8 returned -19 after 0 usecs
[    0.586547] initcall xen_setup_shutdown_event+0x0/0x48 returned -19 after 0 usecs
[    0.586756] initcall xenbus_probe_backend_init+0x0/0x3c returned 0 after 0 usecs
[    0.586908] initcall xenbus_probe_frontend_init+0x0/0x3c returned 0 after 0 usecs
[    0.587323] initcall regulator_fixed_voltage_init+0x0/0x20 returned 0 after 0 usecs
[    0.587637] initcall gpio_regulator_init+0x0/0x20 returned 0 after 0 usecs
[    0.588079] initcall rpm_reg_init+0x0/0x20 returned 0 after 0 usecs
[    0.593126] initcall misc_init+0x0/0xe4 returned 0 after 3906 usecs
[    0.593282] initcall rk_iommu_init+0x0/0x9c returned 0 after 0 usecs
[    0.594535] initcall vga_arb_device_init+0x0/0xfc returned 0 after 0 usecs
[    0.594650] initcall register_cpu_capacity_sysctl+0x0/0x98 returned 0 after 0 usecs
[    0.595211] initcall sec_pmic_init+0x0/0x20 returned 0 after 0 usecs
[    0.595352] initcall dma_buf_init+0x0/0x98 returned 0 after 0 usecs
[    0.602516] initcall init_scsi+0x0/0x8c returned 0 after 7812 usecs
[    0.609111] initcall ata_init+0x0/0x338 returned 0 after 3906 usecs
[    0.609302] initcall pl022_init+0x0/0x1c returned 0 after 0 usecs
[    0.609785] initcall phy_init+0x0/0x78 returned 0 after 0 usecs
[    0.609921] initcall hnae_init+0x0/0x40 returned 0 after 0 usecs
[    0.613279] initcall usb_init+0x0/0x180 returned 0 after 3906 usecs
[    0.613813] initcall usb_phy_generic_init+0x0/0x20 returned 0 after 0 usecs
[    0.614019] initcall usb_udc_init+0x0/0x64 returned 0 after 0 usecs
[    0.614263] initcall serio_init+0x0/0x44 returned 0 after 0 usecs
[    0.615323] initcall input_init+0x0/0x128 returned 0 after 0 usecs
[    0.615478] initcall rtc_init+0x0/0x68 returned 0 after 0 usecs
[    0.616360] initcall dw_i2c_init_driver+0x0/0x20 returned 0 after 3906 usecs
[    0.617258] initcall i2c_adap_imx_init+0x0/0x20 returned 0 after 0 usecs
[    0.617753] initcall i2c_adap_pxa_init+0x0/0x20 returned 0 after 0 usecs
[    0.618487] initcall sh_mobile_i2c_adap_init+0x0/0x20 returned 0 after 0 usecs
[    0.619106] initcall tegra_i2c_init_driver+0x0/0x20 returned 0 after 0 usecs
[    0.635798] initcall pps_init+0x0/0xd0 returned 0 after 15625 usecs
[    0.636361] initcall ptp_init+0x0/0xb0 returned 0 after 0 usecs
[    0.636891] initcall brcmstb_reboot_init+0x0/0x28 returned -19 after 0 usecs
[    0.637068] initcall power_supply_class_init+0x0/0x60 returned 0 after 0 usecs
[    0.637178] initcall hwmon_init+0x0/0x48 returned 0 after 0 usecs
[    0.640240] initcall edac_init+0x0/0x90 returned 0 after 3906 usecs
[    0.640770] initcall mmc_init+0x0/0x4c returned 0 after 0 usecs
[    0.640921] initcall leds_init+0x0/0x5c returned 0 after 0 usecs
[    0.641354] initcall dmi_init+0x0/0x11c returned -61 after 0 usecs
[    0.641474] initcall qcom_scm_init+0x0/0x7c returned -19 after 0 usecs
[    0.641544] initcall efisubsys_init+0x0/0x26c returned 0 after 0 usecs
[    0.641590] initcall register_gop_device+0x0/0x64 returned 0 after 0 usecs
[    0.642107] initcall qcom_smd_init+0x0/0x24 returned 0 after 0 usecs
[    0.642548] initcall iio_init+0x0/0xac returned 0 after 0 usecs
[    0.642650] initcall arm_pmu_hp_init+0x0/0x60 returned 0 after 0 usecs
[    0.642717] initcall arm_pmu_acpi_init+0x0/0x1e8 returned 0 after 0 usecs
[    0.642957] initcall ras_init+0x0/0x18 returned 0 after 0 usecs
[    0.643260] initcall nvmem_init+0x0/0x20 returned 0 after 0 usecs
[    0.645159] initcall tee_init+0x0/0xac returned 0 after 0 usecs
[    0.646417] initcall init_soundcore+0x0/0x58 returned 0 after 0 usecs
[    0.648290] initcall alsa_sound_init+0x0/0xb8 returned 0 after 0 usecs
[    0.653378] initcall proto_init+0x0/0x1c returned 0 after 3906 usecs
[    0.659593] initcall net_dev_init+0x0/0x1f4 returned 0 after 7812 usecs
[    0.659668] initcall neigh_init+0x0/0xa0 returned 0 after 0 usecs
[    0.659724] initcall fib_notifier_init+0x0/0x1c returned 0 after 0 usecs
[    0.660292] initcall genl_init+0x0/0x4c returned 0 after 0 usecs
[    0.660368] initcall ipv4_netfilter_init+0x0/0x1c returned 0 after 0 usecs

 

4 레벨: subsys_initcall_sync()

[    0.663834] initcall watchdog_init+0x0/0x90 returned 0 after 3906 usecs

 

5 레벨: fs_initcall()

[    0.664462] initcall create_debug_debugfs_entry+0x0/0x30 returned 0 after 0 usecs
[    0.664502] initcall dma_debug_do_init+0x0/0x8 returned 0 after 0 usecs
[    0.666317] initcall clocksource_done_booting+0x0/0x58 returned 0 after 1403 usecs
[    0.668279] initcall init_pipe_fs+0x0/0x60 returned 0 after 1855 usecs
[    0.668480] initcall cgroup_writeback_init+0x0/0x44 returned 0 after 142 usecs
[    0.668640] initcall inotify_user_setup+0x0/0x5c returned 0 after 106 usecs
[    0.668859] initcall eventpoll_init+0x0/0xd4 returned 0 after 164 usecs
[    0.670573] initcall anon_inode_init+0x0/0x6c returned 0 after 1616 usecs
[    0.670691] initcall proc_locks_init+0x0/0x34 returned 0 after 67 usecs
[    0.671856] initcall dquot_init+0x0/0x168 returned 0 after 1091 usecs
[    0.671952] initcall proc_cmdline_init+0x0/0x30 returned 0 after 54 usecs
[    0.672014] initcall proc_consoles_init+0x0/0x30 returned 0 after 23 usecs
[    0.672079] initcall proc_cpuinfo_init+0x0/0x30 returned 0 after 25 usecs
[    0.672162] initcall proc_devices_init+0x0/0x30 returned 0 after 25 usecs
[    0.672222] initcall proc_interrupts_init+0x0/0x30 returned 0 after 22 usecs
[    0.672284] initcall proc_loadavg_init+0x0/0x30 returned 0 after 23 usecs
[    0.672371] initcall proc_meminfo_init+0x0/0x30 returned 0 after 47 usecs
[    0.672436] initcall proc_stat_init+0x0/0x30 returned 0 after 26 usecs
[    0.672499] initcall proc_uptime_init+0x0/0x30 returned 0 after 22 usecs
[    0.672563] initcall proc_version_init+0x0/0x30 returned 0 after 24 usecs
[    0.672623] initcall proc_softirqs_init+0x0/0x30 returned 0 after 21 usecs
[    0.672724] initcall vmcore_init+0x0/0x580 returned 0 after 60 usecs
[    0.672790] initcall proc_kmsg_init+0x0/0x30 returned 0 after 26 usecs
[    0.672876] initcall proc_page_init+0x0/0x6c returned 0 after 45 usecs
[    0.672922] initcall init_ramfs_fs+0x0/0x3c returned 0 after 9 usecs
[    0.674538] initcall init_hugetlbfs_fs+0x0/0x158 returned 0 after 1522 usecs
[    0.674614] initcall blk_scsi_ioctl_init+0x0/0xa4 returned 0 after 25 usecs
[    0.674675] initcall acpi_event_init+0x0/0x44 returned 0 after 17 usecs
[    0.674947] initcall pnp_system_init+0x0/0x1c returned 0 after 222 usecs
[    0.675284] initcall pnpacpi_init+0x0/0x8c returned 0 after 288 usecs
[    0.742028] initcall chr_dev_init+0x0/0xcc returned 0 after 65106 usecs
[    0.742135] initcall firmware_class_init+0x0/0xb8 returned 0 after 51 usecs
[    0.744481] initcall thermal_init+0x0/0xec returned 0 after 2218 usecs
[    0.744617] initcall cpufreq_gov_performance_init+0x0/0x1c returned 0 after 72 usecs
[    0.744849] initcall sysctl_core_init+0x0/0x40 returned 0 after 184 usecs
[    0.744974] initcall eth_offload_init+0x0/0x20 returned 0 after 68 usecs
[    0.776668] initcall inet_init+0x0/0x260 returned 0 after 30887 usecs
[    0.776794] initcall ipv4_offload_init+0x0/0x80 returned 0 after 72 usecs
[    0.778001] initcall af_unix_init+0x0/0x64 returned 0 after 1119 usecs
[    0.778153] initcall ipv6_offload_init+0x0/0x84 returned 0 after 104 usecs
[    0.787329] initcall init_sunrpc+0x0/0x84 returned 0 after 8894 usecs

 

5 레벨: fs_initcall_sync()

[    0.787473] initcall pci_apply_final_quirks+0x0/0x140 returned 0 after 94 usecs
[    0.787601] initcall acpi_reserve_resources+0x0/0xfc returned 0 after 85 usecs

 

rootfs 레벨: rootfs_initcall_sync()

[    0.790338] initcall populate_rootfs+0x0/0x134 returned 0 after 2594 usecs

 

__ 레벨: early_initcall_sync()

[    0.790986] initcall register_kernel_offset_dumper+0x0/0x28 returned 0 after 107 usecs

 

6 레벨: device_initcall_sync() 또는 module_

[    0.791836] initcall cpuinfo_regs_init+0x0/0xc4 returned 0 after 780 usecs
[    0.791913] initcall register_cpu_hwcaps_dumper+0x0/0x28 returned 0 after 21 usecs
[    0.796165] initcall armv8_pmu_driver_init+0x0/0x3c returned 0 after 4047 usecs
[    0.796243] initcall register_mem_limit_dumper+0x0/0x2c returned 0 after 16 usecs
[    0.796701] initcall arm_init+0x0/0x28 returned -19 after 387 usecs
[    0.799885] initcall cpu_feature_match_SHA1_init+0x0/0x30 returned 0 after 3021 usecs
[    0.801951] initcall cpu_feature_match_SHA2_init+0x0/0x34 returned 0 after 1894 usecs
[    0.803528] initcall ghash_ce_mod_init+0x0/0x98 returned 0 after 1448 usecs
[    0.804428] initcall cpu_feature_match_AES_init+0x0/0x30 returned 0 after 797 usecs
[    0.804948] initcall aes_mod_init+0x0/0x30 returned 0 after 442 usecs
[    0.816877] initcall cpu_feature_match_AES_init+0x0/0xcc returned 0 after 10510 usecs
[    0.819621] initcall sha256_mod_init+0x0/0x70 returned 0 after 2593 usecs
[    0.820286] initcall aes_init+0x0/0x1c returned 0 after 586 usecs
[    0.820537] initcall proc_execdomains_init+0x0/0x30 returned 0 after 196 usecs
[    0.820779] initcall cpuhp_sysfs_init+0x0/0x9c returned 0 after 191 usecs
[    0.820864] initcall ioresources_init+0x0/0x54 returned 0 after 41 usecs
[    0.821957] initcall snapshot_device_init+0x0/0x1c returned 0 after 1018 usecs
[    0.822012] initcall irq_gc_init_ops+0x0/0x24 returned 0 after 13 usecs
[    0.822104] initcall irq_debugfs_init+0x0/0x40 returned 0 after 53 usecs
[    0.822148] initcall irq_pm_init_ops+0x0/0x20 returned 0 after 10 usecs
[    0.823233] initcall irq_debugfs_init+0x0/0xa4 returned 0 after 1006 usecs
[    0.823294] initcall timekeeping_init_ops+0x0/0x20 returned 0 after 16 usecs
[    0.824201] initcall init_clocksource_sysfs+0x0/0x78 returned 0 after 803 usecs
[    0.824837] initcall init_timer_list_procfs+0x0/0x38 returned 0 after 545 usecs
[    0.830739] initcall alarmtimer_init+0x0/0x104 returned 0 after 5651 usecs
[    0.830889] initcall init_posix_timers+0x0/0x38 returned 0 after 91 usecs
[    0.838299] initcall clockevents_init_sysfs+0x0/0x108 returned 0 after 7163 usecs
[    0.838368] initcall sched_clock_syscore_init+0x0/0x24 returned 0 after 15 usecs
[    0.838855] initcall proc_modules_init+0x0/0x30 returned 0 after 435 usecs
[    0.839191] initcall kallsyms_init+0x0/0x30 returned 0 after 287 usecs
[    0.839360] initcall pid_namespaces_init+0x0/0x38 returned 0 after 124 usecs
[    0.839717] initcall ikconfig_init+0x0/0x44 returned 0 after 308 usecs
[    0.842610] initcall audit_init+0x0/0x158 returned 0 after 2762 usecs
[    0.842769] initcall audit_watch_init+0x0/0x40 returned 0 after 99 usecs
[    0.842826] initcall audit_fsnotify_init+0x0/0x40 returned 0 after 19 usecs
[    0.842919] initcall audit_tree_init+0x0/0x68 returned 0 after 53 usecs
[    0.843048] initcall seccomp_sysctl_init+0x0/0x38 returned 0 after 88 usecs
[    0.843123] initcall utsname_sysctl_init+0x0/0x20 returned 0 after 36 usecs
[    0.847383] initcall perf_event_sysfs_init+0x0/0xb8 returned 0 after 4039 usecs
[    0.848077] initcall kswapd_init+0x0/0xac returned 0 after 587 usecs
[    0.848410] initcall extfrag_debug_init+0x0/0x90 returned 0 after 253 usecs
[    0.848515] initcall mm_compute_batch_init+0x0/0x60 returned 0 after 44 usecs
[    0.849579] initcall slab_proc_init+0x0/0x30 returned 0 after 657 usecs
[    0.851874] initcall workingset_init+0x0/0xa8 returned 0 after 673 usecs
[    0.852271] initcall proc_vmalloc_init+0x0/0x30 returned 0 after 342 usecs
[    0.852531] initcall memblock_init_debugfs+0x0/0x8c returned 0 after 199 usecs
[    0.852602] initcall procswaps_init+0x0/0x34 returned 0 after 27 usecs
[    0.905566] initcall slab_sysfs_init+0x0/0x124 returned 0 after 51089 usecs
[    0.907179] initcall fcntl_init+0x0/0x38 returned 0 after 106 usecs
[    0.907569] initcall proc_filesystems_init+0x0/0x30 returned 0 after 338 usecs
[    0.907661] initcall start_dirtytime_writeback+0x0/0x3c returned 0 after 52 usecs
[    0.907835] initcall blkdev_init+0x0/0x38 returned 0 after 130 usecs
[    0.908349] initcall dio_init+0x0/0x38 returned 0 after 455 usecs
[    0.908758] initcall dnotify_init+0x0/0x88 returned 0 after 351 usecs
[    0.908889] initcall fanotify_user_setup+0x0/0x84 returned 0 after 87 usecs
[    0.909175] initcall aio_setup+0x0/0x94 returned 0 after 235 usecs
[    0.915272] initcall init_sys32_ioctl+0x0/0x34 returned 0 after 5885 usecs
[    0.915870] initcall mbcache_init+0x0/0x44 returned 0 after 521 usecs
[    0.915961] initcall init_grace+0x0/0x1c returned 0 after 47 usecs
[    0.916322] initcall init_devpts_fs+0x0/0x3c returned 0 after 313 usecs
[    0.919777] initcall ext4_init_fs+0x0/0x160 returned 0 after 3307 usecs
[    0.920333] initcall init_ext2_fs+0x0/0x78 returned 0 after 481 usecs
[    0.928362] initcall journal_init+0x0/0x110 returned 0 after 7765 usecs
[    0.930268] initcall init_squashfs_fs+0x0/0x88 returned 0 after 1768 usecs
[    0.932008] initcall init_fat_fs+0x0/0x5c returned 0 after 1628 usecs
[    0.932398] initcall init_vfat_fs+0x0/0x1c returned 0 after 327 usecs
[    0.938506] initcall init_nfs_fs+0x0/0x150 returned 0 after 5898 usecs
[    0.938626] initcall init_nfs_v2+0x0/0x20 returned 0 after 44 usecs
[    0.938668] initcall init_nfs_v3+0x0/0x20 returned 0 after 9 usecs
[    0.940279] initcall init_nfs_v4+0x0/0x48 returned 0 after 1532 usecs
[    0.940758] initcall nfs4filelayout_init+0x0/0x34 returned 0 after 428 usecs
[    0.943165] initcall init_nlm+0x0/0x88 returned 0 after 2254 usecs
[    0.943361] initcall init_nls_cp437+0x0/0x20 returned 0 after 121 usecs
[    0.943542] initcall init_nls_iso8859_1+0x0/0x20 returned 0 after 13 usecs
[    0.952865] initcall init_cifs+0x0/0x350 returned 0 after 9029 usecs
[    0.954912] initcall init_autofs4_fs+0x0/0x38 returned 0 after 1327 usecs
[    0.955893] initcall init_v9fs+0x0/0xfc returned 0 after 902 usecs
[    0.956240] initcall init_pstore_fs+0x0/0x64 returned 0 after 292 usecs
[    0.956286] initcall efivarfs_init+0x0/0x44 returned -19 after 8 usecs
[    0.959594] initcall ipc_init+0x0/0x64 returned 0 after 3154 usecs
[    0.959729] initcall ipc_sysctl_init+0x0/0x20 returned 0 after 75 usecs
[    0.961814] initcall init_mqueue_fs+0x0/0x104 returned 0 after 1930 usecs
[    0.964280] initcall key_proc_init+0x0/0x74 returned 0 after 2290 usecs
[    0.964574] initcall crypto_algapi_init+0x0/0x18 returned 0 after 215 usecs
[    0.964657] initcall seqiv_module_init+0x0/0x1c returned 0 after 43 usecs
[    0.964709] initcall echainiv_module_init+0x0/0x1c returned 0 after 15 usecs
[    0.964755] initcall crypto_cmac_module_init+0x0/0x1c returned 0 after 10 usecs
[    0.964799] initcall hmac_module_init+0x0/0x1c returned 0 after 10 usecs
[    0.967749] initcall crypto_null_mod_init+0x0/0x58 returned 0 after 2805 usecs
[    0.968429] initcall md4_mod_init+0x0/0x1c returned 0 after 576 usecs
[    0.970118] initcall md5_mod_init+0x0/0x1c returned 0 after 1568 usecs
[    0.971357] initcall sha1_generic_mod_init+0x0/0x1c returned 0 after 1123 usecs
[    0.973454] initcall sha256_generic_mod_init+0x0/0x20 returned 0 after 1965 usecs
[    0.973525] initcall crypto_ecb_module_init+0x0/0x1c returned 0 after 18 usecs
[    0.973593] initcall crypto_ctr_module_init+0x0/0x58 returned 0 after 30 usecs
[    0.973698] initcall crypto_ccm_module_init+0x0/0x90 returned 0 after 66 usecs
[    0.974890] initcall des_generic_mod_init+0x0/0x20 returned 0 after 1114 usecs
[    0.975638] initcall aes_init+0x0/0x1c returned 0 after 632 usecs
[    0.976787] initcall arc4_init+0x0/0x20 returned 0 after 1026 usecs
[    0.979462] initcall crc32c_mod_init+0x0/0x1c returned 0 after 2527 usecs
[    0.980201] initcall crct10dif_mod_init+0x0/0x1c returned 0 after 657 usecs
[    0.980644] initcall prng_mod_init+0x0/0x20 returned 0 after 379 usecs
[    0.988584] initcall drbg_init+0x0/0x1dc returned 0 after 7681 usecs
[    0.991197] initcall jent_mod_init+0x0/0x3c returned 0 after 2484 usecs
[    0.991501] initcall proc_genhd_init+0x0/0x54 returned 0 after 204 usecs
[    0.992870] initcall bsg_init+0x0/0x150 returned 0 after 1269 usecs
[    0.994240] initcall noop_init+0x0/0x1c returned 0 after 1282 usecs
[    0.995532] initcall cfq_init+0x0/0x74 returned 0 after 1209 usecs
[    0.995950] initcall deadline_init+0x0/0x1c returned 0 after 364 usecs
[    0.996254] initcall kyber_init+0x0/0x1c returned 0 after 256 usecs
[    0.996391] initcall crc_t10dif_mod_init+0x0/0x50 returned 0 after 94 usecs
[    0.998384] initcall percpu_counter_startup+0x0/0x6c returned 0 after 1855 usecs
[    0.998750] initcall audit_classes_init+0x0/0xb0 returned 0 after 233 usecs
[    0.999272] initcall sg_pool_init+0x0/0x108 returned 0 after 432 usecs
[    0.999858] initcall mbigen_platform_driver_init+0x0/0x20 returned 0 after 506 usecs
[    1.000271] initcall mvebu_gicp_driver_init+0x0/0x20 returned 0 after 354 usecs
[    1.000592] initcall mvebu_icu_driver_init+0x0/0x20 returned 0 after 268 usecs
[    1.001282] initcall mvebu_pic_driver_init+0x0/0x20 returned 0 after 291 usecs
[    1.003670] initcall ls_scfg_msi_driver_init+0x0/0x24 returned 0 after 1257 usecs
[    1.004119] initcall qcom_irq_combiner_probe_init+0x0/0x20 returned 0 after 358 usecs
[    1.005098] initcall uniphier_aidet_driver_init+0x0/0x20 returned 0 after 884 usecs
[    1.007038] initcall brcm_gisb_driver_init+0x0/0x28 returned -19 after 1802 usecs
[    1.007642] initcall qcom_ebi2_driver_init+0x0/0x20 returned 0 after 520 usecs
[    1.008102] initcall sunxi_rsb_init+0x0/0x54 returned 0 after 402 usecs
[    1.008419] initcall uniphier_system_bus_driver_init+0x0/0x20 returned 0 after 263 usecs
[    1.008555] initcall phy_core_init+0x0/0x68 returned 0 after 90 usecs
[    1.008955] initcall xgene_phy_driver_init+0x0/0x20 returned 0 after 329 usecs
[    1.015040] initcall sun4i_usb_phy_driver_init+0x0/0x20 returned 0 after 5828 usecs
[    1.015665] initcall phy_meson8b_usb2_driver_init+0x0/0x20 returned 0 after 546 usecs
[    1.016212] initcall phy_meson_gxl_usb2_driver_init+0x0/0x20 returned 0 after 479 usecs
[    1.016751] initcall rcar_gen3_phy_usb2_driver_init+0x0/0x20 returned 0 after 412 usecs
[    1.017076] initcall rockchip_emmc_driver_init+0x0/0x20 returned 0 after 271 usecs
[    1.017512] initcall rockchip_usb2phy_driver_init+0x0/0x20 returned 0 after 376 usecs
[    1.028836] initcall tegra_xusb_padctl_driver_init+0x0/0x24 returned 0 after 10990 usecs
[    1.029373] initcall mdio_module_init+0x0/0x1c returned 0 after 439 usecs
[    1.029720] initcall ns2_drd_phy_driver_init+0x0/0x20 returned 0 after 290 usecs
[    1.030199] initcall brcm_sata_phy_driver_init+0x0/0x20 returned 0 after 420 usecs
[    1.030585] initcall hi6220_phy_driver_init+0x0/0x20 returned 0 after 329 usecs
[    1.030982] initcall exynos_dp_video_phy_driver_init+0x0/0x20 returned 0 after 339 usecs
[    1.031486] initcall exynos_mipi_video_phy_driver_init+0x0/0x20 returned 0 after 428 usecs
[    1.031820] initcall samsung_usb2_phy_driver_init+0x0/0x20 returned 0 after 263 usecs
[    1.032258] initcall exynos5_usb3drd_phy_init+0x0/0x20 returned 0 after 378 usecs
[    1.032497] initcall max77620_pinctrl_driver_init+0x0/0x20 returned 0 after 185 usecs
[    1.039774] initcall meson_pinctrl_driver_init+0x0/0x20 returned 0 after 7032 usecs
[    1.040447] initcall pcs_driver_init+0x0/0x20 returned 0 after 593 usecs
[    1.040800] initcall tegra124_pinctrl_driver_init+0x0/0x20 returned 0 after 294 usecs
[    1.045937] initcall tegra210_pinctrl_driver_init+0x0/0x20 returned 0 after 4945 usecs
[    1.046327] initcall bcm2835_pinctrl_driver_init+0x0/0x24 returned 0 after 319 usecs
[    1.046681] initcall armada_ap806_pinctrl_driver_init+0x0/0x20 returned 0 after 297 usecs
[    1.047099] initcall armada_cp110_pinctrl_driver_init+0x0/0x20 returned 0 after 360 usecs
[    1.047581] initcall armada_37xx_pinctrl_driver_init+0x0/0x28 returned -19 after 419 usecs
[    1.048072] initcall pmic_gpio_driver_init+0x0/0x20 returned 0 after 430 usecs
[    1.048606] initcall pmic_mpp_driver_init+0x0/0x20 returned 0 after 473 usecs
[    1.049113] initcall a64_pinctrl_driver_init+0x0/0x20 returned 0 after 433 usecs
[    1.056448] initcall sun50i_a64_r_pinctrl_driver_init+0x0/0x20 returned 0 after 642 usecs
[    1.056865] initcall sun8i_h3_r_pinctrl_driver_init+0x0/0x20 returned 0 after 347 usecs
[    1.058279] initcall sun50i_h5_pinctrl_driver_init+0x0/0x20 returned 0 after 1319 usecs
[    1.058663] initcall uniphier_ld11_pinctrl_driver_init+0x0/0x20 returned 0 after 323 usecs
[    1.058991] initcall uniphier_ld20_pinctrl_driver_init+0x0/0x20 returned 0 after 275 usecs
[    1.059321] initcall uniphier_pxs3_pinctrl_driver_init+0x0/0x20 returned 0 after 277 usecs
[    1.059823] initcall bgpio_driver_init+0x0/0x20 returned 0 after 443 usecs
[    1.060156] initcall brcmstb_gpio_driver_init+0x0/0x20 returned 0 after 277 usecs
[    1.060573] initcall dwapb_gpio_driver_init+0x0/0x20 returned 0 after 345 usecs
[    1.060855] initcall max77620_gpio_driver_init+0x0/0x20 returned 0 after 217 usecs
[    1.063868] initcall mvebu_gpio_driver_init+0x0/0x20 returned 0 after 2780 usecs
[    1.064304] initcall pl061_gpio_init+0x0/0x1c returned 0 after 319 usecs
[    1.067876] initcall gpio_rcar_device_driver_init+0x0/0x20 returned 0 after 3383 usecs
[    1.068416] initcall xgene_gpio_driver_init+0x0/0x20 returned 0 after 458 usecs
[    1.068747] initcall xgene_gpio_sb_driver_init+0x0/0x20 returned 0 after 275 usecs
[    1.069692] initcall iproc_pwmc_driver_init+0x0/0x20 returned 0 after 874 usecs
[    1.070125] initcall rockchip_pwm_driver_init+0x0/0x20 returned 0 after 375 usecs
[    1.070636] initcall pwm_samsung_driver_init+0x0/0x20 returned 0 after 453 usecs
[    1.071312] initcall pci_proc_init+0x0/0x88 returned 0 after 608 usecs
[    1.071759] initcall pcie_portdrv_init+0x0/0xa4 returned 0 after 390 usecs
[    1.072022] initcall aer_service_init+0x0/0x4c returned 0 after 213 usecs
[    1.072142] initcall pcie_pme_service_init+0x0/0x1c returned 0 after 76 usecs
[    1.072178] initcall pci_hotplug_init+0x0/0x8 returned 0 after 3 usecs
[    1.072337] initcall pcied_init+0x0/0x7c returned 0 after 116 usecs
[    1.072679] initcall advk_pcie_driver_init+0x0/0x20 returned 0 after 289 usecs
[    1.077727] initcall rcar_pcie_driver_init+0x0/0x20 returned 0 after 4858 usecs
[    1.115609] initcall gen_pci_driver_init+0x0/0x20 returned 0 after 36874 usecs
[    1.116331] initcall iproc_pcie_pltfm_driver_init+0x0/0x20 returned 0 after 623 usecs
[    1.116655] initcall xgene_pcie_driver_init+0x0/0x20 returned 0 after 265 usecs
[    1.117921] initcall ls_pcie_driver_init+0x0/0x28 returned -19 after 1183 usecs
[    1.118455] initcall qcom_pcie_driver_init+0x0/0x20 returned 0 after 469 usecs
[    1.118854] initcall armada8k_pcie_driver_init+0x0/0x20 returned 0 after 342 usecs
[    1.119235] initcall kirin_pcie_driver_init+0x0/0x20 returned 0 after 315 usecs
[    1.119634] initcall hisi_pcie_almost_ecam_driver_init+0x0/0x24 returned 0 after 340 usecs
[    1.119989] initcall hisi_pcie_driver_init+0x0/0x20 returned 0 after 299 usecs
[    1.120235] initcall amba_clcdfb_init+0x0/0x3c returned 0 after 196 usecs
[    1.120284] initcall xenfb_init+0x0/0x54 returned -19 after 11 usecs
[    1.120550] initcall ged_driver_init+0x0/0x20 returned 0 after 214 usecs
[    1.120622] initcall acpi_button_driver_init+0x0/0x20 returned -19 after 31 usecs
[    1.120868] initcall acpi_fan_driver_init+0x0/0x20 returned 0 after 196 usecs
[    1.121381] initcall acpi_processor_driver_init+0x0/0xb0 returned 0 after 451 usecs
[    1.128339] initcall acpi_thermal_init+0x0/0x94 returned -19 after 6683 usecs
[    1.128410] initcall acpi_hed_driver_init+0x0/0x20 returned -19 after 11 usecs
[    1.128503] initcall erst_init+0x0/0x2d4 returned 0 after 55 usecs
[    1.128566] initcall ghes_init+0x0/0x210 returned -19 after 27 usecs
[    1.128631] initcall gtdt_sbsa_gwdt_init+0x0/0xe4 returned 0 after 25 usecs
[    1.130444] initcall tegra_ahb_driver_init+0x0/0x20 returned 0 after 1707 usecs
[    1.131101] initcall of_fixed_factor_clk_driver_init+0x0/0x20 returned 0 after 550 usecs
[    1.131651] initcall of_fixed_clk_driver_init+0x0/0x20 returned 0 after 472 usecs
[    1.132171] initcall gpio_clk_driver_init+0x0/0x20 returned 0 after 452 usecs
[    1.132329] initcall cs2000_driver_init+0x0/0x20 returned 0 after 111 usecs
[    1.132686] initcall clk_pwm_driver_init+0x0/0x20 returned 0 after 305 usecs
[    1.132963] initcall rk808_clkout_driver_init+0x0/0x20 returned 0 after 223 usecs
[    1.133309] initcall scpi_clocks_driver_init+0x0/0x20 returned 0 after 291 usecs
[    1.133665] initcall bcm2835_clk_driver_init+0x0/0x20 returned 0 after 300 usecs
[    1.137105] initcall bcm2835_aux_clk_driver_init+0x0/0x20 returned 0 after 3254 usecs
[    1.140914] initcall sr_clk_driver_init+0x0/0x20 returned 0 after 3625 usecs
[    1.142305] initcall gxbb_driver_init+0x0/0x20 returned 0 after 1294 usecs
[    1.142706] initcall gxbb_aoclkc_driver_init+0x0/0x20 returned 0 after 338 usecs
[    1.143107] initcall armada_3700_xtal_clock_driver_init+0x0/0x20 returned 0 after 343 usecs
[    1.143574] initcall armada_3700_tbg_clock_driver_init+0x0/0x20 returned 0 after 381 usecs
[    1.144487] initcall armada_3700_periph_clock_driver_init+0x0/0x20 returned 0 after 748 usecs
[    1.155650] initcall ap806_clock_driver_init+0x0/0x24 returned 0 after 10783 usecs
[    1.156219] initcall ap806_syscon_legacy_driver_init+0x0/0x20 returned 0 after 490 usecs
[    1.156567] initcall cp110_clock_driver_init+0x0/0x24 returned 0 after 290 usecs
[    1.157354] initcall cp110_syscon_legacy_driver_init+0x0/0x20 returned 0 after 712 usecs
[    1.157768] initcall mmcc_msm8996_driver_init+0x0/0x20 returned 0 after 352 usecs
[    1.158271] initcall exynos_audss_clk_driver_init+0x0/0x24 returned 0 after 437 usecs
[    1.158642] initcall sun4i_a10_mod0_clk_driver_init+0x0/0x20 returned 0 after 308 usecs
[    1.159039] initcall sun9i_a80_mmc_config_clk_driver_init+0x0/0x20 returned 0 after 290 usecs
[    1.159432] initcall sun50i_a64_ccu_driver_init+0x0/0x20 returned 0 after 319 usecs
[    1.160553] initcall uniphier_clk_driver_init+0x0/0x20 returned 0 after 1042 usecs
[    1.160917] initcall k3_pdma_driver_init+0x0/0x20 returned 0 after 305 usecs
[    1.161296] initcall mv_xor_v2_driver_init+0x0/0x20 returned 0 after 319 usecs
[    1.161474] initcall pl330_driver_init+0x0/0x1c returned 0 after 128 usecs
[    1.161556] initcall shdma_enter+0x0/0x48 returned 0 after 41 usecs
[    1.162729] initcall shdma_of_init+0x0/0x20 returned 0 after 366 usecs
[    1.163121] initcall rcar_dmac_driver_init+0x0/0x20 returned 0 after 327 usecs
[    1.163821] initcall tegra_dmac_driver_init+0x0/0x20 returned 0 after 601 usecs
[    1.164530] initcall bam_dma_driver_init+0x0/0x20 returned 0 after 619 usecs
[    1.166110] initcall hidma_mgmt_init+0x0/0x6c returned 0 after 1478 usecs
[    1.166561] initcall hidma_driver_init+0x0/0x20 returned 0 after 384 usecs
[    1.166951] initcall rpi_power_driver_init+0x0/0x20 returned 0 after 329 usecs
[    1.167489] initcall scpsys_drv_init+0x0/0x20 returned 0 after 473 usecs
[    1.167616] initcall meson_gx_socinfo_init+0x0/0x268 returned -19 after 80 usecs
[    1.168059] initcall qcom_smp2p_driver_init+0x0/0x20 returned 0 after 384 usecs
[    1.168429] initcall qcom_smsm_driver_init+0x0/0x20 returned 0 after 311 usecs
[    1.168875] initcall sunxi_sram_driver_init+0x0/0x20 returned 0 after 355 usecs
[    1.169047] initcall tegra_init_soc+0x0/0x5c returned 0 after 124 usecs
[    1.170853] initcall tegra_fuse_driver_init+0x0/0x20 returned 0 after 1670 usecs
[    1.171390] initcall tegra_flowctrl_driver_init+0x0/0x20 returned 0 after 446 usecs
[    1.172004] initcall tegra_pmc_driver_init+0x0/0x20 returned 0 after 543 usecs
[    1.172427] initcall tegra186_pmc_driver_init+0x0/0x20 returned 0 after 346 usecs
[    1.200380] initcall virtio_mmio_init+0x0/0x20 returned 0 after 27225 usecs
[    1.207300] initcall virtio_pci_driver_init+0x0/0x28 returned 0 after 6655 usecs
[    1.207725] initcall virtio_balloon_driver_init+0x0/0x1c returned 0 after 343 usecs
[    1.207782] initcall xenbus_probe_initcall+0x0/0x70 returned -19 after 15 usecs
[    1.207822] initcall xenbus_init+0x0/0x54 returned -19 after 6 usecs
[    1.207865] initcall xenbus_backend_init+0x0/0x68 returned -19 after 7 usecs
[    1.207951] initcall evtchn_init+0x0/0x64 returned -19 after 16 usecs
[    1.207993] initcall gntdev_init+0x0/0x6c returned -19 after 7 usecs
[    1.208055] initcall gntalloc_init+0x0/0x54 returned -19 after 23 usecs
[    1.208095] initcall xenfs_init+0x0/0x30 returned 0 after 7 usecs
[    1.208138] initcall hypervisor_subsys_init+0x0/0x2c returned -19 after 8 usecs
[    1.208191] initcall hyper_sysfs_init+0x0/0x138 returned -19 after 20 usecs
[    1.208232] initcall privcmd_init+0x0/0x54 returned -19 after 6 usecs
[    1.208685] initcall axp20x_regulator_driver_init+0x0/0x20 returned 0 after 393 usecs
[    1.208915] initcall fan53555_regulator_driver_init+0x0/0x20 returned 0 after 106 usecs
[    1.212681] initcall hi6421v530_regulator_driver_init+0x0/0x20 returned 0 after 1352 usecs
[    1.213269] initcall hi655x_regulator_driver_init+0x0/0x20 returned 0 after 510 usecs
[    1.214381] initcall max77620_regulator_driver_init+0x0/0x20 returned 0 after 1026 usecs
[    1.215728] initcall qcom_spmi_regulator_driver_init+0x0/0x20 returned 0 after 1191 usecs
[    1.219085] initcall pwm_regulator_driver_init+0x0/0x20 returned 0 after 3185 usecs
[    1.219857] initcall rk808_regulator_driver_init+0x0/0x20 returned 0 after 685 usecs
[    1.220691] initcall s2mps11_pmic_driver_init+0x0/0x20 returned 0 after 758 usecs
[    1.222473] initcall berlin_reset_driver_init+0x0/0x20 returned 0 after 1678 usecs
[    1.225723] initcall meson_reset_driver_init+0x0/0x20 returned 0 after 2448 usecs
[    1.227767] initcall sunxi_reset_driver_init+0x0/0x20 returned 0 after 863 usecs
[    1.229999] initcall uniphier_reset_driver_init+0x0/0x20 returned 0 after 2111 usecs
[    1.230068] initcall n_null_init+0x0/0x28 returned 0 after 20 usecs
[    1.276899] initcall pty_init+0x0/0x39c returned 0 after 45660 usecs
[    1.277958] initcall sysrq_init+0x0/0x90 returned 0 after 425 usecs
[    1.278008] initcall xen_hvc_init+0x0/0x288 returned -19 after 9 usecs
[    1.291375] initcall serial8250_init+0x0/0x17c returned 0 after 12983 usecs
[    1.291891] initcall serial_pci_driver_init+0x0/0x28 returned 0 after 438 usecs
[    1.292565] initcall exar_pci_driver_init+0x0/0x28 returned 0 after 597 usecs
[    1.295918] initcall bcm2835aux_serial_driver_init+0x0/0x20 returned 0 after 3180 usecs
[    1.297914] initcall dw8250_platform_driver_init+0x0/0x20 returned 0 after 1874 usecs
[    1.298605] initcall mtk8250_platform_driver_init+0x0/0x20 returned 0 after 609 usecs
[    1.299982] initcall uniphier_uart_platform_driver_init+0x0/0x20 returned 0 after 1251 usecs
[    1.301123] initcall of_platform_serial_driver_init+0x0/0x20 returned 0 after 1052 usecs
[    1.302984] initcall samsung_serial_driver_init+0x0/0x24 returned 0 after 1738 usecs
[    1.308461] initcall sci_init+0x0/0x34 returned 0 after 5176 usecs
[    1.311928] initcall meson_uart_init+0x0/0x60 returned 0 after 3280 usecs
[    1.315302] initcall msm_serial_init+0x0/0x5c returned 0 after 3215 usecs
[    1.316842] initcall cdns_uart_init+0x0/0x60 returned 0 after 1431 usecs
[    1.318819] initcall tegra_uart_init+0x0/0x88 returned 0 after 1844 usecs
[    1.318990] initcall init_kgdboc+0x0/0x2c returned 0 after 114 usecs
[    1.319537] initcall init+0x0/0x124 returned 0 after 471 usecs
[    1.320263] initcall arm_smmu_driver_init+0x0/0x24 returned 0 after 625 usecs
[    1.322183] initcall arm_smmu_driver_init+0x0/0x24 returned 0 after 1743 usecs
[    1.322510] initcall topology_sysfs_init+0x0/0x38 returned 0 after 255 usecs
[    1.327690] initcall cacheinfo_sysfs_init+0x0/0x38 returned -2 after 4950 usecs
[    1.379986] initcall loop_init+0x0/0x158 returned 0 after 50990 usecs
[    1.434777] initcall init+0x0/0xa8 returned 0 after 53435 usecs
[    1.434887] initcall xlblk_init+0x0/0x10c returned -19 after 23 usecs
[    1.435446] initcall cros_ec_driver_init+0x0/0x20 returned 0 after 501 usecs
[    1.435881] initcall cros_ec_driver_spi_init+0x0/0x20 returned 0 after 376 usecs
[    1.436446] initcall axp20x_rsb_driver_init+0x0/0x1c returned 0 after 503 usecs
[    1.436814] initcall max77620_driver_init+0x0/0x20 returned 0 after 311 usecs
[    1.437737] initcall pmic_spmi_driver_init+0x0/0x20 returned 0 after 851 usecs
[    1.438359] initcall rk808_i2c_driver_init+0x0/0x20 returned 0 after 555 usecs
[    1.439070] initcall hi6421_pmic_driver_init+0x0/0x20 returned 0 after 639 usecs
[    1.439893] initcall hi655x_pmic_driver_init+0x0/0x20 returned 0 after 750 usecs
[    1.443050] initcall sas_transport_init+0x0/0xd0 returned 0 after 3013 usecs
[    1.443241] initcall sas_class_init+0x0/0x44 returned 0 after 78 usecs
[    1.446843] initcall init_sd+0x0/0x184 returned 0 after 3451 usecs
[    1.447391] initcall hisi_sas_init+0x0/0x38 returned 0 after 478 usecs
[    1.449505] initcall hisi_sas_v1_driver_init+0x0/0x20 returned 0 after 2000 usecs
[    1.450612] initcall hisi_sas_v2_driver_init+0x0/0x20 returned 0 after 1017 usecs
[    1.451309] initcall sas_v3_pci_driver_init+0x0/0x28 returned 0 after 626 usecs
[    1.451834] initcall ahci_pci_driver_init+0x0/0x28 returned 0 after 458 usecs
[    1.453128] initcall ahci_driver_init+0x0/0x20 returned 0 after 1174 usecs
[    1.454652] initcall sil24_pci_driver_init+0x0/0x28 returned 0 after 1418 usecs
[    1.455526] initcall ceva_ahci_driver_init+0x0/0x20 returned 0 after 790 usecs
[    1.456835] initcall ahci_mvebu_driver_init+0x0/0x20 returned 0 after 1181 usecs
[    1.460396] initcall xgene_ahci_driver_init+0x0/0x20 returned 0 after 3397 usecs
[    1.461305] initcall ahci_qoriq_driver_init+0x0/0x20 returned 0 after 824 usecs
[    1.463532] initcall sata_rcar_driver_init+0x0/0x20 returned 0 after 2076 usecs
[    1.465937] initcall pata_platform_driver_init+0x0/0x24 returned 0 after 2131 usecs
[    1.468369] initcall pata_of_platform_driver_init+0x0/0x20 returned 0 after 2284 usecs
[    1.470490] initcall init_mtd+0x0/0x138 returned 0 after 2011 usecs
[    1.470597] initcall ofpart_parser_init+0x0/0x3c returned 0 after 61 usecs
[    1.470771] initcall init_mtdblock+0x0/0x1c returned 0 after 133 usecs
[    1.471460] initcall m25p80_driver_init+0x0/0x20 returned 0 after 627 usecs
[    1.472144] initcall denali_dt_driver_init+0x0/0x20 returned 0 after 616 usecs
[    1.473070] initcall bcm_iproc_driver_init+0x0/0x20 returned 0 after 851 usecs
[    1.473737] initcall brcmstb_qspi_driver_init+0x0/0x20 returned 0 after 598 usecs
[    1.475155] initcall orion_spi_driver_init+0x0/0x20 returned 0 after 1330 usecs
[    1.476101] initcall spi_qup_driver_init+0x0/0x20 returned 0 after 869 usecs
[    1.477410] initcall rockchip_spi_driver_init+0x0/0x20 returned 0 after 1225 usecs
[    1.478876] initcall s3c64xx_spi_driver_init+0x0/0x20 returned 0 after 1365 usecs
[    1.479590] initcall spmi_pmic_arb_driver_init+0x0/0x20 returned 0 after 638 usecs
[    1.479772] initcall net_olddevs_init+0x0/0x90 returned 0 after 135 usecs
[    1.481010] initcall mdiomux_iproc_driver_init+0x0/0x20 returned 0 after 1159 usecs
[    1.481822] initcall mdio_mux_mmioreg_driver_init+0x0/0x20 returned 0 after 559 usecs
[    1.483010] initcall xgene_mdio_driver_init+0x0/0x20 returned 0 after 886 usecs
[    1.485688] initcall fixed_mdio_bus_init+0x0/0xe0 returned 0 after 2564 usecs
[    1.493407] initcall phy_module_init+0x0/0x24 returned 0 after 7482 usecs
[    1.493757] initcall phy_module_init+0x0/0x24 returned 0 after 289 usecs
[    1.496330] initcall tun_init+0x0/0xd0 returned 0 after 2454 usecs
[    1.506304] initcall virtio_net_driver_init+0x0/0xb8 returned 0 after 9666 usecs
[    1.507837] initcall xgbe_mod_init+0x0/0x2c returned 0 after 1430 usecs
[    1.508372] initcall xgene_enet_driver_init+0x0/0x20 returned 0 after 470 usecs
[    1.509588] initcall macb_driver_init+0x0/0x20 returned 0 after 1137 usecs
[    1.510060] initcall bgmac_enet_driver_init+0x0/0x20 returned 0 after 411 usecs
[    1.510527] initcall hns_mdio_driver_init+0x0/0x20 returned 0 after 407 usecs
[    1.511005] initcall g_dsaf_driver_init+0x0/0x20 returned 0 after 359 usecs
[    1.511574] initcall hns_nic_dev_driver_init+0x0/0x20 returned 0 after 485 usecs
[    1.512543] initcall e1000_init_module+0x0/0x48 returned 0 after 893 usecs
[    1.520800] initcall igb_init_module+0x0/0x60 returned 0 after 7982 usecs
[    1.522971] initcall igbvf_init_module+0x0/0x5c returned 0 after 2054 usecs
[    1.523578] initcall orion_mdio_driver_init+0x0/0x20 returned 0 after 539 usecs
[    1.524163] initcall mvneta_driver_init+0x0/0xc0 returned 0 after 515 usecs
[    1.524649] initcall mvpp2_driver_init+0x0/0x20 returned 0 after 412 usecs
[    1.530106] initcall sky2_init_module+0x0/0x34 returned 0 after 5234 usecs
[    1.530877] initcall ravb_driver_init+0x0/0x20 returned 0 after 673 usecs
[    1.531788] initcall smc_driver_init+0x0/0x20 returned 0 after 753 usecs
[    1.532662] initcall smsc911x_init_module+0x0/0x20 returned 0 after 740 usecs
[    1.532736] initcall netif_init+0x0/0x78 returned -19 after 13 usecs
[    1.534867] initcall vfio_init+0x0/0x184 returned 0 after 2031 usecs
[    1.540978] initcall vfio_virqfd_init+0x0/0x50 returned 0 after 5896 usecs
[    1.541117] initcall vfio_iommu_type1_init+0x0/0x1c returned 0 after 81 usecs
[    1.542418] initcall vfio_pci_init+0x0/0x140 returned 0 after 1221 usecs
[    1.543172] initcall msm_otg_driver_init+0x0/0x20 returned 0 after 601 usecs
[    1.544077] initcall phy_8x16_driver_init+0x0/0x20 returned 0 after 782 usecs
[    1.544774] initcall dwc3_driver_init+0x0/0x20 returned 0 after 599 usecs
[    1.547131] initcall dwc3_exynos_driver_init+0x0/0x20 returned 0 after 2168 usecs
[    1.547468] initcall dwc3_pci_driver_init+0x0/0x28 returned 0 after 263 usecs
[    1.548097] initcall dwc3_of_simple_driver_init+0x0/0x20 returned 0 after 528 usecs
[    1.548906] initcall dwc2_platform_driver_init+0x0/0x20 returned 0 after 738 usecs
[    1.551572] initcall isp1760_init+0x0/0x68 returned 0 after 2535 usecs
[    1.552055] initcall ehci_hcd_init+0x0/0x70 returned 0 after 416 usecs
[    1.552631] initcall ehci_pci_init+0x0/0x88 returned 0 after 516 usecs
[    1.555084] initcall ehci_platform_init+0x0/0x60 returned 0 after 2330 usecs
[    1.555834] initcall ehci_orion_init+0x0/0x5c returned 0 after 677 usecs
[    1.556731] initcall ehci_exynos_init+0x0/0x5c returned 0 after 822 usecs
[    1.558700] initcall ehci_msm_init+0x0/0x5c returned 0 after 1854 usecs
[    1.559441] initcall ohci_hcd_mod_init+0x0/0x84 returned 0 after 596 usecs
[    1.560067] initcall ohci_pci_init+0x0/0x88 returned 0 after 560 usecs
[    1.560932] initcall ohci_platform_init+0x0/0x60 returned 0 after 795 usecs
[    1.566367] initcall ohci_exynos_init+0x0/0x5c returned 0 after 5234 usecs
[    1.566438] initcall xhci_hcd_init+0x0/0x20 returned 0 after 21 usecs
[    1.566834] initcall xhci_pci_init+0x0/0x5c returned 0 after 343 usecs
[    1.567610] initcall xhci_plat_init+0x0/0x34 returned 0 after 706 usecs
[    1.568097] initcall tegra_xusb_init+0x0/0x34 returned 0 after 421 usecs
[    1.568888] initcall usb_storage_driver_init+0x0/0x48 returned 0 after 721 usecs
[    1.579523] initcall usb3503_init+0x0/0x68 returned 0 after 1214 usecs
[    1.579901] initcall ci_hdrc_platform_register+0x0/0x28 returned 0 after 309 usecs
[    1.580325] initcall ci_hdrc_usb2_driver_init+0x0/0x20 returned 0 after 364 usecs
[    1.580751] initcall ci_hdrc_msm_driver_init+0x0/0x20 returned 0 after 366 usecs
[    1.581173] initcall ci_hdrc_zevio_driver_init+0x0/0x20 returned 0 after 362 usecs
[    1.582138] initcall ci_hdrc_pci_driver_init+0x0/0x28 returned 0 after 887 usecs
[    1.582876] initcall usbmisc_imx_driver_init+0x0/0x20 returned 0 after 669 usecs
[    1.583561] initcall ci_hdrc_imx_driver_init+0x0/0x20 returned 0 after 609 usecs
[    1.584318] initcall tegra_udc_driver_init+0x0/0x20 returned 0 after 614 usecs
[    1.585080] initcall udc_plat_driver_init+0x0/0x20 returned 0 after 660 usecs
[    1.592688] initcall bdc_driver_init+0x0/0x20 returned 0 after 7347 usecs
[    1.593717] initcall bdc_pci_driver_init+0x0/0x28 returned 0 after 935 usecs
[    1.593886] initcall ambakmi_driver_init+0x0/0x1c returned 0 after 114 usecs
[    1.593944] initcall input_leds_init+0x0/0x1c returned 0 after 19 usecs
[    1.593990] initcall evdev_init+0x0/0x1c returned 0 after 10 usecs
[    1.594579] initcall atkbd_init+0x0/0x34 returned 0 after 517 usecs
[    1.595613] initcall cros_ec_keyb_driver_init+0x0/0x20 returned 0 after 942 usecs
[    1.596091] initcall psmouse_init+0x0/0xa8 returned 0 after 413 usecs
[    1.596683] initcall hi65xx_powerkey_driver_init+0x0/0x20 returned 0 after 524 usecs
[    1.597103] initcall pm8941_pwrkey_driver_init+0x0/0x20 returned 0 after 357 usecs
[    1.597157] initcall xenkbd_init+0x0/0x50 returned -19 after 12 usecs
[    1.598769] initcall rtc_init+0x0/0x48 returned 0 after 1463 usecs
[    1.599877] initcall brcmstb_waketmr_driver_init+0x0/0x20 returned 0 after 965 usecs
[    1.600253] initcall ds323x_init+0x0/0x78 returned 0 after 291 usecs
[    1.600790] initcall efi_rtc_driver_init+0x0/0x28 returned -19 after 467 usecs
[    1.601123] initcall max77686_rtc_driver_init+0x0/0x20 returned 0 after 273 usecs
[    1.617394] initcall pl031_driver_init+0x0/0x1c returned 0 after 15816 usecs
[    1.618749] initcall s3c_rtc_driver_init+0x0/0x20 returned 0 after 1208 usecs
[    1.619188] initcall s5m_rtc_driver_init+0x0/0x20 returned 0 after 353 usecs
[    1.619647] initcall sun6i_rtc_driver_init+0x0/0x20 returned 0 after 388 usecs
[    1.620226] initcall tegra_rtc_driver_init+0x0/0x28 returned -19 after 503 usecs
[    1.620638] initcall xgene_rtc_driver_init+0x0/0x20 returned 0 after 351 usecs
[    1.622204] initcall i2c_dev_init+0x0/0xdc returned 0 after 1437 usecs
[    1.622724] initcall bcm_iproc_i2c_driver_init+0x0/0x20 returned 0 after 444 usecs
[    1.623288] initcall exynos5_i2c_driver_init+0x0/0x20 returned 0 after 489 usecs
[    1.623871] initcall meson_i2c_driver_init+0x0/0x20 returned 0 after 499 usecs
[    1.624817] initcall mv64xxx_i2c_driver_init+0x0/0x20 returned 0 after 826 usecs
[    1.627232] initcall qup_i2c_driver_init+0x0/0x20 returned 0 after 2245 usecs
[    1.627967] initcall rk3x_i2c_driver_init+0x0/0x20 returned 0 after 648 usecs
[    1.628374] initcall tegra_bpmp_i2c_driver_init+0x0/0x20 returned 0 after 344 usecs
[    1.628810] initcall uniphier_fi2c_drv_init+0x0/0x20 returned 0 after 372 usecs
[    1.630138] initcall rcar_i2c_driver_init+0x0/0x20 returned 0 after 1238 usecs
[    1.630594] initcall zx2967_i2c_driver_init+0x0/0x20 returned 0 after 392 usecs
[    1.631083] initcall brcmstb_i2c_driver_init+0x0/0x20 returned 0 after 425 usecs
[    1.631561] initcall ec_i2c_tunnel_driver_init+0x0/0x20 returned 0 after 414 usecs
[    1.631735] initcall pca954x_driver_init+0x0/0x20 returned 0 after 124 usecs
[    1.632174] initcall ptp_dte_driver_init+0x0/0x20 returned 0 after 379 usecs
[    1.632614] initcall msm_restart_init+0x0/0x20 returned 0 after 377 usecs
[    1.634403] initcall vexpress_reset_init+0x0/0x20 returned 0 after 1679 usecs
[    1.634837] initcall xgene_reboot_init+0x0/0x20 returned 0 after 366 usecs
[    1.635295] initcall syscon_reboot_driver_init+0x0/0x20 returned 0 after 355 usecs
[    1.635802] initcall syscon_reboot_mode_driver_init+0x0/0x20 returned 0 after 405 usecs
[    1.635993] initcall bq27xxx_battery_i2c_driver_init+0x0/0x20 returned 0 after 132 usecs
[    1.636697] initcall scpi_hwmon_platdrv_init+0x0/0x20 returned 0 after 631 usecs
[    1.638775] initcall exynos_tmu_driver_init+0x0/0x20 returned 0 after 1948 usecs
[    1.639429] initcall hisi_thermal_driver_init+0x0/0x20 returned 0 after 566 usecs
[    1.639933] initcall mtk_thermal_driver_init+0x0/0x20 returned 0 after 436 usecs
[    1.640496] initcall s3c2410wdt_driver_init+0x0/0x20 returned 0 after 497 usecs
[    1.645954] initcall bcm2835_wdt_driver_init+0x0/0x20 returned 0 after 5256 usecs
[    1.646588] initcall rwdt_driver_init+0x0/0x20 returned 0 after 529 usecs
[    1.647008] initcall uniphier_wdt_driver_init+0x0/0x20 returned 0 after 355 usecs
[    1.647387] initcall dt_cpufreq_platdrv_init+0x0/0x20 returned 0 after 275 usecs
[    1.647532] initcall cpufreq_dt_platdev_init+0x0/0xdc returned -19 after 98 usecs
[    1.648018] initcall brcm_avs_cpufreq_platdrv_init+0x0/0x20 returned 0 after 364 usecs
[    1.648358] initcall scpi_cpufreq_platdrv_init+0x0/0x20 returned 0 after 277 usecs
[    1.648489] initcall tegra_cpufreq_init+0x0/0xb0 returned -2 after 84 usecs
[    1.648572] initcall tegra_cpufreq_init+0x0/0x94 returned -19 after 42 usecs
[    1.648769] initcall arm_idle_init+0x0/0x1ec returned -19 after 150 usecs
[    1.660251] initcall mmc_pwrseq_simple_driver_init+0x0/0x20 returned 0 after 11123 usecs
[    1.668572] initcall mmc_pwrseq_emmc_driver_init+0x0/0x20 returned 0 after 7957 usecs
[    1.670498] initcall mmc_blk_init+0x0/0xa0 returned 0 after 1737 usecs
[    1.670709] initcall mmci_driver_init+0x0/0x1c returned 0 after 140 usecs
[    1.671503] initcall sdhci_drv_init+0x0/0x2c returned 0 after 732 usecs
[    1.671901] initcall sdhci_acpi_driver_init+0x0/0x20 returned 0 after 340 usecs
[    1.672040] initcall mmc_spi_driver_init+0x0/0x20 returned 0 after 90 usecs
[    1.672528] initcall renesas_internal_dmac_sdhi_driver_init+0x0/0x20 returned 0 after 427 usecs
[    1.672933] initcall dw_mci_init+0x0/0x20 returned 0 after 347 usecs
[    1.675560] initcall dw_mci_pltfm_driver_init+0x0/0x20 returned 0 after 858 usecs
[    1.676362] initcall dw_mci_exynos_pltfm_driver_init+0x0/0x20 returned 0 after 653 usecs
[    1.677170] initcall dw_mci_k3_pltfm_driver_init+0x0/0x20 returned 0 after 705 usecs
[    1.678732] initcall dw_mci_rockchip_pltfm_driver_init+0x0/0x20 returned 0 after 1455 usecs
[    1.679471] initcall meson_mmc_driver_init+0x0/0x20 returned 0 after 644 usecs
[    1.680429] initcall sunxi_mmc_driver_init+0x0/0x20 returned 0 after 852 usecs
[    1.680892] initcall bcm2835_driver_init+0x0/0x20 returned 0 after 398 usecs
[    1.682911] initcall sdhci_pltfm_drv_init+0x0/0x20 returned 0 after 1911 usecs
[    1.683659] initcall sdhci_cdns_driver_init+0x0/0x20 returned 0 after 668 usecs
[    1.684486] initcall sdhci_tegra_driver_init+0x0/0x20 returned 0 after 748 usecs
[    1.685846] initcall sdhci_arasan_driver_init+0x0/0x20 returned 0 after 1275 usecs
[    1.686419] initcall sdhci_esdhc_driver_init+0x0/0x20 returned 0 after 508 usecs
[    1.686971] initcall sdhci_iproc_driver_init+0x0/0x20 returned 0 after 490 usecs
[    1.687407] initcall sdhci_msm_driver_init+0x0/0x20 returned 0 after 378 usecs
[    1.687868] initcall sdhci_brcmstb_driver_init+0x0/0x20 returned 0 after 403 usecs
[    1.688581] initcall sdhci_xenon_driver_init+0x0/0x20 returned 0 after 628 usecs
[    1.693735] initcall gpio_led_driver_init+0x0/0x20 returned 0 after 4956 usecs
[    1.694320] initcall led_pwm_driver_init+0x0/0x20 returned 0 after 512 usecs
[    1.694776] initcall syscon_led_driver_init+0x0/0x20 returned 0 after 395 usecs
[    1.694889] initcall heartbeat_trig_init+0x0/0x4c returned 0 after 68 usecs
[    1.700264] initcall ledtrig_cpu_init+0x0/0x10c returned 0 after 5171 usecs
[    1.700345] initcall defon_trig_init+0x0/0x1c returned 0 after 24 usecs
[    1.703122] initcall scpi_driver_init+0x0/0x20 returned 0 after 2604 usecs
[    1.704221] initcall scpi_power_domain_driver_init+0x0/0x20 returned 0 after 942 usecs
[    1.704979] initcall rpi_firmware_driver_init+0x0/0x20 returned 0 after 661 usecs
[    1.710427] initcall meson_sm_init+0x0/0xc8 returned -19 after 116 usecs
[    1.710569] initcall esrt_sysfs_init+0x0/0x2a0 returned -38 after 56 usecs
[    1.710615] initcall efi_capsule_loader_init+0x0/0x58 returned -19 after 10 usecs
[    1.711094] initcall hid_init+0x0/0x64 returned 0 after 422 usecs
[    1.711363] initcall hid_generic_init+0x0/0x28 returned 0 after 215 usecs
[    1.711673] initcall a4_driver_init+0x0/0x28 returned 0 after 235 usecs
[    1.712047] initcall apple_driver_init+0x0/0x28 returned 0 after 294 usecs
[    1.712317] initcall belkin_driver_init+0x0/0x28 returned 0 after 193 usecs
[    1.712631] initcall ch_driver_init+0x0/0x28 returned 0 after 237 usecs
[    1.712824] initcall ch_driver_init+0x0/0x28 returned 0 after 129 usecs
[    1.713172] initcall cp_driver_init+0x0/0x28 returned 0 after 292 usecs
[    1.714330] initcall ez_driver_init+0x0/0x28 returned 0 after 1051 usecs
[    1.714769] initcall ite_driver_init+0x0/0x28 returned 0 after 322 usecs
[    1.715046] initcall ks_driver_init+0x0/0x28 returned 0 after 214 usecs
[    1.715267] initcall lg_driver_init+0x0/0x28 returned 0 after 163 usecs
[    1.715508] initcall ms_driver_init+0x0/0x28 returned 0 after 186 usecs
[    1.715708] initcall mr_driver_init+0x0/0x28 returned 0 after 145 usecs
[    1.716800] initcall hid_init+0x0/0x6c returned 0 after 1010 usecs
[    1.717872] initcall arm_mhu_driver_init+0x0/0x1c returned 0 after 994 usecs
[    1.718543] initcall platform_mhu_driver_init+0x0/0x20 returned 0 after 584 usecs
[    1.719424] initcall bcm2835_mbox_driver_init+0x0/0x20 returned 0 after 751 usecs
[    1.720295] initcall flexrm_mbox_driver_init+0x0/0x20 returned 0 after 705 usecs
[    1.720536] initcall extcon_class_init+0x0/0x28 returned 0 after 174 usecs
[    1.721918] initcall usb_extcon_driver_init+0x0/0x20 returned 0 after 1296 usecs
[    1.722652] initcall exynos_adc_driver_init+0x0/0x20 returned 0 after 662 usecs
[    1.723453] initcall meson_sar_adc_driver_init+0x0/0x20 returned 0 after 695 usecs
[    1.723973] initcall register_l2_cache_pmu_driver+0x0/0x50 returned 0 after 429 usecs
[    1.724359] initcall register_qcom_l3_cache_pmu_driver+0x0/0x50 returned 0 after 322 usecs
[    1.724894] initcall bcm_otpc_driver_init+0x0/0x20 returned 0 after 469 usecs
[    1.724983] initcall optee_driver_init+0x0/0x498 returned -19 after 43 usecs
[    1.727296] initcall alsa_timer_init+0x0/0x1c4 returned 0 after 2193 usecs
[    1.727742] initcall alsa_pcm_init+0x0/0x7c returned 0 after 379 usecs
[    1.734073] initcall snd_soc_init+0x0/0x100 returned 0 after 6110 usecs
[    1.734534] initcall asoc_simple_card_init+0x0/0x20 returned 0 after 376 usecs
[    1.735102] initcall sock_diag_init+0x0/0x4c returned 0 after 480 usecs
[    1.735167] initcall gre_offload_init+0x0/0x5c returned 0 after 24 usecs
[    1.735534] initcall sysctl_ipv4_init+0x0/0x5c returned 0 after 318 usecs
[    1.735656] initcall xfrm4_beet_init+0x0/0x20 returned 0 after 81 usecs
[    1.735707] initcall xfrm4_transport_init+0x0/0x20 returned 0 after 17 usecs
[    1.735751] initcall xfrm4_mode_tunnel_init+0x0/0x20 returned 0 after 9 usecs
[    1.735930] initcall inet_diag_init+0x0/0x98 returned 0 after 139 usecs
[    1.736015] initcall tcp_diag_init+0x0/0x1c returned 0 after 49 usecs
[    1.736091] initcall cubictcp_register+0x0/0x60 returned 0 after 41 usecs
[    1.753228] initcall packet_init+0x0/0x58 returned 0 after 16634 usecs
[    1.756392] initcall init_rpcsec_gss+0x0/0x88 returned 0 after 2924 usecs
[    1.758522] initcall init_p9+0x0/0x28 returned 0 after 1949 usecs
[    1.759400] initcall p9_virtio_init+0x0/0x40 returned 0 after 716 usecs
[    1.760137] initcall init_dns_resolver+0x0/0x108 returned 0 after 641 usecs

 

6 레벨: device_initcall_sync()

[    1.760203] initcall arm_smmu_legacy_bus_init+0x0/0x30 returned 0 after 23 usecs

 

7 레벨: late_initcall()

[    1.760773] initcall sys_reg_genericv8_init+0x0/0x6c returned 0 after 37 usecs
[    1.760822] initcall xen_pm_init+0x0/0xd4 returned -19 after 15 usecs
[    1.760880] initcall init_oops_id+0x0/0x40 returned 0 after 20 usecs
[    1.764204] initcall pm_qos_power_init+0x0/0xcc returned 0 after 3108 usecs
[    1.764341] initcall pm_debugfs_init+0x0/0x34 returned 0 after 64 usecs
[    1.764448] initcall printk_late_init+0x0/0x130 returned 0 after 66 usecs
[    1.764524] initcall tk_debug_sleep_time_init+0x0/0x4c returned 0 after 36 usecs
[    1.766003] initcall taskstats_init+0x0/0x4c returned 0 after 1395 usecs
[    1.766130] initcall fault_around_debugfs+0x0/0x44 returned 0 after 73 usecs
[    1.766174] initcall max_swapfiles_check+0x0/0x8 returned 0 after 4 usecs
[    1.766305] initcall split_huge_pages_debugfs+0x0/0x48 returned 0 after 90 usecs
[    1.766378] initcall check_early_ioremap_leak+0x0/0x5c returned 0 after 35 usecs
[    1.768147] initcall init_root_keyring+0x0/0x14 returned 0 after 1672 usecs
[    1.768324] initcall prandom_reseed+0x0/0x40 returned 0 after 124 usecs
[    1.768424] initcall pci_resource_alignment_sysfs_init+0x0/0x28 returned 0 after 54 usecs
[    1.771184] initcall pci_sysfs_init+0x0/0x60 returned 0 after 2629 usecs
[    1.771262] initcall bert_init+0x0/0x21c returned 0 after 27 usecs
[    1.771765] initcall clk_debug_init+0x0/0x14c returned 0 after 447 usecs
[    1.771855] initcall boot_wait_for_devices+0x0/0x28 returned 0 after 46 usecs
[    1.772122] initcall deferred_probe_initcall+0x0/0x48 returned 0 after 212 usecs
[    1.772248] initcall pm_genpd_debug_init+0x0/0x17c returned 0 after 77 usecs
[    1.772311] initcall genpd_power_off_unused+0x0/0x94 returned 0 after 28 usecs
[    1.775732] initcall gpio_keys_init+0x0/0x20 returned 0 after 3271 usecs
[    1.778098] initcall rtc_hctosys+0x0/0xe4 returned 0 after 2222 usecs
[    1.778189] initcall register_update_efi_random_seed+0x0/0x38 returned 0 after 36 usecs
[    1.778236] initcall efi_shutdown_init+0x0/0x54 returned -19 after 9 usecs
[    1.778530] initcall of_fdt_raw_init+0x0/0x7c returned 0 after 248 usecs
[    1.778648] initcall tcp_congestion_default+0x0/0x1c returned 0 after 69 usecs
[    1.778849] initcall ip_auto_config+0x0/0xebc returned 0 after 115 usecs

 

7 레벨: late_initcall_sync()

[    1.778931] initcall software_resume+0x0/0x298 returned -2 after 38 usecs
[    1.778976] initcall fb_logo_late_init+0x0/0x14 returned 0 after 6 usecs
[    1.779135] initcall clk_disable_unused+0x0/0x138 returned 0 after 115 usecs
[    1.779236] initcall regulator_init_complete+0x0/0x70 returned 0 after 56 usecs
[    1.779790] initcall alsa_sound_last_init+0x0/0x80 returned 0 after 497 usecs
[    2.441747] initcall inet6_init+0x0/0x350 [ipv6] returned 0 after 11985 usecs
[    2.452314] initcall xt_init+0x0/0x1000 [x_tables] returned 0 after 167 usecs
[    2.462849] initcall ip_tables_init+0x0/0x1000 [ip_tables] returned 0 after 3393 usecs
[   40.729837] initcall cpu_feature_match_PMULL_init+0x0/0x1000 [crct10dif_ce] returned 0 after 100664 usecs
[   40.868079] initcall crc32_pmull_mod_init+0x0/0x1000 [crc32_ce] returned 0 after 67230 usecs

 

참고

 

 

 

devtmpfs & kdevtmpfs 스레드

 

devtmpfs

 

기존 커널이 사용했던 devfs를 대신하여 커널 2.6에 도입된 udev 데몬을 통해 디바이스 드라이버의 로딩이 이루어진다. udev 데몬이 유저 프로세스에서 동작하므로 커널 부팅 후 루트 파일시스템을 마운트한 후에야 디바이스 드라이버의 로딩이 가능해진다. 대부분의 디바이스 드라이버들은 커널 부트업 과정에서 로딩이 이루어지므로 루트 파일 시스템을 로딩하기 전에 initrd/initramfs 등에 존재하는 디바이스 드라이버를 임시 파일 시스템인 devtmpfs에 로딩시켜 부팅 시간을 단축할 목적으로 사용한다.

 

다음 그림과 같이 루트 파일 시스템을 마운트하기 전에 디바이스 드라이버들이 devtmpfs에 로딩되어 부팅 시간을 단축시키는 과정을 보여준다.

 

devtmpfs_init()

drivers/base/devtmpfs.c

/*                                                                              
 * Create devtmpfs instance, driver-core devices will add their device          
 * nodes here.                                                                  
 */                                                                             
int __init devtmpfs_init(void)                                                  
{                                                                               
    int err = register_filesystem(&dev_fs_type);                                
    if (err) {                                                                  
        printk(KERN_ERR "devtmpfs: unable to register devtmpfs "                
               "type %i\n", err);                                               
        return err;                                                             
    }                                                                           
                                                                                
    thread = kthread_run(devtmpfsd, &err, "kdevtmpfs");                         
    if (!IS_ERR(thread)) {                                                      
        wait_for_completion(&setup_done);                                       
    } else {                                                                    
        err = PTR_ERR(thread);                                                  
        thread = NULL;                                                          
    }                                                                           
                                                                                
    if (err) {                                                                  
        printk(KERN_ERR "devtmpfs: unable to create devtmpfs %i\n", err);       
        unregister_filesystem(&dev_fs_type);                                    
        return err;                                                             
    }                                                                           
                                                                                
    printk(KERN_INFO "devtmpfs: initialized\n");                                
    return 0;                                                                   
}

다음 devtmpfs라는 이름을 가진 파일 시스템을 등록한다. 그런 후 “kdevtmpfs” 스레드를 동작시킨다.

static struct file_system_type dev_fs_type = {                                  
    .name = "devtmpfs",                                                         
    .mount = dev_mount,                                                         
    .kill_sb = kill_litter_super,                                               
};

 

kdevtmpfs 스레드

다음 그림은 디바이스 드라이버들의 로딩/언로딩 요청에 대해 devtmpfs에 디바이스 노드를 생성 및 삭제하는 과정을 보여준다.

 

devtmpfsd()

drivers/base/devtmpfs.c

static int devtmpfsd(void *p)                                                   
{                                                                               
    char options[] = "mode=0755";                                               
    int *err = p;                                                               
    *err = sys_unshare(CLONE_NEWNS);                                            
    if (*err)                                                                   
        goto out;                                                               
    *err = sys_mount("devtmpfs", "/", "devtmpfs", MS_SILENT, options);          
    if (*err)                                                                   
        goto out;                                                               
    sys_chdir("/.."); /* will traverse into overmounted root */                 
    sys_chroot(".");                                                            
    complete(&setup_done);                                                      
    while (1) {                                                                 
        spin_lock(&req_lock);                                                   
        while (requests) {                                                      
            struct req *req = requests;                                         
            requests = NULL;                                                    
            spin_unlock(&req_lock);                                             
            while (req) {                                                       
                struct req *next = req->next;                                   
                req->err = handle(req->name, req->mode,                         
                          req->uid, req->gid, req->dev);                        
                complete(&req->done);                                           
                req = next;                                                     
            }                                                                   
            spin_lock(&req_lock);                                               
        }                                                                       
        __set_current_state(TASK_INTERRUPTIBLE);                                
        spin_unlock(&req_lock);                                                 
        schedule();                                                             
    }                                                                           
    return 0;                                                                   
out:                                                                            
    complete(&setup_done);                                                      
    return *err;                                                                
}

kdevtmpfs 스레드가 처음 동작하고 무한 루프를 돌며 디바이스 노드 생성 및 삭제 요청을 처리하는 함수이다.

  • 코드 라인 5~7에서 현재 동작중인 파일 시스템 정보를 복사하여 새 스레드에서 사용할 수 있게 한다.
  • 코드 라인 8~10에서 “devtmpfs” 파일 시스템을 마운트한다.
  • 코드 라인 11~13에서 루트 디렉토리로 이동시킨 후 setup_done 변수에 complete 신호를 보내 싱크 대기중인 부모 태스크를 동작하게 한다.
  • 코드 라인 14~33에서 반복 루프를 돌며 요청이 있는 경우 요청에 대한 처리를 수행한다.

 

handle()

base/devtmpfs.c

static int handle(const char *name, umode_t mode, kuid_t uid, kgid_t gid,       
          struct device *dev)                                                   
{                                                                               
    if (mode)                                                                   
        return handle_create(name, mode, uid, gid, dev);                        
    else                                                                        
        return handle_remove(name, dev);                                        
}

mode에 따라 핸들 생성 및 삭제 함수를 호출한다.

 

handle_create()

drivers/base/devtmpfs.c

static int handle_create(const char *nodename, umode_t mode, kuid_t uid,        
             kgid_t gid, struct device *dev)                                    
{                                                                               
    struct dentry *dentry;                                                      
    struct path path;                                                           
    int err;                                                                    
                                                                                
    dentry = kern_path_create(AT_FDCWD, nodename, &path, 0);                    
    if (dentry == ERR_PTR(-ENOENT)) {                                           
        create_path(nodename);                                                  
        dentry = kern_path_create(AT_FDCWD, nodename, &path, 0);                
    }                                                                           
    if (IS_ERR(dentry))                                                         
        return PTR_ERR(dentry);                                                 
                                                                                
    err = vfs_mknod(d_inode(path.dentry), dentry, mode, dev->devt);             
    if (!err) {                                                                 
        struct iattr newattrs;                                                  
                                                                                
        newattrs.ia_mode = mode;                                                
        newattrs.ia_uid = uid;                                                  
        newattrs.ia_gid = gid;                                                  
        newattrs.ia_valid = ATTR_MODE|ATTR_UID|ATTR_GID;                        
        inode_lock(d_inode(dentry));                                            
        notify_change(dentry, &newattrs, NULL);                                 
        inode_unlock(d_inode(dentry));                                          
                                                                                
        /* mark as kernel-created inode */                                      
        d_inode(dentry)->i_private = &thread;                                   
    }                                                                           
    done_path_create(&path, dentry);                                            
    return err;                                                                 
}

디바이스 파일을 생성하고 디바이스 노드를 생성한다.

 

handle_remove()

drivers/base/devtmpfs.c

static int handle_remove(const char *nodename, struct device *dev)              
{                                                                               
    struct path parent;                                                         
    struct dentry *dentry;                                                      
    int deleted = 0;                                                            
    int err;                                                                    
                                                                                
    dentry = kern_path_locked(nodename, &parent);                               
    if (IS_ERR(dentry))                                                         
        return PTR_ERR(dentry);                                                 
                                                                                
    if (d_really_is_positive(dentry)) {                                         
        struct kstat stat;                                                      
        struct path p = {.mnt = parent.mnt, .dentry = dentry};                  
        err = vfs_getattr(&p, &stat, STATX_TYPE | STATX_MODE,                   
                  AT_STATX_SYNC_AS_STAT);                                       
        if (!err && dev_mynode(dev, d_inode(dentry), &stat)) {                  
            struct iattr newattrs;                                              
            /*                                                                  
             * before unlinking this node, reset permissions                    
             * of possible references like hardlinks                            
             */                                                                 
            newattrs.ia_uid = GLOBAL_ROOT_UID;                                  
            newattrs.ia_gid = GLOBAL_ROOT_GID;                                  
            newattrs.ia_mode = stat.mode & ~0777;                               
            newattrs.ia_valid =                                                 
                ATTR_UID|ATTR_GID|ATTR_MODE;                                    
            inode_lock(d_inode(dentry));                                        
            notify_change(dentry, &newattrs, NULL);                             
            inode_unlock(d_inode(dentry));                                      
            err = vfs_unlink(d_inode(parent.dentry), dentry, NULL);             
            if (!err || err == -ENOENT)                                         
                deleted = 1;                                                    
        }                                                                       
    } else {                                                                    
        err = -ENOENT;                                                          
    }                                                                           
    dput(dentry);                                                               
    inode_unlock(d_inode(parent.dentry));                                       
                                                                                
    path_put(&parent);                                                          
    if (deleted && strchr(nodename, '/'))                                       
        delete_path(nodename);                                                  
    return err;                                                                 
}

디바이스 노드를 삭제하고, 디바이스 파일도 삭제한다.

 

참고

 

driver_init()

 

리눅스 디바이스 드라이버 모델의 초기화

 

리눅스 디바이스 드라이버 모델을 표현하기위해 kobjectkset등이 사용된다.

  • sysfs는 kobject 및 kset 등으로 이루어진 하이라키 관계를 sysfs 가상 파일 시스템을 통해 표현되고 관리된다.

 

다음 그림은 디바이스 드라이버 모델의 초기화 호출 과정을 보여준다.

 

driver_init()

drivers/base/init.c

/**                                                                             
 * driver_init - initialize driver model.                                       
 *                                                                              
 * Call the driver model init functions to initialize their                     
 * subsystems. Called early from init/main.c.                                   
 */                                                                             
void __init driver_init(void)                                                   
{                                                                               
    /* These are the core pieces */                                             
    devtmpfs_init();                                                            
    devices_init();                                                             
    buses_init();                                                               
    classes_init();                                                             
    firmware_init();                                                            
    hypervisor_init();                                                          
                                                                                
    /* These are also core pieces, but must come after the                      
     * core core pieces.                                                        
     */                                                                         
    platform_bus_init();                                                        
    cpu_dev_init();                                                             
    memory_dev_init();                                                          
    container_dev_init();                                                       
    of_core_init();                                                             
}

리눅스 커널이 사용하는 드라이버 모델의 초기화를 수행한다.

  • 코드 라인 10에서 devtmpfs 파일 시스템을 마운트하고 kdevtmpfs 스레드를 생성하고 동작시킨다.
  • 코드 라인 11에서 디바이스를 표현 및 관리할 “/sys/devices” 및 “/sys/dev” 디렉토리를 생성한다. 또한 캐릭터 디바이스를 표현 및 관리할 “/sys/dev/block” 디렉토리와 블럭 디바이스를 표현 및 관리할 “/sys/dev/char” 디렉토리를 생성한다.
  • 코드 라인 12에서 버스 디바이스를 표현 및 관리할 “/sys/bus” 디렉토리를 생성한다. 또한 서브 시스템들이 등록될 “/sys/devices/system” 디렉토리도 생성한다.
  • 코드 라인 13에서 클래스 디바이스를 표현 및 관리할 “/sys/class” 디렉토리를 생성한다.
  • 코드 라인 14에서 펌웨어를 표현 및 관리할 “/sys/firmware” 디렉토리를 생성한다.
  • 코드 라인 15에서 하이퍼바이저를 표현 및 관리할 “/sys/hypervisor” 디렉토리를 생성한다.
  • 코드 라인 20에서 플랫폼 디바이스를 표현 및 관리할 “/sys/devices/platform” 디렉토리와 “/sys/bus/platform” 디렉토리를 생성한다.
  • 코드 라인 21에서 cpu 서브시스템의 cpu들을 표현 및 관리할  “/sys/devices/system/cpu” 디렉토리와 그 아래에 속성 파일들을 생성한다.
  • 코드 라인 22에서 hotplug 허용된 시스템에서 memory 서브시스템의 memory 블럭들을 표현 및 관리할  “/sys/devices/system/memory” 디렉토리와 그 아래에 속성 파일들을 생성한다.
  • 코드 라인 23에서 컨테이너 서브시스템의 컨테이너들을 표현 및 관리할 “/sys/devices/system/container” 디렉토리를 생성한다.
  • 코드 라인 24에서 디바이스 트리를 표현 및 관리할 “/sys/firmware/devicetree” 디렉토리를 생성하고, 그 이하에 모든 노드에 대한 디렉토리를 만든다. 그리고 각 노드의 속성들도 해당 노드 디렉토리에 각각 파일로 추가한다.

 

devices_init()

drivers/base/core.c

int __init devices_init(void)                                                   
{                                                                               
    devices_kset = kset_create_and_add("devices", &device_uevent_ops, NULL);    
    if (!devices_kset)                                                          
        return -ENOMEM;                                                         
    dev_kobj = kobject_create_and_add("dev", NULL);                             
    if (!dev_kobj)                                                              
        goto dev_kobj_err;                                                      
    sysfs_dev_block_kobj = kobject_create_and_add("block", dev_kobj);           
    if (!sysfs_dev_block_kobj)                                                  
        goto block_kobj_err;                                                    
    sysfs_dev_char_kobj = kobject_create_and_add("char", dev_kobj);             
    if (!sysfs_dev_char_kobj)                                                   
        goto char_kobj_err;                                                     
                                                                                
    return 0;                                                                   
                                                                                
 char_kobj_err:                                                                 
    kobject_put(sysfs_dev_block_kobj);                                          
 block_kobj_err:                                                                
    kobject_put(dev_kobj);                                                      
 dev_kobj_err:                                                                  
    kset_unregister(devices_kset);                                              
    return -ENOMEM;                                                             
}

디바이스를 표현 및 관리할 “/sys/devices” 및 “/sys/dev” 디렉토리를 생성한다. 또한 캐릭터 디바이스를 표현 및 관리할 “/sys/dev/block” 디렉토리와 블럭 디바이스를 표현 및 관리할 “/sys/dev/char” 디렉토리를 생성한다.

  • 코드 라인 1~3에서 “devices” 이름을 갖는 kset를 생성하고 sysfs 루트에 추가한다.
  • 코드 라인 4~6에서 “dev” 이름을 갖는 kobject를 생성하고 sysfs 루트에 생성한다.
  • 코드 라인 7~9에서 “block” 이름을 갖는 kobject를 생성하고 “/sys/dev” 뒤에 추가한다.
  • 코드 라인 10~12에서 “char” 이름을 갖는 kobject를 생성하고 “/sys/dev” 뒤에 추가한다.

 

buses_init()

drivers/base/bus.c

int __init buses_init(void)                                                     
{                                                                               
    bus_kset = kset_create_and_add("bus", &bus_uevent_ops, NULL);               
    if (!bus_kset)                                                              
        return -ENOMEM;                                                         
                                                                                
    system_kset = kset_create_and_add("system", NULL, &devices_kset->kobj);     
    if (!system_kset)                                                           
        return -ENOMEM;                                                         
                                                                                
    return 0;                                                                   
}

버스 디바이스를 표현 및 관리할 “/sys/bus” 디렉토리를 생성한다. 또한 서브 시스템들이 등록될 “/sys/devices/system” 디렉토리도 생성한다.

  • 코드 라인 3~5에서 “bus” 이름을 갖는 kset를 생성하고 sysfs 루트에 추가한다.
  • 코드 라인 7~9에서 “system” 이름을 갖는 kset를 생성하고 “/sys/devices” 뒤에 추가한다.

 

classes_init()

drivers/base/class.c

int __init classes_init(void)                                                   
{                                                                               
    class_kset = kset_create_and_add("class", NULL, NULL);                      
    if (!class_kset)                                                            
        return -ENOMEM;                                                         
    return 0;                                                                   
}

클래스 디바이스를 표현 및 관리할 “/sys/class” 디렉토리를 생성한다.

  • 코드 라인 3~5에서 “class” 이름을 갖는 kset를 생성하고 sysfs 루트에 추가한다.

 

firmware_init()

drivers/base/firmware.c

int __init firmware_init(void)                                                  
{                                                                               
    firmware_kobj = kobject_create_and_add("firmware", NULL);                   
    if (!firmware_kobj)                                                         
        return -ENOMEM;                                                         
    return 0;                                                                   
}

펌웨어를 표현 및 관리할 “/sys/firmware” 디렉토리를 생성한다.

  • 코드 라인 3~5에서 “firmware” 이름을 갖는 kobject를 생성하고 sysfs 루트에 추가한다.

 

 

hypervisor_init()

drivers/base/hypervisor.c

int __init hypervisor_init(void)                                                
{                                                                               
    hypervisor_kobj = kobject_create_and_add("hypervisor", NULL);               
    if (!hypervisor_kobj)                                                       
        return -ENOMEM;                                                         
    return 0;                                                                   
}

하이퍼바이저를 표현 및 관리할 “/sys/hypervisor” 디렉토리를 생성한다.

  • 코드 라인 3~5에서 “hypervisor” 이름을 갖는 kobject를 생성하고 sysfs 루트에 추가한다.

 

platform_bus_init()

drivers/base/platform.c

int __init platform_bus_init(void)                                              
{                                                                               
    int error;                                                                  
                                                                                
    early_platform_cleanup();                                                   
                                                                                
    error = device_register(&platform_bus);                                     
    if (error)                                                                  
        return error;                                                           
    error =  bus_register(&platform_bus_type);                                  
    if (error)                                                                  
        device_unregister(&platform_bus);                                       
    of_platform_register_reconfig_notifier();                                   
    return error;                                                               
}

플랫폼 디바이스를 표현 및 관리할 “/sys/devices/platform” 디렉토리와 “/sys/bus/platform” 디렉토리를 생성한다.

  • 코드 라인 5에서 early 플랫폼 디바이스를 리스트에서 제거한다.
  • 코드 라인 7~9에서 플랫폼 버스 디바이스를 등록한다.
    • 플랫폼 버스 디바이스를 표현하고 관리할 “/sys/devices/platform” 디렉토리를 생성한다.
  • 코드 라인 10~12에서 플랫폼 버스를 등록한다.
    • 플랫폼 버스를 표현하고 관리할 “/sys/bus/platform” 디렉토리를 생성한다.
  • 코드 라인 13에서 디바이스 트리를 통해 플랫폼 디바이스가 추가/삭제될 때 마다 호출되도록 notifier block에 of_platform_notify() 함수를 등록한다.

 

등록될 디바이스

struct device platform_bus = {                                                  
    .init_name  = "platform",                                                   
};                                                                              
EXPORT_SYMBOL_GPL(platform_bus);

 

등록될 버스

struct bus_type platform_bus_type = {                                           
    .name       = "platform",                                                   
    .dev_groups = platform_dev_groups,                                          
    .match      = platform_match,                                               
    .uevent     = platform_uevent,                                              
    .pm     = &platform_dev_pm_ops,                                             
};                                                                              
EXPORT_SYMBOL_GPL(platform_bus_type);

 

예) 다음은 platform 버스 디바이스 아래에 등록된 플랫폼 디바이스들이다.

$ ls /sys/devices/platform -la
drwxr-xr-x    3 root     root             0 May 16 15:00 20020000.pcie
drwxr-xr-x    3 root     root             0 Mar 15 09:55 50020000.pcie
drwxr-xr-x    3 root     root             0 May 16 15:00 60c00000.pcie
drwxr-xr-x    3 root     root             0 May 28 16:17 Fixed MDIO bus.0
drwxr-xr-x    2 root     root             0 May 28 16:17 alarmtimer
drwxr-xr-x    2 root     root             0 May 28 16:17 pmu
drwxr-xr-x    2 root     root             0 May 28 16:17 psci
drwxr-xr-x    2 root     root             0 May 28 16:17 secure_rtc
drwxr-xr-x    2 root     root             0 May 28 16:17 serial8250
drwxr-xr-x   70 root     root             0 Mar 30 15:41 soc
drwxr-xr-x    2 root     root             0 May 28 16:17 timer
-rw-r--r--    1 root     root          4096 May 28 16:17 uevent

 

early_platform_cleanup()

drivers/base/platform.c

/**                                                                             
 * early_platform_cleanup - clean up early platform code                        
 */                                                                             
void __init early_platform_cleanup(void)                                        
{                                                                               
    struct platform_device *pd, *pd2;                                           
                                                                                
    /* clean up the devres list used to chain devices */                        
    list_for_each_entry_safe(pd, pd2, &early_platform_device_list,              
                 dev.devres_head) {                                             
        list_del(&pd->dev.devres_head);                                         
        memset(&pd->dev.devres_head, 0, sizeof(pd->dev.devres_head));           
    }                                                                           
}

등록된 early 플랫폼 디바이스들을 리스트에서 제거한다.

  • early_platform_add_devices() 함수로 추가한 플랫폼 디바이스이다.
  • arm64에서는 early 플랫폼 디바이스를 등록하지 않는다.
  • 디바이스 트리를 통해 플랫폼 디바이스가 추가/삭제될 때 마다 of_platform_notify() 후크 함수가 호출되도록 등록한다.

 

of_platform_register_reconfig_notifier()

drivers/of/platform.c

void of_platform_register_reconfig_notifier(void)                               
{                                                                               
    WARN_ON(of_reconfig_notifier_register(&platform_of_notifier));              
}

디바이스 트리를 통해 플랫폼 디바이스가 추가/삭제될 때 마다 호출되도록 notifier block에 of_platform_notify() 함수를 등록한다.

  • CONFIG_OF_DYNAMIC 및 CONFIG_OF_ADDRESS 두 커널 옵션이 사용되어야 동작한다.
  • 참고: Platform Device | 문c

 

cpu_dev_init()

drivers/base/cpu.c

void __init cpu_dev_init(void)                                                  
{                                                                               
    if (subsys_system_register(&cpu_subsys, cpu_root_attr_groups))              
        panic("Failed to register CPU subsystem");                              
                                                                                
    cpu_dev_register_generic();                                                 
    cpu_register_vulnerabilities();                                             
}

cpu 서브시스템의 cpu들을 표현 및 관리할  “/sys/devices/system/cpu” 디렉토리와 그 아래에 속성 파일들을 생성한다.

  • 코드 라인 3~4에서 cpu 서브 시스템을 등록하고 그 밑에 속성들을 추가한다.
    • “/sys/devices/system/cpu” 디렉토리를 만들고 그 밑에 다음 속성들을 추가한다.
      • probe, release, online, possible, present, offline, isolated, nohz_full, modalias
  • 코드 라인 6~7에서 CONFIG_GENERIC_CPU_DEVICES 커널 옵션을 사용하는 경우 호출되지만 arm64 아키텍처는 관련 없다.

 

다음은 cpu 서브 시스템에 해당하는 버스 타입이다.

struct bus_type cpu_subsys = {                                                  
    .name = "cpu",                                                              
    .dev_name = "cpu",                                                          
    .match = cpu_subsys_match,                                                  
#ifdef CONFIG_HOTPLUG_CPU                                                       
    .online = cpu_subsys_online,                                                
    .offline = cpu_subsys_offline,                                              
#endif                                                                          
};                                                                              
EXPORT_SYMBOL_GPL(cpu_subsys);

 

다음은 cpu 서브 시스템에 추가될 속성들이다.

static struct attribute *cpu_root_attrs[] = {                                   
#ifdef CONFIG_ARCH_CPU_PROBE_RELEASE                                            
    &dev_attr_probe.attr,                                                       
    &dev_attr_release.attr,                                                     
#endif                                                                          
    &cpu_attrs[0].attr.attr,                                                    
    &cpu_attrs[1].attr.attr,                                                    
    &cpu_attrs[2].attr.attr,                                                    
    &dev_attr_kernel_max.attr,                                                  
    &dev_attr_offline.attr,                                                     
    &dev_attr_isolated.attr,                                                    
#ifdef CONFIG_NO_HZ_FULL                                                        
    &dev_attr_nohz_full.attr,                                                   
#endif                                                                          
#ifdef CONFIG_GENERIC_CPU_AUTOPROBE                                             
    &dev_attr_modalias.attr,                                                    
#endif                                                                          
    NULL                                                                        
};

 

cpu 서브 시스템에 등록된 속성들을 간단히 알아본다.

  • probe
    • CONFIG_ARCH_CPU_PROBE_RELEASE 커널 옵션이 필요하다.
  • release
    • CONFIG_ARCH_CPU_PROBE_RELEASE 커널 옵션이 필요하다.
  • online
    • 현재 online 된 cpu를 보여준다. (장착되고 online된 상태의 cpu)
    • 예) 0-1
  • possible
    • possible cpu를 보여준다. (장착 되었거나 추가 장착 가능한 상태의 cpu)
    • 예) 0~3
  • present
    • preseent cpu를 보여준다. (장착된 상태의 cpu)
    • 예) 0~1
  • kernel_max
    • 현재 부팅된 커널이 지원하는 최고 cpu 번호 (NR_CPUS -1)
      • 예) 3
  • offline
    • offline된 cpu를 보여준다.
      • 예) 2~3
  • isolated
    • isolate된 cpu를 보여준다. (스케줄링에서 제외된 cpu)
      • 예) 기본적으로는 없으므로 아무것도 보여주지 않는다.
  • nohz_full
    • nohz full된 상태의 cpu를 보여준다.
    • CONFIG_NO_HZ_FULL 커널 옵션이 필요하다.
  • modalias
    • cpu 타입과 feature들을 보여준다.
    • 예) cpu:type:aarch64_be:feature:,0000,0001,0003,0004,0005,0006,0007
    • CONFIG_GENERIC_CPU_AUTOPROBE 커널 옵션이 필요하다.
    • arm, arm64, mips, s390, x86 등 많은 아키텍처들이 이 커널 옵션을 사용한다.

 

예) 다음은 cpu 서브 시스템에 등록된 cpu들과 속성들이다.

  • cpu0 ~ cpu3과 같은 cpu 디렉토리들은 cpu가 online/offline될 때마다 추가/제거된다.
$ ls /sys/devices/system/cpu -la
drwxr-xr-x    4 root     root             0 May 28 16:50 cpu0
drwxr-xr-x    4 root     root             0 May 28 16:50 cpu1
drwxr-xr-x    2 root     root             0 May 28 16:50 cpu2
drwxr-xr-x    2 root     root             0 May 28 16:50 cpu3
drwxr-xr-x    2 root     root             0 May 28 16:50 cpufreq
drwxr-xr-x    2 root     root             0 May 28 16:50 cpuidle
-r--r--r--    1 root     root          4096 May 28 16:50 isolated
-r--r--r--    1 root     root          4096 May 28 16:50 kernel_max
-r--r--r--    1 root     root          4096 May 28 16:50 modalias
-r--r--r--    1 root     root          4096 May 28 16:50 offline
-r--r--r--    1 root     root          4096 Mar 15 09:55 online
-r--r--r--    1 root     root          4096 May 28 16:50 possible
-r--r--r--    1 root     root          4096 May 28 16:50 present
-rw-r--r--    1 root     root          4096 May 28 16:50 uevent

 

예) 다음은 cpu0에 대한 속성들이다.

<pre “>$ ls /sys/devices/system/cpu/cpu0 -la drwxr-xr-x 5 root root 0 May 28 17:12 cache -r——– 1 root root 4096 May 28 17:12 frequency lrwxrwxrwx 1 root root 0 May 28 17:12 of_node -> ../../../../firmware/devicetree/base/cpus/cpu@0 -rw-r–r– 1 root root 4096 May 28 17:12 online lrwxrwxrwx 1 root root 0 May 28 17:12 subsystem -> ../../../../bus/cpu drwxr-xr-x 2 root root 0 May 28 17:12 topology -rw-r–r– 1 root root 4096 May 28 17:12 uevent

 

memory_dev_init()

drivers/base/memory.c

/*                                                                              
 * Initialize the sysfs support for memory devices...                           
 */                                                                             
int __init memory_dev_init(void)                                                
{                                                                               
    unsigned int i;                                                             
    int ret;                                                                    
    int err;                                                                    
    unsigned long block_sz;                                                     
                                                                                
    ret = subsys_system_register(&memory_subsys, memory_root_attr_groups);      
    if (ret)                                                                    
        goto out;                                                               
                                                                                
    block_sz = get_memory_block_size();                                         
    sections_per_block = block_sz / MIN_MEMORY_BLOCK_SIZE;                      
                                                                                
    /*                                                                          
     * Create entries for memory sections that were found                       
     * during boot and have been initialized                                    
     */                                                                         
    mutex_lock(&mem_sysfs_mutex);                                               
    for (i = 0; i < NR_MEM_SECTIONS; i += sections_per_block) {                 
        /* Don't iterate over sections we know are !present: */                 
        if (i > __highest_present_section_nr)                                   
            break;                                                              
                                                                                
        err = add_memory_block(i);                                              
        if (!ret)                                                               
            ret = err;                                                          
    }                                                                           
    mutex_unlock(&mem_sysfs_mutex);                                             
                                                                                
out:                                                                            
    if (ret)                                                                    
        printk(KERN_ERR "%s() failed: %d\n", __func__, ret);                    
    return ret;                                                                 
}

hotplug 허용된 시스템(CONFIG_MEMORY_HOTPLUG_SPARSE 커널 옵션)에서 memory 서브시스템의 memory 블럭들을 표현 및 관리할  “/sys/devices/system/memory” 디렉토리와 그 아래에 속성 파일들을 생성한다.

  • 코드 라인 11~13에서 memory 서브시스템을 등록하고 관련 속성을 추가한다.
    • “/sys/devices/system/memory” 디렉토리를 만들고 그 밑에 다음 속성들을 추가한다.
      • probe, soft_offline_page, block_size_bytes, auto_online_blocks
  • 코드 라인에서 15~16에서 블럭당 섹션 수를 산출한다.
    • arm64는 블럭과 섹션 크기가 같으므로 항상 1이다.
  • 코드 라인 22~32에서 전체 섹션에 대해서 블럭 크기만큼 증가시키며 memory 서브시스템 밑에 메모리 블럭(디렉토리 및 파일들)을 추가한다.

 

다음은 memory 서브 시스템에 해당하는 버스 타입이다.

static struct bus_type memory_subsys = {                                        
    .name = MEMORY_CLASS_NAME,                                                  
    .dev_name = MEMORY_CLASS_NAME,                                              
    .online = memory_subsys_online,                                             
    .offline = memory_subsys_offline,                                           
};

 

다음은 memory 서브 시스템에 추가될 속성들이다.

static struct attribute *memory_root_attrs[] = {                                
#ifdef CONFIG_ARCH_MEMORY_PROBE                                                 
    &dev_attr_probe.attr,                                                       
#endif                                                                          
                                                                                
#ifdef CONFIG_MEMORY_FAILURE                                                    
    &dev_attr_soft_offline_page.attr,                                           
    &dev_attr_hard_offline_page.attr,                                           
#endif                                                                          
                                                                                
    &dev_attr_block_size_bytes.attr,                                            
    &dev_attr_auto_online_blocks.attr,                                          
    NULL                                                                        
};                                                                              
                                                                                
static struct attribute_group memory_root_attr_group = {                        
    .attrs = memory_root_attrs,                                                 
};                                                                              
                                                                                
static const struct attribute_group *memory_root_attr_groups[] = {              
    &memory_root_attr_group,                                                    
    NULL,                                                                       
};

 

예) 다음은 memory 서브 시스템에 등록된 메모리 블럭들과 속성들이다.

  • memory0 ~ memory27과 같은 memory 블럭 디렉토리들은 memory가 online/offline될 때마다 추가/제거된다.
$ ls -la
-r--r--r--  1 root root 4096  5월 29 14:14 block_size_bytes
--w-------  1 root root 4096  5월 29 14:14 hard_offline_page
drwxr-xr-x  3 root root    0  5월 29 14:18 memory0
drwxr-xr-x  3 root root    0  5월 29 13:36 memory1
...
drwxr-xr-x  3 root root    0  5월 29 13:36 memory27
drwxr-xr-x  2 root root    0  5월 29 14:14 power
--w-------  1 root root 4096  5월 29 14:14 probe
--w-------  1 root root 4096  5월 29 14:14 soft_offline_page
-rw-r--r--  1 root root 4096  5월 29 13:36 uevent

 

예) 다음은 memory0 블럭에 대한 속성들이다.

$ ls /sys/devices/system/memory/memory0 -la
lrwxrwxrwx 1 root root 0 5월 29 14:18 node0 -> ../../node/node0
-rw-r--r-- 1 root root 4096 5월 29 14:18 online
-r--r--r-- 1 root root 4096 5월 29 14:18 phys_device
-r--r--r-- 1 root root 4096 5월 29 14:18 phys_index
drwxr-xr-x 2 root root 0 5월 29 14:18 power
-r--r--r-- 1 root root 4096 5월 29 14:18 removable
-rw-r--r-- 1 root root 4096 5월 29 14:18 state
lrwxrwxrwx 1 root root 0 5월 29 14:18 subsystem -> ../../../../bus/memory
-rw-r--r-- 1 root root 4096 5월 29 14:18 uevent
-r--r--r-- 1 root root 4096 5월 29 14:18 valid_zones

 

get_memory_block_size()

drivers/base/memory.c

static unsigned long get_memory_block_size(void)                                
{                                                                               
    unsigned long block_sz;                                                     
                                                                                
    block_sz = memory_block_size_bytes();                                       
                                                                                
    /* Validate blk_sz is a power of 2 and not less than section size */        
    if ((block_sz & (block_sz - 1)) || (block_sz < MIN_MEMORY_BLOCK_SIZE)) {    
        WARN_ON(1);                                                             
        block_sz = MIN_MEMORY_BLOCK_SIZE;                                       
    }                                                                           
                                                                                
    return block_sz;                                                            
}

메모리 블럭 사이즈를 반환한다.

  • 아키텍처에 별도의 구현이 없는 디폴트: 섹션 사이즈(arm64)

 

container_dev_init()

drivers/base/container.c

void __init container_dev_init(void)                                            
{                                                                               
    int ret;                                                                    
                                                                                
    ret = subsys_system_register(&container_subsys, NULL);                      
    if (ret)                                                                    
        pr_err("%s() failed: %d\n", __func__, ret);                             
}

컨테이너 서브시스템의 컨테이너들을 표현 및 관리할 “/sys/devices/system/container” 디렉토리를 생성한다.  (추가할 속성들은 없다)

 

다음은 container 서브 시스템에 해당하는 버스 타입이다.

struct bus_type container_subsys = {                                            
    .name = CONTAINER_BUS_NAME,                                                 
    .dev_name = CONTAINER_BUS_NAME,                                             
    .online = trivial_online,                                                   
    .offline = container_offline,                                               
};

 

of_core_init()

drivers/of/base.c

void __init of_core_init(void)                                                  
{                                                                               
    struct device_node *np;                                                     
                                                                                
    /* Create the kset, and register existing nodes */                          
    mutex_lock(&of_mutex);                                                      
    of_kset = kset_create_and_add("devicetree", NULL, firmware_kobj);           
    if (!of_kset) {                                                             
        mutex_unlock(&of_mutex);                                                
        pr_err("failed to register existing nodes\n");                          
        return;                                                                 
    }                                                                           
    for_each_of_allnodes(np)                                                    
        __of_attach_node_sysfs(np);                                             
    mutex_unlock(&of_mutex);                                                    
                                                                                
    /* Symlink in /proc as required by userspace ABI */                         
    if (of_root)                                                                
        proc_symlink("device-tree", NULL, "/sys/firmware/devicetree/base");     
}

디바이스 트리를 표현 및 관리할 “/sys/firmware/devicetree” 디렉토리를 생성하고, 그 이하에 모든 노드에 대한 디렉토리를 만든다. 그리고 각 노드의 속성들도 해당 노드 디렉토리에 각각 파일로 추가한다.

  • 코드 라인 8~12에서 “devicetree” kset을 생성하고 “/sys/firmware”에 추가한다.
    • “/sys/firmware/devicetree” 디렉토리를 만든다.
  • 코드 라인 13~14에서 “/sys/firmware/devicetree” 디렉토리 밑에 읽어온 디바이스 트리 노드들과 속성들을 추가한다.
    • 첫 번째 루트 노드는 base 라는 이름의 디렉토리에 존재한다.
  • 코드 라인 18~19에서 “/sys/firmware/devicetree/base”를 가리키는 심볼릭 링크를 proc 루트 디렉토리에 만든다.
    • “/proc/device-tree”  심볼릭 링크 파일을 생성한다.

 

예) 루트 디렉토리인 base 아래에 생긴 노드들과 속성들이다.

$ ls /sys/firmware/devicetree/base -la
-r--r--r--    1 root     root             4 Mar 30 15:45 #address-cells
-r--r--r--    1 root     root             4 Mar 30 15:45 #size-cells
drwxr-xr-x    2 root     root             0 Mar 30 15:45 aliases
drwxr-xr-x    2 root     root             0 Mar 30 15:45 bootst
drwxr-xr-x    2 root     root             0 Mar 30 15:45 chosen
-r--r--r--    1 root     root            22 Mar 30 15:45 compatible
drwxr-xr-x    7 root     root             0 Mar 30 15:45 cpus
-r--r--r--    1 root     root             4 Mar 30 15:45 interrupt-parent
drwxr-xr-x    2 root     root             0 Mar 30 15:45 memory
-r--r--r--    1 root     root            14 Mar 30 15:45 model
-r--r--r--    1 root     root             1 Mar 30 15:45 name
drwxr-xr-x    2 root     root             0 Mar 30 15:45 pcie@20020000
drwxr-xr-x    2 root     root             0 Mar 30 15:45 pcie@50020000
drwxr-xr-x    2 root     root             0 Mar 30 15:45 pcie@60c00000
drwxr-xr-x    2 root     root             0 Mar 30 15:45 pmu
drwxr-xr-x    2 root     root             0 Mar 30 15:45 psci
drwxr-xr-x    2 root     root             0 Mar 30 15:45 secure_rtc
drwxr-xr-x   70 root     root             0 Mar 30 15:45 soc
drwxr-xr-x    2 root     root             0 Mar 30 15:45 timer

 

참고