Swish

1 개요

이미지 채널 값의 Swish(Sigmoid Linear Unit, SiLU) 함숫값 또는 미분값을 반환하는 알고리즘입니다.

Swish

Fig. Plot of Swish function.

2 알고리즘 상세 설명

Forward 모드

Source 이미지 픽셀 각 채널 값의 Swish 함숫값을 계산하여 출력합니다.
아래의 Figure 는 [-1, 1] 범위의 float 이미지에 $\beta = 10.0$ 을 적용한 예시를 보여줍니다.

Source Image	Destination Image

Fig. Source and destination images. (forward mode)

y_{n} = \text{Swish}_{\beta}(x_{n}) = x_{n}\text{Sigmoid}(\beta x_{n})

\text{Swish}_{\beta}(x) = \frac{x}{1+e^{-\beta x}}

${y}_{n}$ : destination 의 $n$ 번째 채널 값
${x}_{n}$ : Source 의 $n$ 번째 채널 값

Backward 모드

Source 이미지 픽셀 각 채널 값의 Swish 미분값을 계산하여 출력합니다.
아래의 Figure 는 [-1, 1] 범위의 float 이미지에 $\beta = 10.0$ 을 적용한 예시를 보여줍니다.

Source Image	Destination Image

Fig. Source and destination images. (backward mode)

y_{n} = \text{Swish}'_{\beta}(x_{n})

\text{Swish}'_{\alpha}(x) = \frac{1}{1+e^{-\beta x}}(1 + \frac{\beta x e^{-\beta x}}{1+e^{-\beta x}})

${y}_{n}$ : destination 의 $n$ 번째 채널 값
${x}_{n}$ : Source 의 $n$ 번째 채널 값

3 파라미터 설정 및 사용 방법

Operation Mode 설정

const CResult SetOperationMode(COperationSwish::EOperationMode eOperationMode)
Forward 연산 모드 또는 Backward 연산 모드를 활성화 합니다.
- eOperationMode :
  EOperationMode_Forward : 함숫값을 연산하는 모드
  EOperationMode_Backward : 미분값을 연산하는 모드

Beta 설정

const CResult SetBeta(double f64Beta)
Sigmoid 함수의 성장률인 베타 값을 설정합니다.
- f64Beta : 베타 값
  Default: 1.0

4 예제 코드

COperationSwish swish;

CFLImage fliSourceImage;
CFLImage fliDestinationImage;

swish.SetSourceImage(fliSourceImage);
swish.SetDestinationImage(fliDestinationImage);
swish.SetOperationMode(COperationSwish::EOperationMode_Forward);
swish.SetBeta(10.0);

swish.Execute();

COperationSwish swish = new COperationSwish();

CFLImage fliSourceImage = new CFLImage();
CFLImage fliDestinationImage = new CFLImage();

swish.SetSourceImage(ref fliSourceImage);
swish.SetDestinationImage(ref fliDestinationImage);
swish.SetOperationMode(COperationSwish.EOperationMode.Forward);
swish.SetBeta(10.0);

swish.Execute();

5 기타 사항

Supported Feature

Image
- Source Image
- Destination Image
ROI
- Source ROI
- Destination ROI
Pivot
- Source Pivot
- Destination Pivot
Blank Color
Figure Transform
Batch Processing

Supported Format

Source
- Channel
  - 1-10
  - Combined, Separated
- Value Type & Depth
  - Signed: 8, 9-16, 32, 64
  - Unsigned: 8, 9-16, 32, 64
  - Floating: 32, 64
Destination
- Channel
  - Destination 이미지가 존재할 때, Source 와 일치하는 경우 지원
  - Destination 이미지를 생성하는 경우, Source 추종
- Value Type & Depth
  - Destination 이미지가 존재할 때, Source 와 일치하는 경우 지원
  - Destination 이미지를 생성하는 경우, Source 추종

Overflow Method

Overflow 가 발생하는 경우 Clamping 처리 됩니다.