Object Detection DL

1 개요

Source
Result
Source Result

2 Object Detection 사용 방법

1 데이터 셋 준비

  1. Figure를 이용하여 라벨링이 된 Flif 형식의 학습 이미지
    • 이미지에 Figure를 삽입하여 학습 이미지를 생성할 수 있습니다. Figure에는 반드시 이름이 들어가야 하며 "클래스 번호 (클래스 이름)" 형식이거나 "클래스 번호" 형식이여야 합니다.
    • FLImaging에서 지원하는 모든 형식의 Figure로 라벨링할 수 있습니다. (라벨링 방법)
    • 클래스 번호는 1번부터 시작해야 합니다.
    • Object Detection의 경우 Figure의 Boundary Box를 기준으로 학습을 수행 하게 됩니다. 따라서 Rect Figure로 라벨링하는 것을 권장합니다.


DataSet(With Figure)

Fig. 이미지의 이름이 있는 Figure를 삽입하여 만든 학습 데이터 샘플입니다.

2.2 학습

2.2.1. 학습 이미지 설정
2.2.2. 검증 이미지 설정(선택)
  1. 검증 지표
    1. mAP(mean Average precision)
      1. 정확도(precision)와 재현율(recall)을 이용하여 계산하는 지표입니다.
      2. 정확도(precision)
        1. 예측한 것 중에 진짜 정답인 비율입니다.
        2. Precision = TP / (TP + FP)
        3. TP = True Positive(정답도 Positive 예측도 Positive)
        4. FP = False Positive(정답은 Negative인데 예측은 Positive)
      3. 재현율(Recall)
      4. 정답 중에 예측에 성공한 비율입니다.
        1. Recall = TP / (TP + FN)
        2. FN = False Negative(정답은 Positive인데 예측은 Negative)
      5. 예측한 결과들을 Score로 정렬하여 각 Threshold마다 정확도와 재현율을 계산하여 PR곡선을만들고 PR곡선 아래 면적을 계산하여 AP를 구합니다.
        PR Curve
        Fig. PR Curve

      6. 각 클래스별 AP를 구하고 평균낸 것이 mAP입니다.
      7. 범위는 0~1이며 1로 갈수록 높은 성능을 나타냅니다.
2.2.3. 모델 설정
2.2.4. 옵티 마이저 설정
2.2.5. Augmentation 설정(선택)
2.2.6. 학습 수행
  1. Object Detection 의 경우 종료 조건은 mAP 1이 나왔을 때 모두 맞췄다는 의미므로 1로 설정하는게 좋습니다.
  2. 추천 종료 조건
    1. mAP >= 1
2.2.7. 조건 식
  1. 종료 조건(Stop Condition) & 자동 저장(Auto Save)에서 사용 가능한 조건 식 입니다.
  2. Common Conditional Expression
  3. Object Detection Expression
    변수명 설명 Stop Condition 예시 Auto Save 예시
    map 클래스 별로 정밀도(Precision)와 재현율(Recall)을 이용하여 여러 임계값에서 Precision-Recall 곡선을 그리고, 그 면적을 계산한 값의 평균입니다. 0 ~ 1 범위를 가지며 1로 갈수록 좋은 결과를 나타냅니다. cost <= 0.3 & map >= 1 epoch >= 10 & map >= max('map') & map > 0
    metric map가 metric 사용됩니다. cost <= 0 | metric >= 1 epoch >= 10 & metric >= max('metric') & metric > 0
    validation map가 validation으로 사용됩니다. cost <= 0 | validation >= 1 epoch >= 10 & validation >= max('validation') & validation > 0
  4. GUI 에서 설정 방법
    1. 종료 조건 식 설정
      1. cost <= 0 | validation >= 1 | metric >= 1
      Graph View Result

      Fig. GUI에서 종료 조건 설정
    2. 자동 저장 조건 식설정
      1. epoch >= 10 & metric >= max('metric') & metric > 0
      Graph View Result

      Fig. GUI에서 자동 저장 조건 설정

2.3 추론

  1. 추론 이미지 & 결과 이미지 설정
  2. 추론 수행
  3. 추론 결과 옵션 설정

2.4 Save/Load

  1. Save/Load
    • 모델파일을 저장하거나 불러옵니다.
    • 확장자는 .flod입니다.

3 필수 옵션

3.1 학습 필수 옵션

  1. Learn 이미지 설정

  2. 모델 설정

    • 지원 모델

      • R FL Net(V1 128 /V1 256 /V1 512 /V1 1024)
        • 포스로직만의 효율적인 최신 AI 모델 설계 구조를 바탕으로 구현된 정밀한 결과를 도출하는 최고의 이미지 탐지 모델입니다.
        • 추천 버전은 V1 512입니다.
      • Faster R-CNN(V1 128 /V1 256 /V1 512 /V1 1024)

    • API

      • SetModel(EModel eModel = R_FLNet)
        • eModel : 학습에 사용할 모델을 설정합니다.
      • SetModelVersion(EModelVersion eModelVersion = EModelVersion_R_FLNet_V1_512)
        • eModelVersion : 학습에 사용할 모델의 버전을 설정합니다.

    • 예제 코드

      CObjectDetectionDL odDL;

if(odDL.SetModel(CObjectDetectionDL::EModel_R_FLNet).IsFail())
	break;
if(odDL.SetModelVersion(CObjectDetectionDL::EModelVersion_R_FLNet_V1_512).IsFail())
	break;

      CObjectDetectionDL odDL = new CObjectDetectionDL();

if(odDL.SetModel(CObjectDetectionDL.EModel.R_FLNet).IsFail())
	break;
if(odDL.SetModelVersion(CObjectDetectionDL.EModelVersion.R_FLNet_V1_512).IsFail())
	break;

      odDL = CObjectDetectionDL()

odDL.SetModel(CObjectDetectionDL.EModel.R_FLNet)
odDL.SetModelVersion(CObjectDetectionDL.EModelVersion.R_FLNet_V1_512)

    • GUI에서 설정 방법


    Seg_ModelSelect

Fig. GUI에서 사용할 모델을 설정하는 Dropdown List


Seg_ModelSelect
Fig. GUI에서 사용한 모델 확인(학습 현황 다이얼로그)

3.2 추론 필수 옵션

  1. Inference & Inference Result Image 설정

4 선택 옵션

4.1 학습 선택 옵션

  1. 검증 이미지 설정
    • 검증 이미지를 설정합니다. 검증 이미지는 라벨링이 되어있어야 합니다. 검증지표는 mAP(mean average precision)입니다.
  2. 검증 옵션 설정

    • 검증 옵션을 설정합니다.

    • API

      • SetLearningValidationStep(int32_t i32ValidationStep = 1)
      • SetValidationObjectnessThreshold(float f32Threshold)
        • 검증에 사용할 객체 임계 값을 설정합니다.
      • SetValidationIoUThreshold(float f32Threshold)
        • 검증에 사용할 IoU Threshold 값을 설정합니다.
        • 검증 시 추론한 박스와 정답 박스간의 IoU 임계 값입니다.
      • SetValidationNMSThreshold(float f32Threshold)
        • 검증에 사용할 NMS 임계값을 설정합니다. 추천 값 0.5f
      • SetLearningRequiredAvgCostForValidation(float f32MinimumAvgCostForValidation)
        • 검증을 시작할 최소 평균 Cost를 설정합니다.

    • 예제 코드

      CObjectDetectionDL odDL;

if(odDL.SetLearningValidationStep(5).IsFail())
	break;

if(odDL.SetValidationObjectnessThreshold(0.5).IsFail())
	break;

if(odDL.SetValidationIoUThreshold(0.5).IsFail())
	break;

if(odDL.SetValidationNMSThreshold(0.5).IsFail())
	break;

if(odDL.SetLearningRequiredAvgCostForValidation(1.f).IsFail())
	break;

      CObjectDetectionDL odDL = new CObjectDetectionDL();

if(odDL.SetLearningValidationStep(5).IsFail())
	break;

if(odDL.SetValidationObjectnessThreshold(0.5f).IsFail())
	break;

if(odDL.SetValidationIoUThreshold(0.5f).IsFail())
	break;

if(odDL.SetValidationNMSThreshold(0.5f).IsFail())
	break;

if(odDL.SetLearningRequiredAvgCostForValidation(1.0f).IsFail())
	break;

      odDL = CObjectDetectionDL()
odDL.SetLearningValidationStep(5).IsFail()    
odDL.SetValidationObjectnessThreshold(0.5).IsFail()
odDL.SetValidationIoUThreshold(0.5).IsFail()
odDL.SetValidationNMSThreshold(0.5).IsFail()
odDL.SetLearningRequiredAvgCostForValidation(1.0).IsFail()
- GUI에서 사용 방법
Seg_ModelSelect
Fig. GUI에서 검증 옵션 설정

  1. 옵티 마이저 설정
  2. Augmentation 설정
  3. 타일링 설정
  4. 이미지 전처리 설정
  5. 종료 조건 설정
  6. 자동 저장 조건 설정
  7. Class Equalization 설정
  8. Optimal Learning State Preservation 설정
  9. Pretrained Model 사용

4.2 추론 선택 옵션

  1. 추론 결과 옵션 설정
Fig. GUI에서 추론 옵션 설정

  1. 배치 프로세싱 설정

5 결과 출력

  1. Inference 결과 출력
  2. 학습 정보