jaegom's study room

머신러닝/딥러닝에 필요한 기초 수학 with 파이썬 (2장)

jaegomhoji — Tue, 16 Jul 2024 01:48:54 +0900

* LATEX 문법 위키 링크

** 티스토리의 서식에 따라서 적용이 안될 수 있다고 한다. Like 이 페이지 ㅜㅜ.

2장 함수: 세상의 모든 것을 입력과 출력으로 바라보기

- 함수란 무엇인가?

- 입출력 관계를 수학적으로 기술하기 위한 도구이다.

- 함수를 도구로 사용하여 입출력 관계를 정밀하게 설명하는 작업을 '모델링'이라고 한다.

- 정확한 정의는?

- 공집합이 아닌 두 집합 X,Y에 대해서 X의 각 원소에 Y의 원소가 1대1 대응일 때, 이 대응 f를 X에서 Y로의 함수

- 지도 학습의 관점에서 입력 집합 X와 출력 집합 Y간의 관계인 대응 f를 찾는 것이다.

- 함수가 1대1 대응인 관계인 이유

- 동일한 입력이 들어가면 동일한 출력이 나와야 하기 때문임

- 그렇다면 이 때 어떤 입력 x에 따라 출력 y가 결정됨, y의 변화는 x의 변화에 종속되어 있는 관계

- 따라서 x를 독립변수(독립적으로 변화하고) y를 종속변수(x의 변화에 종속된 변수)라고 한다.

- 함수의 기호 표현은?

- f:X→Y ,두 집합과의 관계를 강조한 표현

- y=f(x) , 입력과 출력관계를 강조한 표현

- 첫번째 표현이, 입력과 출력이 여러 개인 함수를 나타날 때 관계를 좀 더 명확하게 표현할 수 있음.

- f:X→Y 관계에서 집합 x는 함수 f의 정의역(domain)이라고 하고,

- 집합 Y는 함수 f의 공역(codomain)이라고 한다.

- 입출력 관계(함수의 성질 혹은 경향)는 시각화로 파악하기 좋다.

- 좌표계를 통해서 시각화 한다.

- 좌표계는 차원(공간)에서 존재하는 대상을 고유한 숫자로 표현하는 시스템이다.

- 많은 경우 직교 좌표계 ( rectangular coordinate system = cartesian coordinate system )을 사용

- 함수는 어떤 것이 있나?

- 대표적으로 다항함수, 지수함수, 로그함수, 삼각함수 등이 있다.

- 다항함수

- 다항함수란, 다항식으로 이루어진 함수를 말한다.

- 다항식이란 항(term)이 여러개인 식을 말한다.

- 항이란, 어떤 숫자와 문자로 이루어진 계산단위이다.

- 즉, 어떤 숫자와 문자로 이루어진 항이 여러개인 식으로 이루어진 함수이다.

- ex) ( 3x**2) + (−3x) +(2) 은 다항식이다.

- 단항식 역시 다항식에 포함된다.

- 지수함수

- 지수함수란, y = a ** x 처럼 거듭제곱 꼴의 함수를 말함.

- a는 밑(상수), x는 지수(변수)이다.

- 함수의 관점에서, y라는 출력은 상수 a를 몇 번(x번) 거듭해서 곱해야 나오는 관계인건지?를 찾는것.

- 지수함수는 x의 변화에 대해서 y의 변화가 매우 크다. exponential 지수적으로 증가한다는 표현.

- 지수 법칙. 따로 정리 안하겠음.

- 조건 y = a**x 일때 밑 a > 0, a != 1.

- a = 1이면 거듭제곱해도 1이다. 상수함수.

- a > 0 인 이유는 여러가지가 있음.

- 대표적으로 a > 0 일 때 연속하며 미분가능함.

- 지수함수의 기본 법칙들이 성립하기 위한 조건.

- 거듭제곱근

- 2이상의 정수 n에 대해서 x**n = a이라면, x를 a의 n제곱근이라고 함.

- 거듭제곱근은 n개 존재하며, 무리수일 수도 있다.

- 이 말은, 항상 유리수로 표현이 안될 수 있다.

- 따라서 굳이 루트 표기를 하는 이유가 거듭제곱근을 표하기 편리하기 때문인 것

- 자연상수

- ( 1 + 1/x ) ** x. 2.78..... 무리수임.

- 위의 지수식에서 x 가 무한히 커지면 ( 극한 ) 1/x은 0에 가까워지기 때문에 밑이 1이 됨.

- 따라서 x가 아무리 커져도 2.78....이라는 특정 값에 수렴하게 되는 것임.

- 자연상수 e가 밑인 지수함수 e**x는 미분해도 e**x임. 즉 도함수가 자기 자신인 유용한 성질이 있다.

- 베르누이가 밝혀내고ㅡ 오일러가 자연상수 e로 처음 표기하여 논문에 등장함.

- python에서는 math.e , numpy.e에 상숫값이 소숫점 아래 15자리로 정의되어 있음.

- float64 포맷임 = 64비트 부동 소수점

- 부호부 = 1 비트, 지수부 11비트, 가수부 52 비트

- 가수부 52비트는 2진수임. 아래의 로그 성질을 이용하면, 52 * log2임. log2는 0.301 정도라 곱하면 15~

- 로그함수

- 지수 함수의 역함수

- 따라서 로그함수의 정의역은 양의 실수이다.

- 지수 함수가 ( x=0 ,f(x)=1 ) 을 지나니, 로그 함수는 ( 1, 0 )을 지난다.

- 지수 함수가 밑이 달라져도 반드시 ( 0,1 )을 지나듯이, 로그 함수 밑이 달라져도 ( 1, 0 )을 반드시 지난다.

- 로그함수의 계산 법칙. 따로 정리 안하겠음.

- 파이썬에서 임의의 밑을 가지는 로그를 계산하기 위해서는 밑 변환 성질을 활용하여야 함.

- math나 numpy 라이브러리를 활용할 수 있음

- np.log(x) / np.log(base) 이면 밑이 base이고 진수가 x인 로그함수임

- 역함수

- 역함수란?

- 어떤 함수에 이 출력 y를 입력하면 합수의 입력인 x를 출력해주는 함수

- 역함수의 존재 조건

- 역함수가 항상 존재하는 것은 아님

- 정의역과 공역이 1대1 대응일 때만 존재함

- 예를 들어, 지수함수는 1대1 대응임

- 로지스틱 시그모이드 함수

- 로지스틱 시그모이드 함수란?

- sig(z) = 1 / (1 + e ** -z) 인 s자 형태의 함수

- 정의역은 실수 전체이나, 함숫값은 0 에서 1 사이임

- 어떤 값이라도 0 에서 1 사이로 변환되게 함. 따라서 스쿼싱 함수라고 부르기도 함.

- 확률적으로 해석하기도 함.

- 수 체계에 대해서

- 자연수, N ( Natural Number )

- 자연수의 갯수는 무한하지만, 셀 수 있다.

- 정수, Z ( Z is like Alpha ~ Omega )

- 정수는 자연수에 0과 음수를 더한 것이다.

- 정수도 무한히 많지만 셀 수 있다.

- Z를 알파~오메가 처럼 사용한 것은, 이제 이산적인 모든 수를 포함하는 집합을 찾았기 때문이다.

- 유리수, Q ( Quotients, rational number )

- 분자와 분모로 정수를 갖는 분수로 나타낼 수 있는 수.

- rational number는 ratio 즉, 비율이 있는 수를 뜻함.

- 자연수와 정수역시 유리수임. ex) 4/2 = 2, 13/1 = 13. 이처럼 분자와 분모로 정수를 갖는 분수로 나타낼 수 있기 때문임.

- 무한하지만 셀 수 있음.

- 무리수, I ( Irrational number )

- Irrational, 즉 비율로 표현하기 힘든 수.

- 무한히 많으며 셀 수 없음.

- 실수, R ( Real Number )

- 유리수와 무리수를 더한 수.

- 수직선을 그었을 때 그 위에 있는 모든 수.

- 실수의 대부분은 무리수임.

- 무한히 많으며 셀 수 없음.

머신러닝/딥러닝에 필요한 기초 수학 with 파이썬

jaegomhoji — Tue, 16 Jul 2024 00:33:15 +0900

1장 머신러닝이란과 선형회귀

- 머신러닝이란 무엇인가?

- 말 그대로 컴퓨터에게 무언가를 가르치는 것. <- 인간은 이를 직관적으로 처리할 수 있다.

- 어떻게 가르칠까?

- 입출력의 관계를 가르친다 ( 지도 학습 )

- 관계를 어떻게 알까?

- 수학적으로 좋은 관계인지 아닌지 계산한다.

- 좋은 관계인지 아닌지 어떻게 알까?

- 좋은 관계이면 줄어드는 수치를 설정한다. ( Loss function=손실함수 or Objective Function=목적함수 )

- 이 수치란 어떻게 계산될까?

- 예측치와 타겟을 비교한다.

- 어떻게 비교할까?

- 좌표상에서 비교한다. 우리는 수식을 통해 어떤 관계나 가설을 나타낼 수 있다. ex) h = ax + b

- h stands for hypothesis

- h = ax + b는 인공신경망의 노드로 취급하면

- h = (a*x) + (b*1) 꼴로 생각할 수 있다.

- 이때, 입력:(x,1) , 출력:(a*x) + (b*1)이다.

- 입력에 곱해지는 벡터를 가중치라고 하며, w(볼드임) 라고 표현한다.

- 위에서 w = [w1,w2] 이며, w1 = a, w2 = b 라고 볼 수 있다.

- h(x,w) = w1*x + w2 라는 가설을 제시할 수 있다.

- 위의 가설을 좋은 가설인가? 이제 이 가설(예측치)와 타겟(레이블)을 비교한다.

- 비교하는 과정에서 발생하는 차이(손실)을 L(Loss Function)이라고 한다.

- 좋은 관계이면 수치가 줄어든다고 했는데, 우리는 이 가중치 w = [w1, w2] 를 조정하면서 관계를 수정함으로써 L을 줄일 수 있다.

- 손실함수를 줄이기 위해서, 급격히 변화하는 부분을 찾아, 그 반대 방향으로 그라디언트를 업데이트 한다. ( 뒤에서 다시 다룰 것임 )

- 자칫 잘못하면 손실이 커질 수 있는데, 이때 그라디언트에 에타( η)를 곱해서 조금씩 업데이트 한다.

- η는 lr ( Learning Rate )를 뜻한다. 보통은 1e-4~5 정도의 수치를 설정한다.

- 이러한 안전장치를 통해서, 최종적으로 가설을 좋은 관계가 되도록 안전하게 업데이트(최적화 할 수 있다)

- 다시, 머신러닝이란 컴퓨터를 통해 어떤 입력과 출력의 관계를 계산하여 잘 찾도록 최적화(개선) 하는 것을 말한다.

- 이 개선과정을 통계쪽에서는 회귀(regression), 비통계쪽에서는 피팅(fitting)이라고 한다.

- 머신러닝에는 다양한 문제 형태에 적용할 수 있는 여러 방법론이 있다.

- 마스터 알고리즘은 존재하지 않는다.

- 머신러닝 [ 지도 : 분류, 회귀 등, 비지도 : 군집화, 차원 축소 등, 강화학습 ]

- 현재로써는 지도학습이 맛있다.

*** 위의 예제 코드

Weight_shift = []

Loss = []

def gradient_diff(num_iter, eta):

"""_summary_

Args:

num_iter (_type_): _description_

eta (_type_): _description_

"""

np.random.seed(921)

random_weight = np.random.randn()

for i in range(num_iter):

# get gradient

grad = np.dot(X.T,np.dot(random_weight,X)-Y) # MSE LOSS에 대한 도함수

# update weight

random_weight -= eta * grad

# save weight diff

Weight_shift.append(random_weight)

# MSE LOSS 계산하여 리스트에 저장

Loss.append(((np.dot(random_weight,X) - Y )**2).sum()/2)

# when calculation is done

# draw plot

if i == num_iter -1:

x= np.linspace(-1,10,30)

fig, (ax1,ax2,ax3) = plt.subplots(1,3)

fig.set_size_inches((15,6))

ax1.plot(M_1[0],M_1[1], 'ko', markersize=5, label = "Y")

ax1.plot(x,np.dot(random_weight,x), c='r', lw=2, label = "Y_Hat")

ax1.legend(fontsize = 10 )

ax2.plot(Loss[:], "--", label = 'loss')

ax2.legend(fontsize = 10 )

ax2.set_xlabel('iteration')

ax2.set_ylabel('Loss value')

ax3.plot([i+1 for i in range(num_iter)],Weight_shift[:], label = 'weight update')

ax3.plot(1,original_weight, 'ro')

ax3.set_xlabel('iteration')

ax3.set_ylabel('weight value')

ax3.legend(fontsize = 10 )

# plt show at the last moment.. otherwise, the result will not properly show

plt.show()

return 1

gradient_diff(30,0.0004)

- 좌) 가중치 업데이트를 통해 가설로 제시한 수식이 좋은 관계로 계선 되었음.

- 중) 관계가 개선됨에 따라서 loss 역시 iteration이 늘어날 수록 줄어들고 있음.

- 우) 관계가 개선됨에 따라서 weight update역시 변화율이 더디고 있음.

*** Loss Function ( MSE )에 대한 도함수 계산 손풀이.

np.dot(X.T,np.dot(random_weight,X)-Y)

고수준 파일연산과 저수준 파일연산 ( Python )

jaegomhoji — Tue, 11 Jun 2024 14:34:45 +0900

저수준 파일 연산 : 파일 시스템의 기본 기능을 직접 다루는 작업을 의미

[특징]

- 직접 제어 : 파일과 디렉토리에 대한 직접적인 접근과 제어를 가능하게 함

- 운영체제의 커널이 제공하는 시스템 호출을 직접 사용하여 파일을 읽어와서 신속함.

- 열린 파일을 참조할 때 파일 기술자 file descriptor 사용 : fd를 사용하여 파일에 대한 작업 수행.

- 세부적 처리 : 각종 파일 시스템 호출을 세밀하게 처리 가능

- 에러 관리 : 직접 에러 처리해야 함

- 복잡성 : 고수준 연산보다 코드가 더 복잡하고 길어질 수 있음

- POSIX 표준에서는 주로 내장된 os함수의 open, read, write, close 메소드 등을 사용한다.

그렇지만, 다음과 같은 코드는 open을 사용하더라도, 파일 객체를 사용하기 때문에 고수준 파일 연산이다.

# 파일 객체 사용
with open(src, 'r') as foo:
    content = foo.read() # 파일 내용 읽기
    print(content)

아래는 파일 기술자를 사용하는 저수준 파일 연산

import os

# 파일 기술자 사용
fd = os.open(src, os.O_RDONLY)  # 파일 열기 (파일 기술자를 반환)
content = os.read(fd, 100)  # 최대 100 바이트 읽기
print(content)
os.close(fd)  # 파일 닫기

고수준 파일 연산 : 파일 및 디렉토리 작업을 추상화하여 직관적이고 사용하기 쉽게 만든 함수

[이점]

- 사용 편의성

- 코드 가독성 : ex) shutil.move(src,dst)는 파일 이동 작업임을 코드로 명확히 알 수 있다.

- 에러 처리의 안정성 : 고수준 함수는 에러처리를 포함하여 작업을 수행해서 사용자가 편하다.

- 재사용성 : 표준 라이브러리의 고수준 함수는 다양한 상황에서 재사용할 수 있어서 개발 시간이 절약된다.

- 파이썬에서는 주로 shutil 등의 함수를 사용한다.

정리

저수준 파일 연산은 보다 세밀하고 정밀한 파일 조작이 필요할 때 유용하지만, 고수준 파일 연산은 코드의 간결성과 편리성을 제공하기 때문에 일반적인 파일 작업에서는 더 자주 사용됩니다.

shutil 파이썬 공식 문서 링크

https://docs.python.org/ko/3.11/library/shutil.html

shutil — High-level file operations

Source code: Lib/shutil.py The shutil module offers a number of high-level operations on files and collections of files. In particular, functions are provided which support file copying and removal...

docs.python.org

< 유의할 점 >

shutil은 파일의 메타 데이터를 복사하지 않는다. ex) ACL, 그룹 등

POSIX ( 리눅스, 유닉스 ), Mac, WIndows 모두 해당한다.
ACL (Access Control List): 파일에 대한 상세한 권한 설정을 나타냅니다. 예를 들어, 특정 사용자나 그룹이 파일에 대해 어떤 권한을 가지고 있는지를 정의합니다. 이 정보가 복사되지 않습니다. -> 접근 권한
파일 소유자 및 그룹: 파일의 소유자와 그룹 정보가 복사되지 않습니다. 원본 파일의 소유자와 그룹 설정이 새로운 파일에는 반영되지 않습니다.

이상 딥러닝 배포 프레임워크에서 shutil.rmtree로 이미지와 annotation temp폴더를 지우는 이유를 알아보았다.

 os.system(권한부여 + "rm -rf " + folder_path)

- 코드가 길어진다

os.rmdir()

- 빈 디렉토리만 지울 수 있다.

import shutil
shutil.rmtree(src, ignore_errors=True)

프로그래머스 - LV 0- 1일차 복습

jaegomhoji — Tue, 4 Jun 2024 00:07:50 +0900

문제 1. 두 수의 차

정수 num1과 num2가 주어질 때, num1에서 num2를 뺀 값을 return하도록 soltuion 함수를 완성해주세요.

제한사항

-50000 ≤ num1 ≤ 50000

-50000 ≤ num2 ≤ 50000

def solution(num1, num2):

answer = (lambda num1, num2 : num1 - num2)(num1, num2)

return answer

lambda 를 사용해서 간결하게 표현할 수 있다. 들어가는 수는 순서대로이다.

(lambda x,y : x-y)(num1,num2)가 더 나은 코드.

solution(2,1) # 1

문제 2. 두 수의 곱

정수 num1, num2가 매개변수 주어집니다. num1과 num2를 곱한 값을 return 하도록 solution 함수를 완성해주세요.

제한사항

0 ≤ num1 ≤ 100

0 ≤ num2 ≤ 100

def solution(num1:int, num2:int)->int:

answer = num1 * num2

return answer

solution(3,4) # 12

위와 마찬가지로, lambda를 사용하면

def solution(num1:int, num2:int)->int:

answer = (lambda x,y : x*y)(num1, num2)

return answer

문제 3. 몫 구하기

정수 num1, num2가 매개변수로 주어질 때, num1을 num2로 나눈 몫을 return 하도록 solution 함수를 완성해주세요.

제한사항

0 < num1 ≤ 100

0 < num2 ≤ 100

def solution(num1, num2):

assert num1 * num2 !=0

answer = num1//num2

return answer

사실 제한 사항을 잘 읽어보면, 주어진 변수 두 개 모두 0 초과라서 assert문은 필요가 없다. 그냥 사용해봄.

solution(3,2) # 1

문제 4. 숫자 비교하기

정수 num1과 num2가 매개변수로 주어집니다. 두 수가 같으면 1 다르면 -1을 retrun하도록 solution 함수를 완성해주세요.

제한사항

0 ≤ num1 ≤ 10,000

0 ≤ num2 ≤ 10,000

def solution(num1, num2):

return 1 if num1==num2 else -1

굉장히 직관적인 파이썬의 one-line 코딩. 역시 보기 너무 좋다.

문제 5. 나머지 구하기

정수 num1, num2가 매개변수로 주어질 때, num1를 num2로 나눈 나머지를 return 하도록 solution 함수를 완성해주세요.

간단하고 빠른 버전 O(1)

def solution1(num1, num2):

answer = num1%num2

return answer

느리고 안좋은 버전. O(n)

이런 문제에서는 while이나 for등의 조건문은 최대한 안쓰는 것이 좋다.

수가 커지니 time.time() 으로 10초 이상 차이 나기도 함.

시간 복잡도 차이가 명확하다.

def solution2(num1, num2):

#return num1%num2

while num1 >= num2:

num1 -= num2

return num1

문제 6. 나이 구하기

머쓱이는 선생님이 몇 년도에 태어났는지 궁금해졌습니다.

2022년 기준 선생님의 나이 age가 주어질 때, 선생님의 출생 연도를 return 하는 solution 함수를 완성해주세요

0 < age ≤ 120

나이는 태어난 연도에 1살이며 매년 1월 1일마다 1살씩 증가합니다.

def solution(age):

"""

태어난 해에 1살임.

2022년도 기준으로 2022년도 출생은,

2022 - 2022 = 0 이지만 +1 살임.

따라서 현재연도+1이 되어야 함.

"""

answer = 2023 - age

return answer

문제 7. 두 수의 합

# 두 수의 합

정수 num1과 num2가 주어질 때, num1과 num2의 합을 return하도록 soltuion 함수를 완성해주세요.

-50,000 ≤ num1 ≤ 50,000

-50,000 ≤ num2 ≤ 50,000

쉬운 버전

def solution(num1, num2):

answer = num1 + num2

return answer

입력 튜플로 받아서 람다로 전부 더하기

solution=lambda *x:sum(x)

문제 8. 배열의 평균 값

정수 배열 numbers가 매개변수로 주어집니다. numbers의 원소의 평균값을 return하도록 solution 함수를 완성해주세요.

0 ≤ numbers의 원소 ≤ 1,000

1 ≤ numbers의 길이 ≤ 100

정답의 소수 부분이 .0 또는 .5인 경우만 입력으로 주어집니다.

def solution1(numbers):

answer =0

for x in numbers:

answer += x

answer /= len(numbers)

return answer

solution([89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99]) # 94

이 방법 말고도,

import numpy as np

np.mean([array])도 가능하다

이 방법도 가능하다. ( 숫자가 정렬되어 있고, 간격이 같아서 )

def solution2(numbers):

num_len = len(numbers)

answer = (numbers[0]+numbers[-1]) * (num_len /2)

answer /= num_len

if len(numbers) %2 !=0:

answer = numbers[int((num_len -1) / 2)]

return answer

10억 단위 이상으로 연산을 시키면, for문 O(n) 이 아래 index로 바로 접근하는 O(1)보다 2.5초 이상 느렸다.

문제 9. 각도기

각에서 0도 초과 90도 미만은 예각, 90도는 직각, 90도 초과 180도 미만은 둔각 180도는 평각으로 분류합니다.

각 angle이 매개변수로 주어질 때

예각일 때 1, 직각일 때 2, 둔각일 때 3, 평각일 때 4를 return하도록 solution 함수를 완성해주세요.

예각 : 0 < angle < 90

직각 : angle = 90

둔각 : 90 < angle < 180

평각 : angle = 180

제한사항

0 < angle ≤ 180

angle은 정수입니다

def solution(angle):

answer = (angle // 90) * 2 + (angle % 90 > 0) * 1

return answer

90도로 나눈 몫은 ( 0,1,2 ) * 2 -> ( 0, 2, 4 )로 바로 답.

나머지가 있다면 True 일때 1, False일 때 0.

문제 10. 짝수의 합

정수 n이 주어질 때, n이하의 짝수를 모두 더한 값을 return 하도록 solution 함수를 작성해주세요.

0 < n ≤ 1000

3가지로 풀어봤다.

1. 정직한 답.

def solution(n):

answer = 0

for nums in range(1,n+1):

if nums % 2 == 0:

answer += nums

return answer

2. list comprehension. 간결하고 직관적인 답.

def solution(n):

return sum([i for i in range(2, n + 1, 2)])

3. DP풀면서 썼던 memoization 사용. 복습. 어쨌든 점화식으로 표현 가능하니까 이렇게 풀 수 있다.

i번째 배열의 항은 = i-1번째 배열의 항 + 2*i 이다.

def solution(n):

# n이 2 이하일 경우 바로 끝

if n < 2:

return 0

arr = [0] * (n // 2 + 1) # 짝수니까 배열은 반만 만들어도 된다.

arr[0] = 0 # 0번째 , 1번째는 미리 할당해놓는다.

arr[1] = 2

for k in range(2, n // 2 + 1): # 2부터 끝까지 가자~

arr[k] = arr[k - 1] + 2 * k # 점화식

return arr[n // 2]

문제 11. 양꼬치

문제 12. 두 수의 나눗셈

정수 num1과 num2가 매개변수로 주어질 때,

num1을 num2로 나눈 값에 1,000을 곱한 후 정수 부분을 return

0 < num1 ≤ 100

0 < num2 ≤ 100

def solution(num1, num2):

return int((num1/num2)*1000)

문제 13. 중복된 숫자 개수

정수가 담긴 배열 array와 정수 n이 매개변수로 주어질 때,

array에 n이 몇 개 있는 지를 return 하도록 solution 함수를 완성해보세요.

노가다

def solution(array:list, n:int)->int:

cnt = 0

for num in array:

if num == n:

cnt += 1

return cnt

쉬운 길

def solution(array, n):

return array.count(n)

문제 14. 머쓱이보다 키 큰 사람

머쓱이는 학교에서 키 순으로 줄을 설 때 몇 번째로 서야 하는지 궁금해졌습니다.

머쓱이네 반 친구들의 키가 담긴 정수 배열 array와 머쓱이의 키 height가 매개변수로 주어질 때,

머쓱이보다 키 큰 사람 수를 return 하도록 solution 함수를 완성해보세요.

1 ≤ array의 길이 ≤ 100

1 ≤ height ≤ 200

1 ≤ array의 원소 ≤ 200

array.sort()를 사용할 수 있었던 이유는, 배열의 길이가 100보다 작기 때문이다.

O(n log n )을 해도 무방했음.

def solution(array:list, height:int)->int:

"""

정렬을 한 뒤, 처음으로 머쓱이보다 키 큰 사람이 나오는 인덱스를 찾고,

전체 길이에서 빼주면 구할 수 있음

"""

n = 0

array.sort()

while n < len:

if array[n] > height:

break

n += 1

answer = len(array) - n

return answer

def solution(array, height):

"""

정렬을 하지 않는게 O(n) 임.

정렬을 하면 O(n log n) 이다.

작은 n 값에서는 O(n log n)과 O(n)의 차이가 크지 않을 수 있습니다.

큰 n 값에서는 O(n log n)이 O(n)보다 더 큰 시간이 소요됩니다.

n = 10인 경우, log(10) ≈ 2.3 따라서 n log n ≈ 10 * 2.3 = 23 , n log n(23) > n(10)

n = 100인 경우, log(100) ≈ 4.6 따라서 n log n ≈ 100 * 4.6 = 460 , n log n (460) > n (100)

n = 1000인 경우, log(1000) ≈ 6.9 따라서 n log n ≈ 1000 * 6.9 = 6900

"""

return sum(1 for a in array if a > height)

array가 100까지기 때문에, 사실 100부터도 n log n > n 이지만, 큰 차이가 없었던 것이다.

더 효율적으로 짜는 코드는 for문을 이용한 O(n)으로, 위와 같다.

문제 15. 중앙값 구하기

마찬가지로, array가 홀수이고 100보다 적은 경우

다음과 같이 구할 수 있다.

def solution(array):

"""

정렬 후, 홀수라서

중앙의 인덱스만 구하면 된다.

힌트는 array의 길이가 < 100.

만약 array의 길이가 > 10000 이상이었으면?

"""

array.sort()

return array[len(array)//2]

만약 array가 일정 크기 이상이라면, quick select 알고리즘으로 풀도록 하자.

# 퀵 셀렉트 방식

https://devraphy.tistory.com/372 # 이 블로그 참고하기

문제 16. 짝수는 싫어요

정수 n이 매개변수로 주어질 때,

n 이하의 홀수가 오름차순으로 담긴 배열을 return하도록

solution 함수를 완성해주세요.

1 ≤ n ≤ 100

1부터 2씩 증가시키면서 배열에 넣기

def solution(n):

arr = []

for i in range(1,n+1,2):

arr.append(i)

return arr

문제 17. 피자 나눠 먹기 1

머쓱이네 피자가게는 피자를 일곱 조각으로 잘라 줍니다. 피자를 나눠먹을 사람의 수 n이 주어질 때,

모든 사람이 피자를 한 조각 이상 먹기 위해 필요한 피자의 수를 return 하는 solution 함수를 완성해보세요.

인원수/피자조각으로 몇 판이 필요한지 계산하고, 나머지가 있으면 1판을 더 더해준다.

def solution(n):

return n // 7 + ( 1 if n%7 > 0 else 0 )

GPT발 코드도 재밌다. 1명이어도 1판을 먹어야 되기 떄문에 ( n+6 = 7 )으로 1이 되게 해줬다.

def solution(n):

return (n+6) // 7

문제 18. 옷가게 할인 받기

머쓱이네 옷가게는 10만 원 이상 사면 5%, 30만 원 이상 사면 10%, 50만 원 이상 사면 20%를 할인해줍니다.

구매한 옷의 가격 price가 주어질 때, 지불해야 할 금액을 return 하도록 solution 함수를 완성해보세요.

10 ≤ price ≤ 1,000,000

price는 10원 단위로(1의 자리가 0) 주어집니다.

소수점 이하를 버린 정수를 return합니다.

노가다 코드

def solution(price):

if price >= 500000:

price *= 0.80

elif price >= 300000:

price *= 0.90

elif price >= 100000:

price *= 0.95

return int(price)

# 결제가격 : 할인율의 형태로 얼마를 구매했을때 어느정도 할인받을 수 있는지 문제에 맞게 가독성이 좋아진 코드.

# 내림차순으로 정렬을 해줘야 종료 시점이 알맞게 된다.

# 일부러 딕셔너리를 큰 값부터 작은 값 찾으면 return하면서 종료되도록 정렬함.

def solution(price):

discount_rates = {500000: 0.8, 300000: 0.9, 100000: 0.95, 0: 1}

# dic.items()로 key 와 value를 받는다.

for discount_price, discount_rate in discount_rates.items():

# 만약 결제 가격이 할인가격의 key보다 같거나 크다면 ( 그 이상의 할인율이 적용되어야 한다 )

if price >= discount_price:

# 할인요금을 계산하여 반환하면서 종료.

return int(price * discount_rate)

문제 19. 아이스 아메리카노 , 특이사항 없음

def solution(money):

return [ money // 5500 , money % 5500 ]

문제 20. 개미군단.

개미 군단이 사냥을 나가려고 합니다.

개미군단은 사냥감의 체력에 딱 맞는 병력을 데리고 나가려고 합니다.

장군개미는 5의 공격력을, 병정개미는 3의 공격력을 일개미는 1의 공격력을 가지고 있습니다.

예를 들어 체력 23의 여치를 사냥하려고 할 때, 일개미 23마리를 데리고 가도 되지만,

장군개미 네 마리와 병정개미 한 마리를 데리고 간다면 더 적은 병력으로 사냥할 수 있습니다.

사냥감의 체력 hp가 매개변수로 주어질 때,

사냥감의 체력에 딱 맞게 최소한의 병력을 구성하려면

몇 마리의 개미가 필요한지를 return하도록 solution 함수를 완성해주세요.

hp는 자연수입니다.

0 ≤ hp ≤ 1000

for + while문의 형태로 그리디 알고리즘을 사용해도 되는 문제이다. 동전 문제 ( 동전을 가장 적게 가져가려는 ~ )

주어진 자원에서 양적으로 최소의 자원만 할당할 수 있을지에 관한 문제들이 비슷한 형태.

def solution(hp):

"""

# 딱 맞게 최소한의 병력

# 그리디 알고리즘 , 동전 문제

"""

ant_cnt = 0

ant_attk = [5,3,1] # 순서는 내림차순 정렬되어야 한다.

for ants in ant_attk:

much = (hp//ants) # 최대한 계산할 수 있는 만큼 큰 단위부터 계산, 몫 = 몇 마리인지.

hp -= much*ants # 현재 피에서 까준다.

ant_cnt += much # 개미 수를 합산해준다.

return ant_cnt

solution(999) # 201

코딩 테스트 팁 요약

jaegomhoji — Sun, 2 Jun 2024 22:41:51 +0900

[ 딩코딩코 ]의 코딩 테스트 팁 요약

영상 링크 : https://www.youtube.com/watch?v=P1Nrv0xSRL8

코딩 테스트는 가장 낮은 허들이다

다음 3가지 능력을 함양해야 한다.

배경지식 : 기초적인 프로그래밍 지식 ( 가장 배우기 쉬우나, 처음 하면 어려움 )
1. ex) 피타고라스의 원리를 알기 위해서 알아야 할 것이 많다..
2. 아예 프로그래밍 기초 지식이 없으면 처음부터 하기 힘들고, 여기서 많이 포기한다.
3. 기초적인 수학지식
구현력 : 문제 유형화 능력 + 생각한 로직대로 코드를 짜는 능력이라고 생각.
1. 아가리만 터는 개발자들이 많다. 직접 만들어보면 됨.
2. 알고리즘을 생각한 뒤 "의식적으로" 많이 짜보자. 많이 풀어보면 된다.
연상력 : 문제 유형화 + 풀이에 대한 힌트를 얻는 능력.
1. 입력값, 출력값, 데이터의 형식을 보고 힌트를 얻을 수 있는 능력
2. 어떤 특징이 있을 때, 아 이건 이렇게 풀어야 되는구나!
3. ex) 아 n > 1000000이니까 정렬 O(n log n)을 하면 불리하구나. O(n)만 활용해서 풀자.

정리하면,

기초적인 프로그래밍 지식을 공부하고 이론적인 측면을 살려서 문제를 많이 풀어보면, 어떤 문제가 어떻게 풀릴지 감이 올 것이다.

프로그래머스 - LV 0 기록용 페이지

jaegomhoji — Sun, 2 Jun 2024 22:34:38 +0900

LV0은 퇴근하고 하루 20문제 이상 풀기.

2024-06-03 기록

2024-06-02 기록

ESP32cam 스트리밍 문제 해결

jaegomhoji — Tue, 13 Jun 2023 10:29:42 +0900

ESP32cam 기본 코드 예제로 연결하면, 굉장히 스트리밍이 느리다.

https://randomnerdtutorials.com/esp32-cam-ov2640-camera-settings/

Change ESP32-CAM OV2640 Camera Settings: Brightness, Resolution, Quality, Contrast, and More | Random Nerd Tutorials

This guide shows how to change the ESP32-CAM OV2640 camera settings such as contrast, brightness, resolution, quality, saturation and more using Arduino IDE.

randomnerdtutorials.com

카메라 설정을(화질 등) 바꿔봐도 똑같은 문제가 지속됨.

아직 ESP32-cam에 대해서 자료가 많지 않지만, 스트리밍 안된다, 느리다 검색하면 git issue가 상단에 노출된다.

https://github.com/espressif/arduino-esp32/issues/4655

Extremely poor performance on ESP32-CAM board · Issue #4655 · espressif/arduino-esp32

Hardware: Board: ESP32-CAM (Generic, using ESP32-S module) Core Installation version: 1.0.4 IDE name: Arduino IDE Flash Frequency: Default PSRAM enabled: Unsure (most likely yes, IPS6404LSO) Upload...

github.com

많은 문제들이 있었지만, 이 이슈를 등록한 사람도 나와 같은 문제를 겪었다.

1. 어떤 셋팅에서도 성능이 안나옴

2. 블랙 스크린

3. 프레임 드랍

4. 딜레이 등등...

ESP-32cam 모델에 따라 다르겠지만, 안테나 문제라는 사람도 있고, 데이터 전송 방식의 문제라는 사람도 있었다.

본인이 가지고 있는 모델은 안테나가 없는 모듈(위 이미지)이라서 일단 제외했다.

아까 이슈를 확인하다보면, 고맙게도 누군가 만들어 놓은 코드가 있다.

https://github.com/arkhipenko/esp32-cam-mjpeg

해당 코드를 사용한다.

아두이노 IDE로 불러온 후, 1) home_wifi_multi.h <- 헤더파일 하나 생성해주고

터미널

touch home_wifi_multi.h

sudo chmod -R 777 filename

sudo nano filename

파일내용 #ifndef SSID1
#define SSID1 "your wifi name"
#endif

#ifndef PWD1
#define PWD1 "your wifi password"
#endif

2) esp32_camera_mjpeg.ino <- 파일 수정해준다.

2-1) 카메라 모델 변경 ( 본인 모델에 맞게 )

#define CAMERA_MODEL_AI_THINKER

2-2) 셋업 설정에서 xclk_feq_hz 20,000,000 -> 8mhz로 변경

config.pin_reset = RESET_GPIO_NUM;

config.xclk_freq_hz = 8000000;

config.pixel_format = PIXFORMAT_JPEG;

3) 만약 아두이노에서 컴파일이 안되면, 파일을 못읽어서 그럴 확률이 높으니,

밖의 파일들을 모두 안쪽에 넣어줌.

그럼 아래 파일들이 모두 같은 level에 있음

-src(폴더)

-.h(파일들)

-.ino(파일들)

4) 이후 개선 확인

해결 전

해결 이후

이제는 더이상 답답하지 않다.

PCA on RGB channel for data augmentation

jaegomhoji — Wed, 7 Jun 2023 14:51:21 +0900

저번에 SSD 논문 스터디 중에 데이터 증강 방법에 대해서 찾다가,

https://dsjgm921.tistory.com/219

SSD : Single Shot MultiBox Detector

세그멘테이션 업무를 하고 있는 와중에 SSD + regnetx + fpn 방식으로 구성한 네트워크가 있는데 잘 모른다... SSD 스터디가 필요함. 기존 스터디한 네트워크는 FPN, U-Net, Deeplabv3~3+, R-CNN, Fast R-CNN, Faster R

dsjgm921.tistory.com

ImageNet Classification with Deep Convolutional Neural Networks, A,Krizhevsky., G,E.Hinton. et al.

논문에서 PCA를 사용해서 이미지에 주성분 값을 더해주는 방식으로 top-1 error를 1% 개선하였다는 대목이 있었다.

대충 이런 내용이다.

```

따라서 각 RGB 이미지 Ixy의 (RGB) 픽셀에 다음 수량을 추가합니다:

Ixy = [IRxy, IGxy, IBxy]

[p1, p2, p3][α1λ1, α2λ2, α3λ3]T --> 1*3 3*1(1*3의 T) -> 1*1 값이 IRxy ~ IBxy에 더해진다는 것?

여기서 pi와 λi는 각각 RGB 픽셀 값의 3 × 3 공분산 행렬의 ith 고유벡터와 고유값이고, αi는 이전에 언급한 랜덤 변수입니다.

-> 고유벡터만 PCA 결과이고, 가중치 α는 1,2,3 모두 거의 조금차이나게 곱해줘서 적용한다는 뜻.

각 αi는 한 번만 그립니다. 특정 훈련 이미지의 모든 픽셀에 대해 그리고 해당 이미지가 다시 훈련에 사용될 때까지 동일한 값이 유지됩니다.-> 한번 뽑아서 훈련하고 redrawn된다는데, 위의 intensity alter한 기준으로 이미지를 다시 그리고, 그 이미지가 다시 활용될 경우 바뀐 이미지를 기준으로 PCA를 수행한다는 뜻인가? --> 테스트 해볼 것.

자연 이미지의 중요한 특성인 물체의 식별이 조명의 강도와 색상의 변화에 불변함을 근사적으로 잡아내는 방식.

```

간단한 코드로 구현이 가능할 것 같아서 구현해본다. todaydatascience 등 레퍼런스들은 검색해보면 쉽게 나온다.

### Process

< IDEA : 자연 이미지의 중요한 특성인 물체의 식별이 조명의 강도와 색상의 변화에 불변함을 근사적으로 잡아내는 방식. >

1. import image

2. PCA respectively on RGB channel -> checkout variances, choose n_Component

3. get matrix

4. get alpha value from random Gaussian distribution

5. add PCA components to original image

# import modules

import cv2 as cv

import glob

import tqdm as tqdm

import os

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.decomposition import PCA

SSD : Single Shot MultiBox Detector

jaegomhoji — Fri, 2 Jun 2023 17:42:22 +0900

세그멘테이션 업무를 하고 있는 와중에 SSD + regnetx + fpn 방식으로 구성한 네트워크가 있는데 잘 모른다...

SSD 스터디가 필요함.

기존 스터디한 네트워크는 FPN, U-Net, Deeplabv3~3+, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 으로, 이놈들을 기준으로 아만보를 시전할 예정이다ㅜㅜ.

SSD: Single Shot MultiBox Detector ( 2016 ) - ECCV

Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg

Search | arXiv e-print repository

Showing 1–30 of 30 results for author: Berg, A C arXiv:2304.02643 [pdf, other] cs.CV cs.AI cs.LG Segment Anything Authors: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexand

arxiv.org

0) Abstract

single deep neural network를 사용하여 이미지의 물체를 검출하는 방법을 제시한다.

-> single-stage detector

< 참고 >

$ 1(Single)-Stage Detecor와 2-Stage Detector

출처 : https://ganghee-lee.tistory.com/34

Region Proposal과 Classification이 동시에 한 네트워크에서 이루어짐.

출처 : https://ganghee-lee.tistory.com/34

Region Proposal Network가 있고, Classification Network가 있어 서로 다른 네트워크 branch가 다른 일을 담당함.

Bounding box의 출력 공간을 이산화하여(discretize) feature map 위치별로 다양한 종횡비와 크기를 가진 박스들로 분할한다.

-> 마치 Faster R-CNN에서 selective search를 대체하여 RPN 사용하였을 때 anchor generator 역할처럼 보임.

예측시에는 네트워크가 각 박스마다 카테고리 별로 점수를 생성하고, 검출 대상의 형태(shape)에 맞게 수정(adjustment)하는 과정이 존재한다.

추가적으로, 네트워크는 다양한 해상도(resolution)을 가진 복수의 feature map에서의 예측 결과를 종합하는데, 이는 다양한 크기의 검출 대상을 검출하기 위함이다.

-> Deeplabv3에서 다양한 크기의 dilated 필터를 사용한 뒤 합치는 ASPP(Astrous Spatial Pyramid Pooling)등에 상응하는 작용으로 보인다.

하지만 SSD는 검출 대상에 대한 제안?을 하는 방법들에 비해서 상대적으로 단순한데, 왜냐하면 SSD는 추천 생성 및 후속 픽셀 (subsequent pixel)?? 혹은 feature resampling stages를 제거하고 모든 컴퓨팅을 단일 네트워크에서 수행하기 때문이다. 이러한 이유로 SSD가 훈련이 쉽고, detection component가 필요한 시스템에 통합하기에 직관적인 것이다.

PASCAL VOC, COCO, ILSVRC 데이터 셋을 통해 검증한 바, SSD는 추가적으로 object proposal step을 하는 방법에 비해 빠르며, 성능도 견주어볼 수 있다. 성능도 300*300 input에서는 74.3% mAP에 59FPS가 나오며, 다른 single-stage method와 비교해서도 더 작은 입력 이미지 크기에서 더 나은 accuracy를 보인다.

1) Introduction

현재 짱짱인 State-Of-The-Art 녀석들은 ( ~ 2016년 기준 ) 다음과 같은 접근 방법의 변형들이다. 바운딩 박스를 예측하고, 각 박스의 픽셀이나 feature를 resample하고, 좋은 분류기를(high-quality classifier) 적용한 것.

이러한 파이프라인은 전반적으로 디텍션 벤치마크를 씹어먹었고, 현재(2016 당시) PASCAL VOC, COCO, ILSVRC detection에서 모두 최고의 성능을 보여주었던, Faster R-CNN의 Selective Search를 기반으로 한 것이나, Faster R-CNN보다 deeper feature를 사용한 것들이다.

# 본인은 7FPS 정도인 네트워크면 그래도 사용할 만하다고 생각하지만, 엣지 디바이스에서 real-time-inference 하는데 20~30 FPS는 나오면 좋긴 하다. 논문 저자도 그렇게 생각한 부분인 것 같다.

그러나 이런 짱짱녀석들은 정확성은 높았으나, 임베디드 시스템이나 고성능 하드웨어에도 적용하기에 연산이 너무 과도했고, 실시간 어플리케이션에 적용하기도 너무 느렸다. 심지어 디텍션 속도를 SPF(Second Per Frame)으로 측정하는 경우도 있었다. 가장 빠르고 정확성이 높은 Faster R-CNN은 7FPS정도였다.

어쨌든 위의 디텍션 파이프라인을 건드려서 더 빠른 detector를 만들기 위한 시도가 많이 이루어졌었지만, 현재로서는 속도를 많이 줄이면 그에 상응하여 detection accuracy가 줄어들었다.

SSD는 pixel resample이나 bounding box hypothese 없이 가장 정확하고 빠른 첫번째 네트워크라고 소개함.

59 FPS with mAP 74.3% on VOC2007 test, vs. Faster R-CNN 7 FPS with mAP 73.2% or YOLO 45 FPS with mAP 63.4%

SSD가 사용하는 방법은, 사실 저자가 처음 시도한 건 아니라고 한다.

나머지 내용들은 거의 동일한 내용에 대해서 말하고 있으니 생략.

2) The Single Shot Detector

2장에서 다루고 있는 내용은 다음과 같다.

2-1) SSD framework

2-2) training methodology

~~2-3) data-specific model details and experimental results~~

2-1) SSD Framework

300 *300 or (512 * 512 ) 이미지 -> backbone network ( VGG-16 ) -> 38 * 38 * 512로 축소. -> 이후 conv layer 통과하며 feature layer 생성 -> box 생성 및 nms -> 결과
깊이와 크기가 다른 각각의 conv_layer 마다 feature layer들이 output으로 출력됨.
본문의 "yielding (c + 4)kmn outputs for a m × n feature map" 의 내용은 다음과 같다.
k (클래스 개수) * mn (feature map 크기 = 픽셀 개수) * ( c + 4 )
c = confidence score, 4 = box offsets ( 좌표 )
Conv4_3은 ( 38 * 38 ) * 512 의 output이며 3*3 conv를 통과함. -> output은 ( 38 * 38 ) * 4 * ( c + 4 ) 가 출력됨. c는 배경 클래스로, 다른 클래스 개수 + 1. 예시에서 클래스가 1개, 단일 클래스이면 c = 2. 박스 개수는 38 * 38 * 4 = 5776
만약 클래스가 1 개, c =2 라고 하면..
Conv7 역시 마찬가지로 ( 19 * 19 ) * 1024 -> (19 * 19) * -> 19*19*6개의 박스 생성. output은 19*19*6*(c+4)
Conv8_2: 10×10×6 = 600 박스 개수 (6 boxes for each location) -> output 개수= 10×10×6×6(6=c + box 좌표 x,y,b,h)
Conv9_2: 5×5×6 = 150 박스 개수 (6 boxes for each location) -> output 개수= 5×5×6×6(6=c + box 좌표 x,y,b,h)
Conv10_2: 3×3×4 = 36 박스 개수 (4 boxes for each location) -> output 개수= 3×3×4×6(6=c + box 좌표 x,y,b,h)
Conv11_2: 1×1×4 = 4 박스 개수 (4 boxes for each location) -> output 개수= 1×1×4×6(6=c + box 좌표 x,y,b,h)
Total 박스 개수 = ({38*38*4}+{19*19*6} + {10*10*6} + {5*5*6} + {3*3*4} + {1*1*4}) = 8732
Total output 노드 개수 = 8732 * ( 2(클래스+1) + 4(박스 offset) )

2-2) Training methodology

* Choosing scales and aspect ratios for default boxes

Choosing scales :

네트워크 안에서 다른 크기의 feature map들의 receptive field size는 서로 다르다. SSD에서는 박스의 수용장 크기에 맞도록 반응할 필요 없이, feature map의 개수에 따라서 박스의 scale이 반응하도록 디자인하였다.

수식을 보면, m개의 feature map이 있을때, k번째 feature map의 스케일 Sk는 서로 등간이다. 우선 최대 스케일 Smax - 최소 스케일 Smin 값이 전체 feature map 개수 -1로 나뉘고(Smin + ~ 이기 때문에 해당 값을 제외 ), 이후 그 값이 몇 번째이냐에 따라서 k가 곱해지기 때문이다.

따라서 m =6. m=7 일때 각각 S1~6, S1~7은 다음과 같이 등간이다. 원문에서는 이를 all layers in between are regularly spaced 라고 표현하고 있다.

S1~7 = [0.2, 0.316, 0.432, 0.548, 0.664, 0.78, 0.9] m=7, len=7

S1 ~6= [0.2, 0.34, 0.48, 0.62, 0.76, 0.9] m=6, len=6

Choosing aspect ratios :

ar(aspect ratio) = [ 1, 2, 3, 1/2,1/3 ]

K = [1 ~ m ]

각각의 default box의 너비와 높이는 다음과 같다.

default box는 feature map location마다 ar의 수 만큼 생성되며, 총 m * ( ar + 1 ) 개 생성된다.

+ 1개 더 생성되는 이유는, aspect ratio ar = 1일때 , ( ar =1 , Sk = S'k )인 박스를 추가로 생성한다. S'k는 현재 스케일과 다음 스케일의 값을 곱한 후 제곱근을 취한 값이다.

ex) m=5, feature location의 scale(k)= 3 이고, aspect ratio가 1일 때 추가로 생성되는 default box의 scale 값은 다음과 같다.

S'3 = sqrt(S3 * S4) -> sqrt( 0.55 + 0.725 ) = 1.129

S3 = 0.2 + ( 0.7 / {5-1} ) * (3-1) = 0.2 + (0.175)*2 = 0.55

S4 = 0.2 + ( 0.7 / {5-1} ) * (4-1) = 0.2 + (0.175)*3 = 0.725

마찬가지로 전체적으로 생성되는 default box는 ( 너비와 높이가 다름 ) 다음과 같다.

	ar = 1	ar = 1 ( S'k )	ar = 2	ar = 3	ar = 4	ar = 5
m = k = 1	S1	Sk <- S1S2	S1	S1	..	..
m = k = 2	S2	Sk <- S2S3	S2	..	..	..
m = k = 3	S3	Sk <- S3S4	S3	..	..	..
m = k = 4	S4	Sk <- S4S5	S4	..	..	..
m = k = 5	S5	Sk <- S5S?	S5	..	..	S5

즉, ar = 5 개이고, per feature location은 m개 이지만, ar이 1일때 per feature location에서 default box가 한 개씩 더 생성되니, 총 (ar +1) *m 개 = 즉 6개의 default box가 생성되는 것이다.

만약, ar 을 다양하게 구성하지 않고 [ 1, 2, 1/2, 1/3 ] 4개로 구성하였을 때는 5개(4+S'k1)의 default box가 각각의 feature location에서 생성될 것이다.

* Select box location

default box들은 scale과 aspect ratio에 따라 생성되며, 한 스케일에서는 aspect ratio + Sk'R까지 6개의 default box들이 생성되는데, 그 박스의 중심 위치는 다음과 같이 생성된다.

( box width와 height 역시 scale 값이니, 크기 값이 1이 되지 않는다고 혼동하지 말자 )

|fk|는 k번째 feature map의 크기이다. 그리고 i와 j는 feature map 크기에 따라서 달라지는 인덱스의 값이다.

예를 들어, |fk|가 8*8 사이즈의 feature map이면, i와 j의 인덱스는 다음과 같으며, location 역시 64곳 생성된다.

i , j	0	1	2	3	4	5	6	7
0	0,0	0,1	0,2	0,3	0,4	0,5	0,6	0,7
1	1,0	..	..	..	..	..	..	..
2	2,0	..	..	2,3	..	..	..	..
3	3,0	..	..	..	..	..	..	..
4	4,0	..	..	..	..	..	..	..
5	5,0	..	..	..	..	..	..	..
6	6,0	..	..	..	6,4	..	..	7,6
7	7,0	7,1	7,2	7,3	7,4	7,5	6,7	7,7

64곳의 location 중 i =2, j = 3 일때 생성되는 박스의 중심은 다음과 같다.

Bc = { (2+0.5)/8 , (3+0.5)/8 } , Bc = { 0.3125, 0.425 }

Bc = { (7+0.5)/8 , (6+0.5)/8 } , Bc = { 0.9375, 0.8125 }

--> 이 부분은 왜 위와 같은 수치가 나오는 것인지 잘 이해가 되지 않는다... ㅜㅜ

code implementation을 보면 ( box center에 대한 코드가 아래 부분밖에 없음 ) 다음과 같다.

최종 feature map 의 box가 원본 대비 얼마나 줄어들었는지 판단하고,

박스가 있을 수 있는 input image의 위치를 그리드화 한 뒤,

해당 영역에 대해서 모든 중심위치를 만드는 것.

이후 box 크기만큼 더하고 빼줘서 [x,y,w,h] 방식으로 결과가 출력된 뒤 NMS를 실행한다.

정확히 SSD 논문의 모든 메소드가 구현된 것은 아닌 것 같은데, 이 부분을 제대로 이해하기 위해서는 구현 코드를 더 찾아봐야 한다. 이 파트를 다루는 자료들이 많이 없다...

우선, 이미지 너비와 높이 / feature map의 너비와 높이 -> 확장 비율을 계산하고

ex) 300 / 8

step_x = float(img_width) / float(layer_width)

step_y = float(img_height) / float(layer_height)

0.5 * step_x 부터 img_width - (0.5*step_x)까지의 값 까지 layer_width만큼의 구간으로 나누어서 간격별로 중심의 위치를 생성

ex) 0.5*27 ~ 300- 0.5*27, 8

--> 13.5 ~ 286.5 , 8씩

--> [13.5 , 21.5 , 29.5, ......270.5, 278.5, 286.5 ]

linx = np.linspace(0.5 * step_x, img_width - 0.5 * step_x, layer_width)

liny = np.linspace(0.5 * step_y, img_height - 0.5 * step_y, layer_height)

생성한 모든 중심 위치를 그리드로 표현하는 배열 생성

centers_x, centers_y = np.meshgrid(linx, liny)

centers_x = centers_x.reshape(-1, 1)

centers_y = centers_y.reshape(-1, 1)

prior_boxes = np.concatenate((centers_x, centers_y), axis=1)

prior_boxes를 각 차원별로 1번, 2*num_priors만큼 복제.

num_priors는 aspect ratio의 개수 ( 배열의 길이 )

ex) if prior_boxes = [a, b]:

then np.tile(prior_boxes, (1,2*num_priors=1)) 이면

result = [ [ a, b ]

[ a, b ] ]

prior_boxes = np.tile(prior_boxes, (1, 2 * num_priors))

* hard negative mining ( 본문 직역 아님 )

다양한 스케일과 aspect ratio를 가진 box들을 다양한 location에서 생성해냈다. 이러한 예측들을 통해 다양한 input object의 size와 shape에 대응할 수 있을 것이다. 모든 박스들을 training/inference에 사용하는 것은 cost-efficient하지 않다. 따라서 이제 이 예측들을 matching하는 작업을 수행한다. Matching은 feature map을 통해 예측한 박스와 ground truth의 IOU treshold에 따라서 정해진다.

대부분의 box들은 이 과정에서 negative sample이 된다(significant imbalance between the positive and negative samples). 이 중에서 confidence loss가 높은 순으로 정렬하여, positive와 negative의 비율이 1:3이 되도록 추출한다. 이 과정을 통해 최적화 속도를 높이고 훈련을 안정적으로 진행할 수 있다.

* loss function

전체적인 loss fucntion 은 confidence score loss와 localization loss로 이루어져 있으며, 다음과 같다.

L(x,c,l,g) = 수식 2) 3)에서 N개 만큼 더해주었던 loss를 1/N으로 나누어준 것이다.

우선 SSD의 training objective[7,8]은 아래의 방법들을 차용한 것이다.

7. Erhan, D., Szegedy, C., Toshev, A., Anguelov, D.: Scalable object detection using deep neural networks. In: CVPR. (2014)

8. Szegedy, C., Reed, S., Erhan, D., Anguelov, D.: Scalable, high-quality object detection. arXiv preprint arXiv:1412.1441 v3 (2015)

차이점으로는 Multiple object categories를 다룰 수 있도록 확장되었다.

confidence loss의 계산에 대한 부분

만약 한 default box와 ground truth box가 매칭되면, {1,0} -> 1 이 인디케이터 값으로 반환된다.

즉 특정 카테고리에 대해서, 생성되는 모든 default box들에 대해서 j번째 ground truth box와 매칭이 이루어졌을 경우, 인디케이터 들의 값이 모두 더해져 >= 1 일 수 있다. 이를 통해 어떤 한 박스에 대해서만 confidence loss를 계산하는 것이 아닌, 모든 박스에 대해서 각자 다른 class의 confidence Loss를 계산할 수 있다.

다시 말해 한 박스에서 다중 카테고리에 대해서 동시에 예측할 수 있는 유연성을 가지게 된다.

수식 3)을 참고하면, positive sample에는 N개의 box가 있을 수 있고, 그 박스의 index는 그 중 하나인 i이다. matching되는 ground truth 역시 j이다. 그러면, 해당 i박스에는 여러 개의 클래스 p가 존재할 수 있다. 만약 인디케이터가 1이라면 계산을 수행하고, 0이라면 수행하지 않는다. 이런 식으로 모든 박스에서 존재하는 클래스에 대해서 softmax를 취해 더해지는 것이다.

localization loss의 계산에 대한 부분 ( bounding box regression )

수식 2)를 참고하자. positive sample중 하나인 i에 대해서 매칭되는 j번째 ground truth간의 계산이다. 각각의 positive sample에서 offset과 박스 정보를 가지고 center x, center y, w, h 를 구할 수 있다.

이때 xk ij는 ( l - g )의 smooth L1 loss이며, m이 cx, cy, w, h 어떤 원소인지에 따라서 계산 방식이 각기 다르다.

최종적으로 cx,cy,w,h에 대한 loss들이 각각의 성분에 대해서 계산되어 합해진다.

** Smooth L1 loss

smooth L1 loss는 l과 g의 차이가 클 경우 L1 손실을, 작을 경우는 L2 손실을 사용하는 것이다. L1은 절댓값, L2는 제곱값의 차이이며, L2이 제곱값을 통해 오차를 측정하기 때문에 큰 값이 더 큰 차이를 발생한다. 따라서 이상치에 더 민감하게 반응한다고 할 수 있다. 반면 L1 loss는 이상치에 더 강건하다. 다만 L1 손실은 상수이기 때문에 미분 불가능한 지점이 존재한다. Smooth L1 loss를 사용하면 그래디언트의 변화를 완화할 수 있다. 그 형태는 아래 그림을 통해 확인할 수 있다.

출처 : https://blog.csdn.net/leonardohaig/article/details/103374519

SSD에서는 Faster R-CNN의 smooth L1 loss를 사용하였고, 확인해보니 L1 ~ L2 의 B값은 1인것 같다.

faster Rcnn - Ross Girschick , p(3)

* Data augmentation

SSD는 smaller object에 대해서 퍼포먼스가 좀 낮게 나온다.

"zoom in operation" 을 sampling 할 때 사용하여 데이터를 증강함.

전체 원본 입력 이미지를 사용해서, 탐지 객체와의 자카드 유사도가 0.1, 0.3, 0.5, 0.7 혹은 0.9이면서 원본 이미지 크기의 [ 0.1 ~ 1 ], 종횡비 [1/2 ~ 2 ] 범위의 패치를 생성한다. 해당 패치들이 겹치는 부분에 ground truth box가 있으면, 해당 패치들의 영역만 사용한다. 0.5의 확률로 horizontal flip을 가하고, 다음의 photometric process를 거쳤다고 한다. ( Some Improvements on Deep Convolutional Neural Network Based Image Classification , Andrew G. Howard )

- translation invariance에 대해서는 Random crop하는 부분과 multiple scales and view라는 관점은 같고, 같은 맥락에서 SSD에서 패치를 사용함.

- reflection invariance 때문에 horizontal flip을 사용함. 이 부분도 위에서 적용됨.

- 나머지는 contrast, brightness, color, random lighting noise -> 이 부분은 레퍼런스가 (ImageNet Classification with Deep Convolutional Neural Networks, A,Krizhevsky., G,E.Hinton. et al.).

Data Augmentation

가장 쉬운 증강 방법은, 라벨이 보존되는 변환인데 ~ 크게 두가지 방법을 사용했고, GPU가 돌아갈때 CPU에서 돌려서 computationally free한 방법을 사용한다 ~~ 로 요약된다.

1. 여기서도 generating image translation(패치)과 horizontal reflections를 사용. 비슷한 개념으로 SSD도 사용.

2.RGB channel의 밀도를 변환하는 방법. PCA throughout 데이터셋, 발견한 주성분의 배수를 원본 이미지에 더해준다.

이때 추가되는 값은 고유값에 해당하는 크기의 랜덤 변수를 mean=1, std=0.1인 가우시안 분포에서 추출한 값이다.

< GPT의 설명 >

따라서 각 RGB 이미지 Ixy의 (RGB) 픽셀에 다음 수량을 추가합니다:

Ixy = [IRxy, IGxy, IBxy]

[p1, p2, p3][α1λ1, α2λ2, α3λ3]T --> 1*3 3*1(1*3의 T) -> 1*1 값이 IRxy ~ IBxy에 더해진다는 것?

여기서 pi와 λi는 각각 RGB 픽셀 값의 3 × 3 공분산 행렬의 ith 고유벡터와 고유값이고, αi는 이전에 언급한 랜덤 변수입니다.

-> 고유벡터만 PCA 결과이고, 가중치 α는 1,2,3 모두 거의 조금차이나게 곱해줘서 적용한다는 뜻.

이 방식은 자연 이미지의 중요한 특성인 물체의 식별이 조명의 강도와 색상의 변화에 불변함을 근사적으로 잡아내는 것입니다. 이 방식은 top-1 오류율을 1% 이상으로 감소시킵니다.

top-1 error는, 모델이 가장 높은 확률로 예측한 클래스가 실제로 해당 샘플의 클래스와 일치하는지. 의미 있어보임.

<----- 끝 ----->

터틀봇 2D 라이다 LDS-01 Lidar 센서 ROS 에서 구동해보기

jaegomhoji — Tue, 9 May 2023 15:05:15 +0900

LDS-01 실물 ( 분리한 상태 )

잘돌아간다.

https://emanual.robotis.com/docs/en/platform/turtlebot3/appendix_lds_01/#appendix-lds01

ROBOTIS e-Manual

emanual.robotis.com

공홈에서 확인해보니 ROS kinetic 버전 패키지가 있는데 이는 ROS1 willy, 20.04 이전의 리눅스에서 돌아감

rosversion -d 로 현재 설치된 버전 확인하면, ROS1 noetic.

Github 링크에서 확인해본 결과 noetic 버전 pass 받아서 실행 가능함.

https://github.com/ROBOTIS-GIT/hls_lfcd_lds_driver

GitHub - ROBOTIS-GIT/hls_lfcd_lds_driver: ROS package for HLDS HLS-LFCD LDS driver

ROS package for HLDS HLS-LFCD LDS driver . Contribute to ROBOTIS-GIT/hls_lfcd_lds_driver development by creating an account on GitHub.

github.com

ROS 설치 방법 참고 ( 레포 등록 ~ 키 설정 ~ 설치 ~ 환경 셋업 = 배시 설정, 의존성 패키지 설치 )

http://wiki.ros.org/noetic/Installation/Ubuntu

noetic/Installation/Ubuntu - ROS Wiki

If you rely on these packages, please support OSRF. These packages are built and hosted on infrastructure maintained and paid for by the Open Source Robotics Foundation, a 501(c)(3) non-profit organization. If OSRF were to receive one penny for each downlo

wiki.ros.org

.bashrc에 등록한 alias noetic으로 실행

alias eb='nano ~/.bashrc'
alias sb='source ~/.bashrc'
alias gs='git status'
alias gp='git pull'
alias cw='cd ~/catkin_ws'
alias cs='cd ~/catkin_ws/src'
alias cm='cd ~/catkin_ws && catkin_make'
alias noetic='source /opt/ros/noetic/setup.bash'

다운받은 패키지는 catkin_ws/src/hls_lfcd_lds_driver로 워크스페이스의 소스 폴더 안에 위치시킨다

바로 catkin_make를 하면 다음과 같은 오류가 뜬다

Could NOT find PY_em (missing: PY_EM)
CMake Error at /opt/ros/noetic/share/catkin/cmake/empy.cmake:30 (message):
  Unable to find either executable 'empy' or Python module 'em'...  try
  installing the package 'python3-empy'
Call Stack (most recent call first):
  /opt/ros/noetic/share/catkin/cmake/all.cmake:164 (include)
  /opt/ros/noetic/share/catkin/cmake/catkinConfig.cmake:20 (include)
  CMakeLists.txt:58 (find_package)

-- Configuring incomplete, errors occurred!
See also "/home/----------/catkin_ws/build/CMakeFiles/CMakeOutput.log".
Invoking "cmake" failed

http://wiki.ros.org/ROS/Tutorials/CreatingPackage

이떄, catkin_make -DPYTHON_EXECUTABLE=/usr/bin/python3 로 다시 빌드하면 성공한다.

런치 파일 실행 ( 터틀봇3 참고 )

https://emanual.robotis.com/docs/en/platform/turtlebot3/appendix_lds_01/

ROBOTIS e-Manual

emanual.robotis.com

Rviz로 실행하고 확인하는 방법

이후 term1 : roscore

term2 : roslaunch hls_lfcd_lds_driver view_hlds_laser.launch

이 밖에도 링크에는 GUI 로 실행하는 다른 방법이 있음

Rviz로 확인한 결과

Detection distance

120mm ~ 3,500mm

Ambient Light Resistance	10,000 lux or less
Sampling Rate	1.8kHz

감지거리가 대략 3m 정도 되는 것 같고, 테스트는 실내에서 진행해서 주변광 저항은 문제가 되지 않았다.

거리 별 오차와 스캔율, 스캔 범위는 다음과 같다. 비교적 정확하게 검출이 되는 것 같다.

Distance Range	120 ~ 3,500mm
Distance Accuracy (120mm ~ 499mm)	±15mm
Distance Accuracy(500mm ~ 3,500mm)	±5.0%
Distance Precision(120mm ~ 499mm)	±10mm
Distance Precision(500mm ~ 3,500mm)	±3.5%
Scan Rate	300±10 rpm
Angular Range	360°
Angular Resolution	1°

럭스 (lux or lx) 국제 단위계의 조명도(조도, illuminance )의 단위.

국제 단위계(SI)의 조명도의 단위. 기호 ㏓. 1㎡의 넓이에 11m의 광속이 균등하게 입사했을 때의 조명도로서 광도가 1㏅인 점광원으로부터 1m의 거리에서 빛의 방향에 수직한 면의 조명도에 해당된다. 예를 들면 거실에서 30W고리모양 형광등을 2개 사용한 조명기구를 바닥에서 높이 1.8m의 위치에 달 때, 그 아래 탁자 위의 조명도는 140∼160㏓ 정도이며, 가벼운 독서나 오락은 이 이상이 바람직하다.

칸델라 (candela) 광도 단위. 국제단위계 기본단위로, 기호는 ㏅이다.

광도 단위. 국제단위계(SI) 기본단위로, 기호는 ㏅이다. 지금의 계량법으로는 ＜10만 1325㎩(파스칼) 압력에서 백금 응고점에 있는 흑체(黑體)의 1/60만㎡의 평평한 표면의 수직방향의 광도＞라고 정의되었다. 그러나 이것은 1948년 국제도량형 총회의 정의이며, 1979년 ＜주파수 540×10㎐인 단색복사(單色輻射)를 방출하는 광원의 복사강도가 1/683W/㏛인 방향에서의 광도＞라고 개정되었다. 또 광도의 옛 단위로 쓰인 촉(燭)은 1.0067㏅에 해당한다. 칸델라라는 이름은 수지(獸脂)로 만든 양초를 뜻하는 라틴어에서 유래한다.

야외

직사일광 : 100,000 LUX

쾌청 : 10,000 LUX

구름있는낮 : 1,000 LUX

실내

일반사무실 : 1,000 LUX

시청각실 : 200 LUX

황혼, 호텔로비 : 100 LUX
호텔의 복도 : 50 LUX

주차장, 극장 휴식중의 객석 : 10 LUX
극장의 객석 : 2 LUX

밤

만월 시 맑은 밤의 지상 : 0.3 LUX
상현달의 밝기 : 0.001 LUX

별의 밝기 : 0.001 LUX

즉, LDS-01로는 야외의 쾌청한 날씨정도에서 사용 가능할 것 같다. 실내용 라이다는 몇K lux밖에 되지 않는데, 그에 비해서는 조도 저항이 있는 편 같다.

CygLidar 같은 비회전형 제품이 있길래 확인해보았지만, 야외에서는 사용이 불가능할 것 같다.

https://www.devicemart.co.kr/goods/view?no=13901542

2D/3D Dual 라이다 거리측정 센서 Solid-State ToF LiDAR

초소형 고성능 라이다 (고정형) / 2D(200mm~8,000mm),3D(50mm~2,000mm) 동시 인식 / 측정속도: 15Hz / FOV: 2D/3D Horizontal 120도, 3D Vertical 65도

www.devicemart.co.kr

테스트 ~

책상 위에 물건이 많아서 좀 어지럽게 나왔다.

키보드, 사람, 책상 의자 모두 감지되고 있다.

키보드를 치운 상황. ToF 방식이라 의자 앞에 서 있으니 의자는 감지되지 않는다.

이걸로 사람을 감지할 수 있을까?

cv2 match Template을 사용해서 패턴을 찾아본다.

우선 패턴 이미지가 필요하다. 알아서 가공하자.

import cv2

import numpy as np

path1 = '/home/ ㅁㄴㅇㄻㄴㅇㄹ /ROS2/pattern.png'

path2 = '/home/jㅁㄴㅇㄻㄴㅇㄹ/ROS2/2dlidar2.png'

pattern = cv2.imread(path1)

img = cv2.imread(path2)

# width, height, Channel

print(pattern.shape)

row, col = pattern.shape[:2]

cv2.imshow('pattern_image', pattern)

cv2.waitKey(10000)

cv2.destroyAllWindows()

methods = ['cv2.TM_CCOEFF','cv2.TM_CCOEFF_NORMED',

'cv2.TM_CCORR','cv2.TM_CCORR_NORMED',

'cv2.TM_SQDIFF','cv2.TM_SQDIFF_NORMED']

for i, name in enumerate(methods):

temp_img = img.copy()

temp_method = eval(name)

#temp_img = cv2.blur(temp_img, (9,9), anchor=(1,-1), borderType=cv2.BORDER_DEFAULT)

# template matching

match = cv2.matchTemplate(pattern,img,temp_method)

min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(match)

print(min_val)

print(max_val)

print("min_loc and tuple", min_loc)

print("max_loc and tuple", max_loc)

if name in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:

top_L = min_loc

match_value = min_val

else:

top_L = max_loc

match_value = max_val

# point matching , then add original pattern size

bottom_R = (top_L[0] + col, top_L[1] + row )

color_rgb = (0.125,255)

cv2.rectangle(temp_img, top_L, bottom_R, color_rgb,3)

cv2.imshow('match_image', temp_img)

print("type of methods\t:", name)

save_root = "/home/your save root /ROS2/"

bridge_str = "lidar_match_Template"

save_path = save_root + bridge_str + name + ".png"

cv2.imwrite(save_path, temp_img)

cv2.waitKey(10000)

cv2.destroyAllWindows()

상관관계 매칭 결과, 위치를 잘 잡은 것 같다. 충분히 사람 인식에 써먹을 수 있을 것 같다.

제곱 차이 매칭 결과, 상관관계 매칭 결과보다는 원하는 위치가 추출되지 않았다.