Numpy

22 Jan 2022 in Studying ML/DL

Python Basics for AI

해당 썸네일은 Wonkook Lee 님이 만드신 Thumbnail-Maker 를 이용하였습니다

• 🦴 numpy 특징
• 🥓 array creation
• 🎛️ Handling Shape
  • reshape
  • flatten
• 👁️‍🗨️ indexing for numpy array
• 📏 slicing for numpy array
• 🔥 creation function
  • arange
  • zeros - 0으로 가득찬 ndarray 생성
  • identity
  • diag
  • random sampling
• 🎚️ operation function
  • sum
  • axis 개념
  • mean & std
  • concatenate
    • vstack & hstack
    • concatenate
  • Operations betwwen arrays
    • basic
    • Dot product
    • transpose
    • broadcasting
• ⚔️ Comparisons
  • all & any
  • comparison operation #1
  • comparison operation #2
  • np.where
  • argmax & argmin
• 🎸 boolean & fancy index
  • boolean indexing
  • fancy indexing
• 👓 numpy data i/o
  • loadtxt & savetxt

🏓 Numpy

핵심 생각 - 어떻게 행렬과 매트릭스를 코드로 표현할 것인가?

\[2x_1 + 2x_2 + x_3 = 9 \\2x_1 - x_2 + 2x_3 = 6\\x_1 - x_2 + 2x_3=5\] \[\left[ \begin{matrix} 2 & 2 & 1 & 9\\ 2 & -1 & 2 & 6 \\ 1 & -1 & 2 & 5 \end{matrix} \right]\]

coefficient_matrix = [[2,2,1], [2,-1,2], [1, -1, 2]]
constant_vector = [9,6,5]

Problems

• 다양한 Matrix 계산을 어떻게 만들 것인가?
• 굉장히 큰 Matrix 에 대한 표현
• 처리 속도 문제 - python은 interpreter 언어

So We should use Numpy!

🦴 numpy 특징

• 일반 list 에 비해 빠르고, 메모리 효율적
• 반복문 없이 데이터 배열에 대한 처리를 지원함
• 선형대수와 관련된 다양한 기능을 제공함
• C, C++, fortran 등의 언어와 통합 가능

🥓 array creation

test_arr = np.array(["1",4,5,6]. float)
print(test_arr)
# 1.0 4.0 5.0 6.0 

"""
shape : numpy array 의 dimension 구성을 반환함
dtype : numpy array 의 데이터 type 을 반환함
"""

test_arr = np.array([1,4,5,"8"], float)
test_arr.dtype #float64
test_arr.shape #(4,)

matrix = [[1,2,3,4], [4,5,6,7], [7,8,9,9]]
np.array(matrix,int)

matrix.shape #(3, 4)

🎛️ Handling Shape

reshape

Array 의 shape의 크기를 변경함, element 의 갯수는 동일

ex. (2,4)→(8,)

np.array(test_matrix).reshape(2,4).shape
# 2, 4

np.array(test_matrix).reshape(-1,2).shape
# 4, 2

"""
-1 의 의미는 size를 기반으로 row/column 개수 선정
"""

flatten

다차원 array 를 1차원 array 로 변환

ex. (2,2,4)→(16,)

👁️‍🗨️ indexing for numpy array

• list와 달리 이차원 배열에서 [0,0] 표기법을 제공
• matrix 일 경우 앞은 row 뒤는 column 을 의미함

a = np.array([[1,2,3], [4.5, 5, 6]], int)

print(a[0][0]) # 1
print(a[0,0]) # 1

📏 slicing for numpy array

• list와 달리 행과 열 부분을 나눠서 slicing 이 가능함
• matrix 의 부분집합을 추출할 때 유용함

a = np.array([[1,2,3,4,5], [6,7,8,9,10]], int)
a[:, 2:] # 전체 row의 2열 이상
#[[3,4,5], [8,9,10]]

a[1, 1:3] # 1 row 의 1열~2열
# [7,8]

a[1:3] # 1 Row ~ 2 Row 의 전체
# [6,7,8,9,10]

🔥 creation function

arange

array 의 범위를 지정하여, 값의 list 를 생성하는 명령어

np.arange(5) #array([0,1,2,3,4])

np.arange(0,5,0.5) #(start, end, step)
# array([0., 0.5, 1., ... , 4.5])

zeros - 0으로 가득찬 ndarray 생성

np.zeros(shape=(10,), dtype=np.int8)
# array([0,0,0,0,0,0,0,0,0], dtype=int8)

np.zeros((2,5))
# array([[0., 0., 0., 0., 0.],
#        [0., 0., 0., 0., 0.]])

identity

단위 행렬 (i 행렬) 을 생성함

np.identity(n=3, dtype=np.int8)
# array([1,0,0],
#       [0,1,0],
#       [0,0,1], dtype=int8)

np.identity(5)

diag

대각 행렬의 값을 추출함

matrix = np.arange(9).reshape(3,3)
np.diag(matrix)
# array([0,4,8])

random sampling

데이터 분포에 따른 sampling 으로 array 를 생성

np.random.uniform(0,1,10).reshape(2,5) #균등분포

🎚️ operation function

sum

ndarray 의 element들 간의 합을 구함, 리스트의 sum 기능과 동일

test_arr = np.arange(1,11)
test_arr.sum(dtype=np.float)

#55.0

axis 개념

모든 operation function 을 실행할 때 기준이 되는 dimension 축

⬇️ : axis=0

➡️ : axis=1

test_arr = np.arange(1,13).reshape(3,4)
test_arr.sum(axis=1), test_arr.sum(axis=0)

"""
1  2  3  4
5  6  7  8
9 10 11 12

(array([10,26,42], array([15,18,21,24])
"""

mean & std

ndarray의 element들 간의 평균 또는 표준 편차를 반환

test_arr = np.arange(1,13).reshape(3,4)

"""
1  2  3  4
5  6  7  8
9 10 11 12
"""

test_arr.mean(), test_arr.mean(axis=0)
(6.5, array([5., 6., 7., 8.]))

concatenate

numpy array 를 합치는 함수

vstack & hstack

"""
1 2 3       1 2 3
        ->  2 3 4 
2 3 4
"""

a = np.arange(1,4).reshape(3,)
b = np.arange(2,5).reshape(3,)

np.vstack((a,b))
# array([1,2,3]
#        [2,3,4)

"""
1    2     1 2  
2    3  -> 2 3
3    4     3 4
"""

a = np.array([[1], [2], [3]])
b = np.array([[2], [3], [4]])

np.hstack((a,b))
# array([1,2]
#       [2,3],
#       [3,4] )

concatenate

numpy array 를 붙이는 함수

# 위와 똑같은 array

a = np.arange(1,4).reshape(3,)
b = np.arange(2,5).reshape(3,)

np.concatenate((a,b), axis =0)

a = np.array([[1,2], [3,4]]
b = np.array([5,6]) #shape = (2,)
b = b[np.newaxis, :] # 축을 하나 추가하는 것
b.shape #(1,2)

"""
넘파이 객체에 .T를 하면 shape이 (2, 1)로 변하게 됨 = transpose 연산
"""

np.concatenate((a, b.T), axis=1)

Operations betwwen arrays

numpy 는 array 간의 기본적인 사칙 연산을 지원함

basic

test_a = np.array([[1,2,3], [4,5,6]], float)
test_a + test_a #Matrix + Matrix 연산

"""
array([[2., 4., 6.,]
      [8., 10., 12.]])
"""

test_a - test_a

"""
array([[0., 0., 0.,]
      [0., 0., 0.]])
"""

test_a * test_a #Matrix 내 element 들 간 같은 위치에 있는 값들끼리 연산
                # shape 이 같을 때 일어남

"""
array([[1., 4., 9.,]
      [16., 25., 36.]])
"""

Dot product

Matrix 의 기본 연산, dot 함수 사용

test_a = np.arange(1,7).reshape(2,3)
test_b = np.arange(7,13).reshape(3,2)

test_a.dot(test_b)

"""
array([[58, 64]
      [139, 154]])
"""

transpose

전치행렬

test_a = np.arange(1,7).reshape(2,3)
"""
[[1 2 3]
 [4 5 6]]
"""

test_a.T
"""
[[1 4]
 [2 5]
 [3 6]]
"""

broadcasting

shape 이 다른 배열 간 연산을 지원하는 기능

test_matrix = np.array(1,7).reshape(2,3)
scalar = 3.

test_matrix + scalar
"""
array([[4., 5., 6.],
       [7., 8., 9.]])
"""

"""
scalar - vector 뿐만 아니라
vector - vector 도 지원
이 경우 둘의 shape 을 알아서 맞춰줌
"""

⚔️ Comparisons

all & any

a = np.arange(10)

a < 4

"""
array([ True,  True,  True,  True, False, False, False, False, False,
       False])
"""

np.any(a>5), np.any(a<0) # 하나라도 조건에 만족하면 True
# True, False

np.all(a>5), np.all(a<10) # 모두가 조건에 만족해야 True
# False, True

comparison operation #1

numpy 는 배열의 크기가 동일할 때 element 간 비교의 결과를 boolean type 으로 반환

test_a = np.array([1,3,0], float)
test_b = np.array([5,2,1], float)

test_a > test_b
# array([False,  True, False])

comparison operation #2

a = np.array([1,3,0], float)
np.logical_and(a > 0, a < 3) #and 조건의 condition
# array([True, False, False])

b = np.array([True, False, True], bool)
np.logical_not(b)
# array([False, True, False])

c = np.array([False, True, False], bool)
np.logical_or(b,c) # OR 조건의 condition
# array([True, True, True])

np.where

np.where(a>0, 3, 2) #where(condition, TRUE, FALSE)
# [3, 3, 2]

a = np.arange(10)
np.where(a>5)
# (array([6, 7, 8, 9]),)

argmax & argmin

array 내 최대값 또는 최솟값의 index 를 반환

a = np.array([1,2,4,5,8,78,23,3])
np.argmax(a), np.argmin(a)
#(5,0)

axis 기반의 반환

a = np.array([[1,2,4,7], [9,88,6,45], [9,76,3,4]])
np.argmax(a, axis=1), np.argmax(a, axis=0)

#(array([3, 1, 1]), array([1, 1, 1, 1]))

"""
1  2  4  7
9 88  6 45
9 76  3  4

axis = 0 일때는 9 88 6 45 가 max 이므로 그에 맞는 인덱스
axis = 1 일때는 7 88 76 이 max 이므로 그에 맞는 인데스
"""

🎸 boolean & fancy index

특정 조건에 따른 값을 배열 형태로 추출

Comparison operation 함수들도 모두 사용가능

boolean indexing

test_arr = np.array([1,4,0,2,3,8,9,7], float)
test_arr[test_arr > 3]

"""
array([4., 8., 9., 7.])
"""

fancy indexing

numpy는 array 를 index value로 사용해서 값 추출

a = np.array([2,4,6,8], float)
b = np.array([0,0,1,3,2,1], int) # 반드시 integer 로 선언

a[b] #a.take(b) 와 같음

#array([2., 2., 4., 8., 6., 4.])

👓 numpy data i/o

loadtxt & savetxt

text type 의 데이터를 읽고, 저장하는 기능

a = np.loadtxt("./populations.txt") #파일 호출
a[:10]

a_int = a.astype(int)
np.savetxt("int_data.csv", a_int, delimiter=",") #파일 저장

#numpy object - npy
np.save("npy_test_object", arr=a_int)
a_test = np.load(file="npy_test_object.npy")

---

numpy 에 대한 기본적인 것을 배워보았다. 생소한 개념들이 많았으므로 복습 많이 하자!