Today I Learned(TIL)-28

# # 요소 추가
# lst.append(4)        # [1, 2, 3, 4]
# lst.extend([5, 6])   # [1, 2, 3, 4, 5, 6]
# lst.insert(2, 'a')   # [1, 2, 'a', 3, 4, 5, 6]
#
# # 요소 제거
# lst.remove('a')      # [1, 2, 3, 4, 5, 6]
# lst.pop()            # [1, 2, 3, 4, 5]
#
# # 리스트 정렬 및 반전
# lst.sort()           # [1, 2, 3, 4, 5]
# lst.reverse()        # [5, 4, 3, 2, 1]
#
# # 복사 및 검색
# copied_lst = lst.copy() # [5, 4, 3, 2, 1]
# index_of_3 = lst.index(3) # 2
# count_of_4 = lst.count(4) # 1
#
# # 리스트 비우기
# lst.clear()          # []

# -------------리스트 정리-------------------

# #--------------------------------------------------------
# # 숙제 - 25
# # number = [1, 4, 4, 4, 4, 4, 4]에 중복 제거 해주세요
# number = [1, 4, 4, 4, 4, 4, 4]
# answer = list(set(number))
# print(answer)
# #--------------------------------------------------------
# # 숙제 - 26
# # number = [1, 4, 4, 4, 4, 4, 4, 5]에서 5 제거 후 출력해주세요
#
# number = [1, 4, 4, 4, 4, 4, 4, 5]
# number.remove(5)
# print(number)

# #--------------------------------------------------------
# # 숙제 - 27
# # number = [1, 2, 3, 4, 5]에서 3 제거 후 나머지 요소의 평균 값 구해주세요
# number = [1, 2, 3, 4, 5]
# a_list=[]
# number.remove(3)
# for i in number:
#     a_list.append(i)
# average = sum(a_list)/len(a_list)
# print(average)

# #--------------------------------------------------------
# # 숙제 - 28
# # number = [1, 2, 3, 4, 5]에서 뒤의 3개만 출력해주세요 후 귀차나 슬슬
# number = [1, 2, 3, 4, 5]
# number.remove(2)
# number.remove(1)
# print(number)

# #--------------------------------------------------------
# # 숙제 - 29
# # number = [1, 4, 4, 4, 4, 4, 4. 5]에서 중복된 요소의 개수 출력
# number = [1, 4, 4, 4, 4, 4, 4, 5]
# a_list={}
# for i in number:
#     if i in a_list:
#         a_list[i]+=1
#     else:
#         a_list[i]=1
# print(a_list)

# #--------------------------------------------------------
# # 숙제 - 30
# # number = [1, 4, 4, 4, 4, 4, 4. 5]에서 요소 4의 위치(인덱스)를 출력하세요
# number = [1, 4, 4, 4, 4, 4, 4, 5]
# print(number[4])
#
# #--------------------------------------------------------
# # 숙제 - 31
# # list_1 = [1, 2, 3]
# # list_2 = [4, 5, 6]
# # 위의 두개의 리스트를 하나로 합쳐주세요
# list_1 = [1, 2, 3]
# list_2 = [4, 5, 6]
# print(list_1+list_2)

# #--------------------------------------------------------
# # 숙제 - 32
# # number = [[1, 2], [3, 4], [5, 6]]의 모든 요소를 더해주세여
# number = [[1, 2], [3, 4], [5, 6]]
# a_list = []
# for i in range(len(number)):
#     for j in range(len(number[i])):
#         a_list.append(number[i][j])
# print(sum(a_list))


# #--------------------------------------------------------
# # 숙제 - 33
# # a = 11
# # b = 22
# # 위의 변수를 선언 후 a의 값을 22, b의 값을 11로 교환
# a = 11
# b = 22
# a,b = b,a
# a_tuple=(a,b)
# print(a_tuple)

# #--------------------------------------------------------
# # 숙제 - 34
# # 값 3, 6, 9를 a, b, c 변수들에게 각각 할당해라
# number = (3 ,6 , 9)
# a,b,c = number
# print(a)
# print(b)
# print(c)
# #--------------------------------------------------------
# # 숙제 - 35
# # (44, 33, 22, 11)의 튜플을 리스트로 변환 후 출력
# a_tuple = (44, 33, 22, 11)
# a_list = list(a_tuple)
# print(a_list)

 

-------------------------------------CS강의 내용--------------------------------------

빅데이터

• 데이터 종류
  • 정형 데이터
    • 정량적이고 수치로 확인할 수 있거나 구조를 가지고 있는 데이터를 의미합니다.
    • 예시는 어떤것들이 있을까요?
      • 시간, 시계열 데이터, 금융 데이터, ID/PW, 온도, 카드번호, 수강생 기록 등등
  • 비정형 데이터
    • 수치적으로 확인할 수 없거나 구조를 띄지 않는 데이터를 의미합니다.
    • 예시는 어떤것들이 있을까요?
      • 그림, 소리, 영상 등등
  • 반정형 데이터
    • 정형데이터와 비정형데이터의 성격을 두개 다 가지는 데이터를 의미합니다.
      • 예시
        • DICOM 파일(의료용 디지털 영상 및 통신 표준) 그림과 환자 정보가 함께 있음
        • JSON(python에서 튜플형식의 키와 값으로 데이터를 저장함)
        • XML(태그를 통해 데이터 요소를 저장함)
        • 스마트폰에서 위치 값을 함께 저장하는 사진

• 꼭 알아야하는 개념!
  • 메타데이터 다른 정보에 대한 정보를 의미합니다. 보통 어떤 정보의 근원에 대한 정보를 담고 있습니다.
  • 회귀분석 두 개 이상의 변수 간의 관계를 분석하는 방법을 의미합니다.
    • 더 깊게 깊게! (회귀 분석 종류들)
      • 단순 회귀 분석 하나의 독립 변수와 하나의 종속 변수 간의 관계를 분석합니다
      • 다중 회귀 분석 두 개 이상의 독립 변수와 하나의 종속 변수 간의 관계를 분석합니다
      • 다항 회귀 분석 독립 변수와 종속 변수 간의 비선형 관계를 분석합니다
      • 로지스틱 회귀 분석 종속 변수가 이진형(두 가지 범주)일 때 사용하는 회귀 분석 방법입니다.
  • 군집분석 데이터를 유사한 특성을 가진 군집으로 나누기 위한 분석 방법입니다.
  • IoT(Internet of Things, 사물인터넷) 인터넷을 통해 다양한 물리적 장치들이 서로 연결되어 데이터를 주고받으며 상호작용하는 시스템을 의미합니다.
    • 최근에는 다양한 가전제품들에도 사물인터넷을 적용하여 사용자의 행동 패턴을 분석하고 니즈를 확보하는 일에도 사용되고 있습니다.
• 더 깊게 깊게!
  • 로드밸런싱 부하가 집중되는것을 방지하기 위해 여러 서버에 네트워크 트래픽을 분산시키는 기술
  • 데이터 레이크 원시 데이터를 그대로 저장하는 시스템 (hadoop 같은것을 의미해요)
  • 데이터 거버넌스 데이터의 신뢰성, 사용성, 보안성을 보장하기 위해 관리하는 모든 작업을 의미합니다.
  • 데이터 웨어하우스 대량의 데이터를 통합, 저장하여 분석하는 시스템

 

인공지능

• Deep learning(딥러닝, 줄여서 DL이라고 합니다)
  • 인공지능을 학습시키거나 문제를 해결하기 위한 핵심 알고리즘을 의미합니다.
  • 꼭 알아야하는 개념!
    • Neuron**(**뉴런) 신경망의 기본 단위로 입력을 받아 가중치를 적용하고 활성화 함수를 통해 출력을 생성
    • Layer(층) 뉴런들이 모여있는 층으로 보통 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성됩니다.
    • Weight(가중치) 뉴런에서 다음 뉴런으로 넘길 때 중요도(가중치)를 적용하기 위한 매개변수입니다.
      • 이 가중치가 왜 중요하냐면 가중치에 따라 결과가 달라져요. 옳바른 학습을 많이 시킬수록 더 정교한 가중치가 만들어집니다.
    • Model(모델) 보통 인공지능 분야에서 모델이라고 하면 어떤 AI나 신경망 등 대상체를 의미해요. 단어 사용 예시: 수강생 딥러닝 모델, 수강생 숙제 시키는 인공지능 모델
    • ANN(Artificial Neural Network, 인공신경망) 여러 뉴런으로 이루어진 인공 신경망을 의미합니다.
    • DNN(Deep Neural Network, 심층신경망) 기존의 ANN의 단점을 해결하기 위해 은닉층을 통해 더 깊은 신경망 구조를 갖는 신경망
    • CNN(Convolution Neural Network**, 합성곱신경망)** 특징을 추출하고 패턴을 파악하는데 우수한 신경망
    • RNN(Recurrent Neural Network, 순회신경망) 시간적인 특성을 함께 학습하고 적용하기 위한 신경망
    • 더 깊게 깊게!
      • 다층 퍼셉트론 (Multilayer Perceptron, MLP) 층이 여러개가 이루어진 신경망을 의미해요.
      • 역전파 알고리즘 (Backpropagation) 신경망의 가중치를 업데이트하여 오차를 최소화하는 방법이예요.
      • 생성적 적대 신경망 (Generative Adversarial Networks, GAN) 새로운 데이터를 생성하기 위한 신경망이예요.
• Machine learning(기계학습, 줄여서 ML이라고 합니다.)
  • 인공지능을 학습 시키는 것을 의미합니다.
  • 꼭 알아야하는 개념!
    • 지도 학습 입력 데이터와 정답을 함께 주며 학습시키는 방식 응용분야: 이미지 분류, 스팸 이메일 탐지, 주식 가격 예측, 코인 가격 예측
    • 비지도 학습 입력 데이터만 주어지고, 정답이 없는 상태에서 데이터의 패턴이나 구조를 찾는 방식 응용분야: 구매 패턴에 따른 고객 세분화, 이상 탐지, 차원 축소
    • 강화 학습 시행착오를 통해 보상을 최대화하기 위해 학습하는 방식
      • 응용분야
      • 게임 AI, 로봇 제어, 자율 주행 차량
    • 반지도 학습 일부 데이터에 대해서는 분류와 정답이 있지만 나머지 일부는 없는 상태로 학습. 응용분야: 데이터 라벨링 (대학원생이 하던 고생을 대신 시킬 수 있어요!)
• Artificial Intelligence(인공지능, 줄여서 AI라고 합니다.)
  • 딥러닝 알고리즘을 통해 머신러닝이된 프로그램을 인공지능이라합니다.
  • 꼭 알아야하는 개념!
    • 약인공지능 (Narrow AI or Weak AI) 특정 작업이나 문제를 해결하는 데 특화된 AI. 일반 지능이 아닌 특정 분야에서만 능력을 발휘하는 인공지능 모델을 의미해요. (그렇다고 성능이 안좋은 것은 아니예요! 특정 작업은 빠르게 수행도 가능하고 학습도 용이한편입니다!)
    • 강인공지능 (General AI or Strong AI) 인간과 유사한 수준의 지능을 가지고 다양한 작업을 수행할 수 있는 인공지능 모델을 의미해요.
    • 대형 언어 모델 (Large Language Model, LLM) 많은 양의 텍스트 데이터를 학습하여 언어 이해와 생성 능력을 갖춘 인공지능 모델
      • 어떤 것들이 있을까요?
        • ChatGPT(GPT-3, GPT-4)
        • BERT
        • T5
        • Turing-NLG
        • LLaMA
        • 위 예시 말고도 굉장히 많이 있어요!
• 더 깊게 깊게!
  • 초인공지능 (Superintelligent AI) 인간의 지능을 초월하는 AI. 상상 속의 개념으로, 아직은 이론적인 단계에 있어요. (’터미네이터’라는 영화에 나오는 ‘스카이넷’같은 인공지능이 여기에 속해요.)