AI, NLP를 연구하는 엔지니어

본문 바로가기

AI

데이터 분석 이번주 로또번호는? 로또번호 데이터 분석 가끔 지인들과 로또가 되면 뭐하지?라는 말을 하곤 한다. 사실 모두들 로또가 되면 뭐하고 뭐하고 뭐해야지~ 하는 생각을 해봤을 거다ㅎㅎ 블로그들을 보다 아이디어를 얻어 재미 삼아 역대 로또번호들을 분석해봤다. 아래 url을 통해 시작했고 유사한 분석을 하신 분이 있다, 밑에 reference에 남기겠다. 코드는 깃헙에서 확인할 수 있다. https://github.com/keep-steady/bigdata_analysis/tree/master 1) 파이썬을 이용해 나눔 로또 API로 역대 로또번호들을 몽땅 가져온다 2) 이를 pandas를 이용하여 분석한다!! 1. 선언 우선 각종 library들을 import 한다. label은 로또를 긁어왔을 시 설명이다. from urllib.request impo..
ROS2+SLAM AI로봇랩 1강) Windows WSL2에 ROS2 설치하기 Frenz AI로봇랩에서 ROS2 강의영상 입니다. ROS의 이론과 설치 (Windows WSL2)에 대해 다룹니다. https://youtu.be/AUSOnvOTt2s ROS2는 윈도우에서도 가능하다! ROS2를 윈도우에 설치하기 위한 3가지 방법 그냥 Window Window+wsl2 (!!) Window+Docker Window의 wsl2를 이용해서 ROS2를 설치해보자 윈도우에서 리눅스를 사용할 수 있게 해주는 WSL2 버전이 정식으로 출시 WSL은 Windows Subsystem for Linux 2의 줄임말 윈도우의 가상화 기능을 활용해서 윈도우 위에서 리눅스를 사용 가능 단순히 가상머신으로 리눅스를 사용할 수 있는 것이 아님 윈도우 시스템과 통합되어 마치 하나의 머신처럼 자연스럽게 리눅스를 ..
OSINT OSINT day2-1. 딥웹 onion 찾기 & 아고라 살펴보기 딥웹의 onion을 찾고 아고라 살펴보기다크웹, 딥웹이라고 불리는 어둠의 경로에 있는 사이트를 들어가보자.딥웹은 오픈웹의 반대말로 일반인이 쉽게 접근할 수 없다.onion은 딥웹의 주소라고 생각하면 된다. ex)딥웹이 있는 대부분의 사이트들은 ~~.onion 형식이다.본 글에서는 한국어로 된 딥웹, 아고라, 하이코리아, 히든위키코리아, 동부전선을 들어가는 법을 알아보자.이들 사이트는 마약, 포르노, 밀매 등의 정보가 있다. ## 1) 아고라 onion 찾기1. 칼리리눅스 로그인 2. 구글에서 "아고라 onion" 으로 검색 - http://c2djzrn6qx6kupkn.onion 3. 리눅스 토르 브라우저에 위 사이트 접속 - 아고라 : 익명 보드, 한국어 최대 다크웹 사이트임 - 하이코리아, 히든위키 ..
OSINT OSINT day2-2. 딥웹 아고라 빅데이터 분석 가정 : 딥웹을 모니터링하는 금융감독원이라 해보자 ## 1) 아고라 크롤링 ## 2) 데이터 정제 ## 3) 엑셀에 시각화 ## 4) 정리 vim(리눅스 text view 프로그램 설치, vi보다 훨씬 이쁘고 보기 편하다) >> sudo apt-get install vim 으로 vim을 깔고 1. 아고라 크롤링 a) 코드 분석 - vim로 들어가보면 아래 코드와 같다 >> vim Desktop/Agora BigData/all_download_from_agora.py import urllib, os i = 0 while i > python all_download_from_agora.py - 1115개의 html 파일이 다음 이름으로 저장된다. "number.html" (number- 1~1115) - 만약..
AI로봇 [Unity, 강화학습, MARL]AI vs AI, 강화학습 기반 Multi-agents 경쟁 시스템 개발 Introducing ⚔️ AI vs. AI ⚔️ a deep reinforcement learning multi-agents competition system 인공지능대 인공지능이 경기를 통해 스스로 학습하는 Multi-agent 강화학습 시스템을 만들어봅시다. AI와 AI 두 agent가 서로 학습하고 경쟁하며 self-learning 합니다. 강화학습 기법으로는 기존 PPO나 SAC 말고 Unity에서 개발한 POCA를 사용합니다. PPO와 SAC에 비해 학습속도와 성능이 월등합니다. Unity의 ml-agents를 사용하여 torch로 강화학습을 합니다. 직접 학습한 축구AI로 다른 사람들과 경기해 볼 수 있어요:) 1) Reference ref1 ref2 2) 환경셋팅 2.1) Anaconda ..
자연어처리(NLP) GPT3 2편) OpenAI API로 chatbot을 만들어보자! 거대 언어모델 GPT3가 화재다. 수많은 데이터를 엄청 큰 Transformer decoder 모델로 이루어진 GPT 모델로 학습한 GPT3. 지금까지 언어모델은 Pretrain을 통해 학습한 후 많진 않지만 적지 않은 꽤 많은 데이터를 수집하여 fine-tuning을 해서 언어모델의 parameter weights 값들을 업데이트해야 동작했다. 하지만 GPT3 모델은 weight 업데이트 없이 언어모델의 입력인 prompt에 정보를 잘 담으면 학습 없이도 많은 task가 가능하다. GPT3로 할수있는 task는 자연어처리의 모든 task이다. 분류/요약/번역/챗봇 등등 수많은 task가 학습 없이 prompt 입력 만으로 가능하다. 본 글에선 1) OpenAI의 API를 이용해 GPT3를 이용하는 방법..
영상인식(Vision) (이미지 분류 고급) 2_EfficientNet을 이용한 대선후보 분류 Hands-On AI에서 이미지 공부할 때 MNIST만 돌려보는 건 지겹지 않은가?? 이미지 분류 고급과정에선 아래와 같이 이미지 분류의 A to Z를 Hands-on 과정으로 다룬다. 1. 이미지 자동 크롤링 2. EfficientNet을 이용한 이미지 분류 3. GradCAM을 이용한 XAI(Explainable AI) 4. 적대적 공격(Adversarial attack)으로 내 모델 공격하기 2022 대선후보 데이터셋 구축: 이전글 참고 https://keep-steady.tistory.com/29 그중 두 번째, EfficientNet을 이요한 이미지 분류 - 목적: 최신 이미지 분류 모델 학습 - 순서 1) 데이터 준비 - dataset - dataloader 2) EfficientNet 모델 준비 3) 학습 ..

티스토리툴바