AI, NLP를 연구하는 엔지니어

본문 바로가기

AI

데이터 분석 이번주 로또번호는? 로또번호 데이터 분석 가끔 지인들과 로또가 되면 뭐하지?라는 말을 하곤 한다. 사실 모두들 로또가 되면 뭐하고 뭐하고 뭐해야지~ 하는 생각을 해봤을 거다ㅎㅎ 블로그들을 보다 아이디어를 얻어 재미 삼아 역대 로또번호들을 분석해봤다. 아래 url을 통해 시작했고 유사한 분석을 하신 분이 있다, 밑에 reference에 남기겠다. 코드는 깃헙에서 확인할 수 있다. https://github.com/keep-steady/bigdata_analysis/tree/master 1) 파이썬을 이용해 나눔 로또 API로 역대 로또번호들을 몽땅 가져온다 2) 이를 pandas를 이용하여 분석한다!! 1. 선언 우선 각종 library들을 import 한다. label은 로또를 긁어왔을 시 설명이다. from urllib.request impo..
자연어처리(NLP) 한국어 자연어처리 1편_서브워드 구축(Subword Tokenizer, Mecab, huggingface VS SentencePiece) 실습 코드(jupyter notebook) : github.com/keep-steady/NLP_for_korean.git 자연어처리를 오랫동안 하다 보니 나만의 한글 데이터셋에 Bert, Transformer 등 새로운 모델의 입력을 만들어야 할 일이 많다. 하지만 길고 긴 Pretraining을 수행 전 subword vocab을 만드는 건 정말 중요하다. 아무리 Pretraining을 잘 수행했어도 subword의 품질이 최종 성능에 많은 영향을 미친다. 특히 vocab은 중간에 바꿀 수 없어서 몇 달간 학습한 Pretraining 결과도 쓸모없어지는 수가 있다. 필자 이전 구글의 sentencepiece를 쭉 이용해와서 새롭고 빠른 tokenizer가 나왔다 해도 별 생각이없었다. 얼마나 빠르길래?..
ROS2+SLAM AI로봇랩 1강) Windows WSL2에 ROS2 설치하기 Frenz AI로봇랩에서 ROS2 강의영상 입니다. ROS의 이론과 설치 (Windows WSL2)에 대해 다룹니다. https://youtu.be/AUSOnvOTt2s ROS2는 윈도우에서도 가능하다! ROS2를 윈도우에 설치하기 위한 3가지 방법 그냥 Window Window+wsl2 (!!) Window+Docker Window의 wsl2를 이용해서 ROS2를 설치해보자 윈도우에서 리눅스를 사용할 수 있게 해주는 WSL2 버전이 정식으로 출시 WSL은 Windows Subsystem for Linux 2의 줄임말 윈도우의 가상화 기능을 활용해서 윈도우 위에서 리눅스를 사용 가능 단순히 가상머신으로 리눅스를 사용할 수 있는 것이 아님 윈도우 시스템과 통합되어 마치 하나의 머신처럼 자연스럽게 리눅스를 ..
OSINT OSINT day2-1. 딥웹 onion 찾기 & 아고라 살펴보기 딥웹의 onion을 찾고 아고라 살펴보기다크웹, 딥웹이라고 불리는 어둠의 경로에 있는 사이트를 들어가보자.딥웹은 오픈웹의 반대말로 일반인이 쉽게 접근할 수 없다.onion은 딥웹의 주소라고 생각하면 된다. ex)딥웹이 있는 대부분의 사이트들은 ~~.onion 형식이다.본 글에서는 한국어로 된 딥웹, 아고라, 하이코리아, 히든위키코리아, 동부전선을 들어가는 법을 알아보자.이들 사이트는 마약, 포르노, 밀매 등의 정보가 있다. ## 1) 아고라 onion 찾기1. 칼리리눅스 로그인 2. 구글에서 "아고라 onion" 으로 검색 - http://c2djzrn6qx6kupkn.onion 3. 리눅스 토르 브라우저에 위 사이트 접속 - 아고라 : 익명 보드, 한국어 최대 다크웹 사이트임 - 하이코리아, 히든위키 ..
자연어처리(NLP) GPT3 3편) HyperCLOVA(한국어 GPT3), CLOVA Studio 사용후기 안녕하세요 자연어처리를 연구하고 있는 고우영입니다. 최근 네이버에서 한국어 초대규모 AI HyperCLOVA 언어모델을 개발하여 직접 사용해보면서 인공지능의 가능성과 한계를 체험해보고자 네이버 HyperCLOVA 에반젤리스트로 지원하여 크로버 스튜디오 클로즈 베타에 참여했습니다. 오늘은 한국어 초대규모 AI HyperCLOVA의 언어모델을 활용할 수 있는 No Code AI 도구인 CLOVA Studio 사용후기를 공유합니다. 0. GPT3 관련 지난 글 - GPT3 1편) GPT3 이론 파헤치기 https://keep-steady.tistory.com/52 GPT3 1편) GPT3 이론 파헤치기 최근 인공지능 기반 자연어처리는 거대 언어모델 개발로 큰 성공을 거두고 있습니다. 오늘은 GPT3에 대해 알..
데이터 분석 5분만에 끝장내는 AutoML(h20) 사용법 5분만에 H2O AutoML을 끝장내보자. 사실 5분도 안걸린다. 구글 Colab에서 바로 사용할 수 있다. Github 주소 : github.com/keep-steady/automl_h20_practice_python 실습 colab 주소 : colab.research.google.com/drive/1oRIdDWNL_NMdwmGmrS8rK0KiJOdtt5MH?usp=sharing => colab을 연 후 아래 그림과 같이 data.csv를 기본 경로에 업로드 AI프렌즈 김** 선생님께서 아주 좋은 데이터를 공유해주셨다. 여러 가지 feature를 이용하여 서류 합불을 예측할 수 있는 데이터이다. 최근 AI프렌즈에선 AutoML에 관심 있는 사람들이 많다. 나는 작년 NAS 논문 몇 개 읽어 보고 코드 ..
자연어처리(NLP) TransCoder, 비지도학습 기반 프로그래밍 언어 번역기 TransCoder(Unsupervised Translation of Programming Languages) Link : https://arxiv.org/pdf/2006.03511.pdf github: https://github.com/facebookresearch/TransCoder 참고 : https://www.facebook.com/monthly.nlp/posts/258096098955595/ 5월 Facebook AI Research에서 Transcoder Transcoder라는 별칭의 코드 번역기가를 공개했다. 비지도 학습 기반 번역 기법을 프로그래밍 언어 간 변환에 적용한 연구이다. 아래 그림은 TransCoder 예시이다. 본 글에서는 Transcoder에 대해 다룬다. Abstract 1..

티스토리툴바