AI (25) 썸네일형 리스트형 Transformer-XL 정리, 사용법 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 요즘 XLNet이 등장하여 Bert의 기록들을 갱신하고 있다. 자연어 처리 분야에서 Self-Attention을 이용한 모델들이 기존 CNN, RNN을 이용한 모델들보다 크게 성능이 앞서고 있다. Bert는 Transformer 모델을 기반으로 token을 masking 하고, 다음 문장을 예측하는 2가지 phase를 동시에 적용시킨 모델이다. 하지만 이 모델은 Transformer를 사용하므로, 고정길이의 문장(=512)밖에 다루지 못한다. 즉, Token 길이가 512가 넘는 문장에 대해서는 잘라야 하고, 512가 안 되는 문장은 padding을 해야 한다. 이러한 Tran.. 강화학습으로 StarCraft II 하기 - 2) PySC2 간단한 유닛 제어 DeepStar : 핸즈온 RL - 1회차 (2) 본 글은 싸이버스의 DeepStar 핸즈온 후 정리하는 블로그 이다. 강화학습을 이용하여 스타크래프트2를 학습시키는 것이 목적이다. 내용 * (스타2) StarCraft II Learning Environment 튜토리얼 (2) - 간단한 제어 예시 reference https://github.com/psygrammer/DeepStar/tree/master/season02_star2_handson_rl/pysc2_handson 수정 https://github.com/keep-steady/DeepStar/tree/master/season02_star2_handson_rl/pysc2_handson PySC2로 간단한 제어하기¶ https://github.co.. 강화학습으로 StarCraft II 하기 - 1) PySC2 환경설정 DeepStar : 핸즈온 RL - 1회차 본 글은 싸이버스의 DeepStar 핸즈온 후 정리하는 블로그 이다. 강화학습을 이용하여 스타크래프트2를 학습시키는 것이 목적이다. 내용 * (스타2) StarCraft II Learning Environment 튜토리얼 (1) - 환경설정, 간단한 제어 예시 * (핸즈온 RL) - Chapter 1, What is Reinforcement Learning? - Chapter 2, OpenAI Gym 1. StarCraft II Learning Environment 튜토리얼 (1) - 환경설정, 간단한 제어 예시 김무성, 조남운님의 github을 보고 작성하였다. https://github.com/keep-steady/DeepStar/tree/master/sea.. Pytorch visualization #2. TensorboardX 사용법 파이토치를 이용하다가 실시간 visualization을 하기 위해여 visdom을 사용하였다.하지만......쓰다쓰다 도저히 엉성하고 어설퍼서 tensorboard를 사용하기로 했다. 그리고 내린 결론은 역시!!!! Tensorboard를 써야겠다!! 는 것이다.사실 실시간으로 visualize 해야될 필요는 크게 없다. 어차피 그래프 plot 시키게 짜놨으니까.근데 왜 쓸데없이 계속 이작업을 하고있는지 모르겠다.본 글에서는 TensorboardX의 설치와 수행방법, 그리고 변수, 이미지, text, pr_curve, json export 등을 다룬다. Pytorch TensorboardX Tutorial- 본 블로그 실습코드 : https://github.com/keep-steady/etc_code/b.. Pytorch 사용법 정리 1. 모델 Save & Load 1) 모델 선언 model = Net() 2) 모델 저장 torch.save(model.state_dict(), '/model/model.pth') - 모델 파라미터들과 저장 경로 설정 3) 모델 로드 model = Net() model.load_state_dict(torch.load('/model/model.pth')) - 모델 선언 후, 저정된 모델파일을 불러온다 Pytorch visualization #1. Visodom 사용법 파이토치를 이용하다가 실시간 visualization을 하기 위해여 visdom을 사용하였다. Tensorboad를 사용하다가 visdom을 써보니 편한듯 하지만 좀 어설퍼보인다는 생각이 자꾸 든다. 최근호님의 튜토리얼을 현재 버전에 맞게 수정하고 그림을 추가하였다. Visdom Tutorial 튜토리얼, 현재 버전에 맞게 변형 및 그림 추가 - 본 블로그 실습 코드 : https://github.com/keep-steady/etc_code/blob/master/visdom_tutorial.ipynb - 공식 사이트 : https://github.com/facebookresearch/visdom - 튜토리얼 : https://github.com/GunhoChoi/PyTorch-FastCampus/blob.. 보안논문 - PassGAN: A Deep Learning Approach for Password Guessing 리뷰 PassGAN: A Deep Learning Approach for Password Guessing - Review 논문URL : https://arxiv.org/pdf/1709.00440.pdf GITHUB : https://github.com/brannondorsey/PassGAN 1. Intro 이 논문은 17년 9월 아카이브에 올라왔고, 19년 2월 업데이트 하여 다시 아카이브에 올라왔다. Password Guessing : 이 기술은 대량의 후보 PW 사전을 만들고, 이를 반복적, manually 하게 대입해보며 PW를 뚫는 기술이다. 기존 기술들은 전문가가 manually하게 PW를 분석하고, 구조와 지식을 습득한 후 만든다.본 논문에서는 Password Guessing을 위해 PassGAN으.. TTS 1. 마인즈랩의 TTS, 글을 쓰면 소리를 만들어준다 https://api.maum.ai/kr/tts/#none API를 구매하려면 99000원을 내야한다... 구매 시, API를 이용하여 대량의 Synthesis data를 만들 수 있을 거 같다. 2. Carpedm20의 github https://github.com/sokcuri/multi-speaker-tacotron-tensorflow 3. 김앵커 추가 https://github.com/melonicedlatte/multi-speaker-tacotron-tensorflow http://hellogohn.com/post_one298 4. 박규병, KSS 한글 TTS 데이타셋 https://www.kaggle.com/bryanpark/korean-s.. 이전 1 2 3 4 다음
