AI, NLP를 연구하는 엔지니어

본문 바로가기

AI

음성인식 바이든? 날리면? 주파수 기반 음성처리 노이즈 제거 동영상은 영상과 음성으로 이루어져 있다. 영상은 두 눈으로 명확히 보이므로 분석이 어렵지 않으나, 음성은 여러 잡음과 multi-speaker 문제로 분석이 어렵다. 본 글에서는 음성을 분석하여 노이즈를 제거하고 속도를 빠르거나 느리게 하는 실습을 진행한다. 음성은 아래와 같이 시간영역에서 파형으로 이뤄져 있다. 그리고 이 파형은 실제 우리가 원하는 음성과, 잡음으로 이뤄져 있다. 우리는 잡음을 제거하고, 원하는 음성 부분만 듣고 싶다. 실습 순서는 아래와 같다. 1) 유튜브에서 원하는 영상을 다운로드한다 2) 영상에서 음성을 추출한다 3) 전체 음성에서 원하는 부분만 자른다 4) 주파수 영역에서 음성을 분석한다 5) 주파수 변환(mel-spectogram)을 그래프로 확인한다 6) 음성을 빠르거나 느리..
자연어처리(NLP) LLM 실습 1) dolly with langchain Intro llama 언어모델이 공개된 후 Opensource와 상업용으로 이용이 가능한 많은 언어모델이 출시되고 있다. 오늘은 이 중 Databricks에서 공개한 dolly 사용법에 대해 알아보자 Dolly는 pythia 모델에 15,000개의 databricks-dolly-15k(instruction/response 데이터셋)으로 fine-tuning한 모델이다. databricks-dolly-15k 데이터셋은 Databricks 직원들이 InstructGPT paper를 참고하여 brainstorming, classification, closed QA, generation, information extraction, open QA and summarization들을 포함하는 데이터셋을 만들었다. ..
AI로봇 [Unity, 강화학습, MARL]AI vs AI, 강화학습 기반 Multi-agents 경쟁 시스템 개발 Introducing ⚔️ AI vs. AI ⚔️ a deep reinforcement learning multi-agents competition system 인공지능대 인공지능이 경기를 통해 스스로 학습하는 Multi-agent 강화학습 시스템을 만들어봅시다. AI와 AI 두 agent가 서로 학습하고 경쟁하며 self-learning 합니다. 강화학습 기법으로는 기존 PPO나 SAC 말고 Unity에서 개발한 POCA를 사용합니다. PPO와 SAC에 비해 학습속도와 성능이 월등합니다. Unity의 ml-agents를 사용하여 torch로 강화학습을 합니다. 직접 학습한 축구AI로 다른 사람들과 경기해 볼 수 있어요:) 1) Reference ref1 ref2 2) 환경셋팅 2.1) Anaconda ..
자연어처리(NLP) GPT3 3편) HyperCLOVA(한국어 GPT3), CLOVA Studio 사용후기 안녕하세요 자연어처리를 연구하고 있는 고우영입니다. 최근 네이버에서 한국어 초대규모 AI HyperCLOVA 언어모델을 개발하여 직접 사용해보면서 인공지능의 가능성과 한계를 체험해보고자 네이버 HyperCLOVA 에반젤리스트로 지원하여 크로버 스튜디오 클로즈 베타에 참여했습니다. 오늘은 한국어 초대규모 AI HyperCLOVA의 언어모델을 활용할 수 있는 No Code AI 도구인 CLOVA Studio 사용후기를 공유합니다. 0. GPT3 관련 지난 글 - GPT3 1편) GPT3 이론 파헤치기 https://keep-steady.tistory.com/52 GPT3 1편) GPT3 이론 파헤치기 최근 인공지능 기반 자연어처리는 거대 언어모델 개발로 큰 성공을 거두고 있습니다. 오늘은 GPT3에 대해 알..
자연어처리(NLP) GPT3 1편) GPT3 이론 파헤치기 최근 인공지능 기반 자연어처리는 거대 언어모델 개발로 큰 성공을 거두고 있습니다. 오늘은 GPT3에 대해 알아봅시다. 1. 언어모델(Language Model) 언어모델은 크게 Auto encoding 모델과 Auto regressive 모델 두 종류로 나눌 수 있습니다. 1.1. Auto-Encoding Auto-Encoding 모델은 임의로 문장에서 빈칸([MASK])을 만든 후 주변 단어를 통해 문맥상 빈칸을 맞추는 방식입니다.을 위한 BERT, Electra, RoBerta가 이 방식에 속합니다. 동일 문장이라도 random masking 위치에 따라 서로 다른 정보 학습할 수 있고, Downstream task에 Fine-tuning 시 [MASK] 토큰이 등장하지 않으므로 Pre-trainin..
자연어처리(NLP) GPT3 2편) OpenAI API로 chatbot을 만들어보자! 거대 언어모델 GPT3가 화재다. 수많은 데이터를 엄청 큰 Transformer decoder 모델로 이루어진 GPT 모델로 학습한 GPT3. 지금까지 언어모델은 Pretrain을 통해 학습한 후 많진 않지만 적지 않은 꽤 많은 데이터를 수집하여 fine-tuning을 해서 언어모델의 parameter weights 값들을 업데이트해야 동작했다. 하지만 GPT3 모델은 weight 업데이트 없이 언어모델의 입력인 prompt에 정보를 잘 담으면 학습 없이도 많은 task가 가능하다. GPT3로 할수있는 task는 자연어처리의 모든 task이다. 분류/요약/번역/챗봇 등등 수많은 task가 학습 없이 prompt 입력 만으로 가능하다. 본 글에선 1) OpenAI의 API를 이용해 GPT3를 이용하는 방법..
카테고리 없음 AI로봇랩 6강) JetsonNano SD카드 포맷 및 재사용 방법 partitionwizard.com에서 아래 프로그램을 다운받고 순서대로 따라한다.

티스토리툴바