본문 바로가기

전체 글286

Expert | MongoDB 에 질의 생성 keyID 기준으로 해서 2020년도의 프로젝트가 몇개다 하는 질의를 생성하고 싶어 쿼리 생성은 Rawdata 마우스 우측버튼 클릭 Shell 클릭 구글링, group by ~ 해서 복붙 후에, 몽고DB 에서 진행스 : 'mongodb aggregate group by' https://www.google.com/search?q=mongodb+aggregate+group+by&oq=mongodb+aggregate+gro&aqs=chrome.2.69i57j0i512l9.9174j0j7&sourceid=chrome&ie=UTF-8 mongodb aggregate group by - Google 검색 2015. 4. 18. · group化. _idに指定したものでgroup化される。 mongo. Copied! db.. 2021. 10. 26.
LDA | 이 결과는 과연 신뢰할 만한 결과인가 과연 신뢰할 만한 토픽인가 먼저 한국어 불용어부터 제거해보고 다시 돌려보자 https://lovit.github.io/nlp/2018/09/27/pyldavis_lda/ pyLDAvis 를 이용한 Latent Dirichlet Allocation 시각화하기 LDAvis 는 토픽 모델링에 자주 이용되는 Latent Dirichlet Allocation (LDA) 모델의 학습 결과를 시각적으로 표현하는 라이브러리입니다. LDA 는 문서 집합으로부터 토픽 벡터를 학습합니다. 토픽 벡터는 단 lovit.github.io 설명 미쳤습니다// 거의 파 치는 수준!! LDA 시각화 과정이 어떻게 진행되고 부족한 점들을 어떻게 보완하고 있는지 상세히 설명하고 있어 링크 달아놓습니다. 해당 글에 질문 중에 pyLDAvi.. 2021. 10. 26.
LDA | 오류해결 및 시각화 기존의 코드 preprocessed_docs = documents['title'].map(preprocess) 지금 몽고DB 에서 가져온 파일을 보면은, title 이 아니라 papers 가 있지 않나 그러면 아무리 타이틀로 넣어도 당연히 없는 값이라고 오류가 나올 수 밖에 .. 가져온 데이터가 다르면 그에 맞는 인덱스 값도 달라지고, 이를 반영하지 못하였던 게 계속된 오류의 원인이었다 Dictionary LDA 모델을 학습시키려고 하는데 딕셔너리 형태로 만들어주라고 한다 처음에 이 부분이 계속 오류가 떠서 건너 뛰고 가려고 하였는데, 단어 자체를 사용하여 문서를 표현하면 비효율적이니까 문서 집합에 있는 문서 전체를 읽어가면서 토큰화, 불용어 제거 등의 순서를 진행하여 사전을 구축한다 Corpus cor.. 2021. 10. 25.
LDA | Delete Korean Stopword 임무 기존의 LDA 코드에서 팀원이 새로 생성한 코드를 바탕으로 하여 한국어 불용어를 제거하는 것이다. 지정하는 방법은 이런 식으로 진행하려고 픽했고, 직접 코드를 구현해봐서 돌아가는지 금요일에 계속 팔 생각이다. (다음주 월요일 발표이므로 PPT 제작도 같이 준비, 발표 스크립트 준비) 2021. 10. 23.

티스토리툴바