1、딥워크
[DeepWalk] DeepWalk - 사회적 표상 온라인 학습 (SBU 2014)
word2vec은 임베딩을 위한 시퀀스를 기반으로 하지만 실제로는 엔터티 간의 관계가 점점 더 복잡해지고 네트워크화되고 있습니다. 이때 시퀀스 임베딩------>그래프 임베딩.
그래프 정의:
G=(V,E),Evv
두 가지 콘텐츠 블록:
1. 시퀀스 구성: ------->랜덤 워크, 잘린 랜덤 워크
2. word2vec 훈련 ------>스킵그램
2. 모델 기능:
이 기사는 Random Walk + SkipGram 형태의 노드 표현을 개척했으며, 이후 업계에서 emb의 수많은 애플리케이션이 이 형식을 참조합니다.
deepWalk의 핵심 아이디어는
(1) 관계형 네트워크 그래프를 통해 랜덤 워크 시퀀스를 구성하는 단계,
(2) 생성된 시퀀스를 Skip-Gram 형식으로 기억하고 각 노드를 동일한 공간에 표현하는 두 단계로 나누어집니다. 가운데. 기사의 알고리즘 효과 평가는 주로 여러 웹사이트 사용자에 대한 다중 레이블 분류 작업을 통해 수행됩니다.
실험 결과는 개선 효과가 더 분명하고 훈련 데이터가 상대적으로 작을 때 알고리즘이 더 잘 수행될 수 있음을 보여줍니다.
이점:
데이터의 양이 상대적으로 희박할 때에도 여전히 좋은 성능을 발휘할 수 있습니다.
대규모 온라인 실행 예측 지원
작업 병렬화 가능
적용되는 알고리즘과 수식은 언어 모델을 기반으로 합니다.
이 기사에서는 훈련 시퀀스를 직접 얻을 수 있다면 랜덤 워크 프로세스가 반드시 필요하지 않다고 제안합니다.
3. 참고문헌:
심랭크:https://www.cnblogs.com/pinard/p/6362647.html
https://zhuanlan.zhihu.com/p/45167021
https://www.cnblogs.com/pinard/p/7243513.html
원본 논문: http://www.perozzi.net/publications/14_kdd_deepwalk.pdf
논문 번역: https://www.jianshu.com/p/ 5adcc3d94159
애플리케이션 참조: https://yq.aliyun.com/articles/716011
