Dans un des chapitres précédents, nous avons appris a transformé un corpus de documemnts en Term-Document Matrix, dans laquelle la dimension de représentation des tokens (termes) est le nombre \(d\) de documents, et celui de représentation des documents est le nombre \(n\) de tokens (mots par exemple).
L’Analyse Sémantique Latente (LSA = Latent Semantic Analysis) vise à réduire la dimension de représentation des termes en un nombre optimal de dimensions latentes, permettant ainsi une visualisation des similarités entre termes et documents. Cette analyse sert aussi d’étape préliminaire pour d’autre analyses telles que la classification non-supervisée des documents (Topic Analysis). On peut se servir pour cela de la similarité cosinus dans l’espace des termes.
La LSA est une application de la décomposition SVD de la Term-Document Matrix que nous notons \(A\) qui permet d’approximer cette dernière par une matrice \(B\) tel que \(rg([A]_q)< rg(A)\) au sens des moindres carrés, où \(rg([A]_q)=q<rg(A)=r\).
SVDSoit \(A\in\mathbb{R}^{t*d}\) de rang \(rg(A)=r_A\).
La décompoition SVD de \(A\) est donnée par \[
A = U\Lambda {}^tV,
\]
\(U\in\mathbb{R}^{t*d}\) est une matrice unitaire
\(\Lambda\in\mathbb{R}^{d*d}\) est une matrice diagonale ayant les coefficients diagonaux \(\lambda_k\geq 0\), dont exactement \(r\) sont \(>0\) et distincts
\({}^tV\in\mathbb{R}^{d*d}\) est une matrice unitaire
Propriétés
Notes
Prop
Soit \(0<q<r\). Notons
Alors \([A]_q=[U]_q[\Lambda]_q[{}^tV]_q\) est une solution au pb d’optimisation
\[ \min_{rg(X)=q}\|A-X\|^2 \]
Supposons que l’on retienne \(q\) dimensions latentes qu’on peut encore appelées concepts:
Notes: Dans l’espace \(\mathbb{R}^q\) des concepts:
Les termes sont représentés par les \(\widehat{t}_i\)
Les documents par les \(\widehat{d}_j\).
cos\[ cosine(\widehat{t}_i, \widehat{t}_{i'}):=\dfrac{\langle\widehat{t}_i, \widehat{t}_{i'}\rangle}{\|\widehat{t}_i\|\|\widehat{t}_{i'}\|} \]
\[ cosine(\widehat{d}_j, \widehat{d}_{j'}):=\dfrac{\langle\widehat{d}_j, \widehat{d}_{j'}\rangle}{\|\widehat{d}_j\|\|\widehat{d}_{j'}\|} \]
QueryL’analyse sémantique latente peut servir de base pour faire des recherches de documents dans un corpus à partir d’un ensemble de mots clés. Autrement dit, cette analyse permet de construire un moteur de recherche de documents par mots clés. Un mot clé est tout mot apparaissant dans les termes.
Principe
Soit \(w\) un ensemble de mots clés, c’est-à-dire un tuple de mots du dictionnare associé au corpus en question. Par exemple, si le dictionnaire de termes est dict=(cameroun, mange, montagne, marché, soleil), \(w\) peut être (mange, soleil).
\(w\) est un pseudo-document que l’on représente dans l’espace des documents par le tuple \(w = (0, 1, 0, 0, 1)\) d’indicatrices des mots.
Les coordonnées de \(w\) dans les dimensions latentes sont données par \[ query(w) = {}^tw[U]_q[\Lambda]_q^{-1}\in\mathbb{R}^q. \]
On calcule alors les similarités entre le pseudo document \(w\) et les documents du corpus
Puis le classement des documents du corpus est obtenu selon les valeurs décroissantes des similarités précédentes.
Ces matrices peuvent servir à la classification (non-supervisée) des termes ou documents, par exemple une classification hiérarchique ascendante ou par la méthode des \(K\)-means.
Le choix de la dimension est très souvent fonction de la suite de l’analyse.
Par exemple:
Il s’agit de rechercher un coude dans le graphique des valeurs singulières.
On considère les documents suivants:
docs = data.frame(
docs = paste("doc", 0:9, sep=""),
text = c(
"Favorite dog fluffy tan",
"Dog brown cat brown",
"Favorite hat brown coat pink",
"Dog hat leash leash",
"Fluffy coat brown coat",
"Dog brown fluffy brown coat",
"Dog white brown spot",
"White dog pink coat brown dog fluffy",
"Fluffy dog brown hat favorite",
"Fluffy dog white coat hat"
)
)Tokenisation et construction de la Term-Document Matrix
Décomposition SVD
Représentation des nuages des termes et des documents
Query
# Norme euclidienne
norm2 = function(x) sqrt(x%*%x)
# Similarité cos
similariteCos = function(d1, d2){
return(d1%*%d2/(norm2(d1)*norm2(d2)))
}
# Query
query= function(w){
dict = TDtf$word
iw = sapply(dict, function(u) ifelse(u %in% w, 1, 0))
q = iw%*%dUV$u[,1:2]%*%solve(diag(dUV$d[1:2]))
Vq = dUV$v[,1:2]
similarites = apply(Vq, 1, function(d) similariteCos(d, q[1,]))
df = data.frame(docs = names(TDtf)[-1], similarites = similarites) %>%
arrange(desc(similarites))
return(df)
} docs similarites
1 doc9 0.9618832
2 doc8 0.9583119
3 doc2 0.9473260
4 doc7 0.9215021
5 doc5 0.9212584
6 doc1 0.9176807
7 doc4 0.9169543
8 doc6 0.9136101
9 doc0 0.9130959
10 doc3 0.3756435Part de la variabilité expliquée par le 1er plan latent
Éboulie des valeurs singulières
Le graphique ci-dessus suggère de sélectionner \(q=2\), ce qui correspond à une part de variabilité de 0.3937811