Curso Online de Mineração de Dados para Otimização de Resultados em Mecanismos de Buscas na Internet

otimização do ranking de documentos em máquinas de busca na web a partir da mineração de dados sensível a contextos

joão guilherme rodrigues gallo

orientador: prof. wagner meira jr., ph.d,

28 de maio de 2009

departamento de ciência da computação
universidade federal de minas gerais

cenário

máquinas de busca na web são das aplicações mais utilizadas atualmente.
os usuários, em geral, não possuem muita experiência ou formação para utilizar esses recursos.
por outro lado, esperam que sejam listadas as melhores respostas logo nas primeiras posições do ranking.
entender o que o usuário espera como resposta do mecanismo de buscas sem que ele especifique adequadamente não é uma tarefa trivial.

motivação

aumentar a quantidade de documentos relevantes aos usuários dos mecanismos de busca na web por meio da identificação do contexto semântico dos termos submetidos nas consultas da sessão de buscas corrente

premissas

quantidade e heterogeneidade dos documentos indexados pelas máquinas de busca na web
o mesmo termo pode ter significados semânticos distintos dependendo do contexto no qual se insere

crescimento rápido e constante da quantidade de documentos indexados
novos significados para os termos já indexados podem surgir a qualquer momento

premissas

padrão comportamental dos usuários
baixa qualidade das chaves de consulta
refinamentos sucessivos das buscas

modelos clássicos de recuperação da informação não se aproveitam das informações oriundas da interação com o usuário.
as consultas são considerados eventos independentes

conceitos e técnicas aplicadas

recuperação da informação
modelo de espaços vetoriais
set based vector model
relevance feedback
mineração de dados
regras de associação
mineração de dados sensível a contextos
web data mining

recuperação da informação

a ri trata da representação, armazenamento, organização e acesso à informação:
a representação deve facilitar o modelamento de consultas pelo usuário
o armazenamento deve permitir a maior economia de espaço possível
a organização deve controlar o armazenamento a fim de otimizar o acesso
o acesso deve ser simples e eficiente

recuperação da informação
modelo esquemático

recuperação da informação
limitações

modelos clássicos consideram os documentos como “sacolas de termos”
os documentos são considerados grupos de palavras não correlacionadas.
considera-se a ocorrência de cada termo individualmente nos documentos

pouca experiência do usuário pode dificultar a modelagem de consultas complexas

modelo de espaços vetoriais

baseado na similaridade entre a consulta e os documentos da coleção

seleção de documentos feita pela estimativa de relevância ao invés do casamento exato

resultado: lista de documentos ordenados decrescentemente pela estimativa de relevância

modelo de espaços vetoriais

modelagem da consulta e dos documentos por meio de vetores em um espaço euclidiano t-dimensional

pesos calculados pela relação tf x idf (conceito de frequência no documento e raridade na coleção)
tf(i,j) – ocorrências do termo i no documento j
idf(i) – inverso do número de documentos da coleção com ocorrências do termo i