Sin embargo no muestra muchas de las características corrientes en las interfaces gráficas de
visualización interactiva de la información, como por ejemplo:
Llama enormemente la atención leer afirmaciones de la mano de Laurent Baleydier como la que
sigue a cerca de la cartografía de Kartoo es cómoda para nuestra parte derecha del cerebro que
es la que nos da el sentido de la orientación y nuestra capacidad de ver las cosas en su
globalidad teniendo en cuenta lo mencionado antes sobre la precariedad de esta herramienta en
cuanto a la visión global de los resultados, y la orientación del usuario.
7.2.1 Por qué una comparativa de Motores de búsqueda
Las nuevas herramientas para la Representación de Información, basadas en técnicas de
visualización, de las que forma parte Kartoo, deben ser evaluadas tanto en los aspectos
novedosos que aportan, como en aquellos rasgos comunes a otros motores de búsqueda,
determinando así aquéllas ventajas o desventajas que ofrecen ante el proceso de búsqueda
de información.
7.2.3 Selección de los parámetros evaluables
Para la evaluación del metamotor de búsqueda Kartoo se plantea analizar la existencia o no de una serie de características,
medibles a partir de unos parámetros.
En la elección de los criterios a medir, se han tenido en cuenta básicamente aquéllos parámetros que van más allá del
análisis de las características formales o de las propias descripciones técnicas que proporcionan los sistemas, para
incluir criterios que tengan en cuenta las medidas tradicionales de evaluación de los sistemas de recuperación de
información propuestas por Lancaster y Fayen y adaptadas por Chu y Rosenthal al contexto de la World Wide Web:
- Composición de los índices: donde se estudia la Cobertura, la Frecuencia de actualización y la Porción de página
indexada.
- Capacidades de búsqueda: se analizan las prestaciones que los distintos buscadores poseen en la recuperación de
información: operadores booleanos, búsquedas por frase literal, truncamiento y refinamiento de búsquedas.
- Ejecución de la recuperación de información: la Precisión, la Exhaustividad y el Tiempo de respuesta (Lancaster y
Fayen).
- Esfuerzo del usuario: Documentación e Interfaz del sistema.
- Formato de presentación de los resultados.
A continuación presentaremos los resultados obtenidos tras el análisis comparativo,
las tablas con los resultados para cada ítem en cada buscador, serán presentadas en el
correspondiente Anexo.
7.2.4 Resultados más llamativos de la comparativa. (Kartoo Versión 3)
En la comparativa se ha lanzado la misma búsqueda a los tres sistemas, a partir de los resultados obtenidos se han ido
puntuando los ítems, los ítems que no eran directamente evaluables a partir de la búsqueda "tipo", han ido evaluándose a
partir de consultas u observaciones tendentes al análisis de ese ítem concreto.
La búsqueda tipo ha sido "arqueología valencia" por considerar que una necesidad de información específica es la más
adecuada para lanzar a motores de búsqueda. Al mismo tiempo, el hecho de conocer la temática que envuelve esa consulta
ayuda a considerar la relevancia, pertinencia o exhaustividad de las respuestas, que son parámetros normalmente difíciles
de evaluar o considerados subjetivos.
Estos han sido los resultados:
Funciones de la búsqueda:
- Búsqueda simple: Los tres motores permiten esta modalidad de búsqueda con un término, dos términos.., aunque en el
caso de Kartoo, a medida que se van añadiendo términos la pertinencia de los resultados disminuye.
- Búsqueda avanzada: Kartoo y Google permiten la Búsqueda avanzada. En el caso de Google a través de un formulario con
numerosas opciones a definir por el usuario, y en el caso de Kartoo, el "Modo experto" permite una personalización (mapa
cartográfico, o con links, número de resultados, etc), más que una búsqueda avanzada, se asemeja a una Personalización de
la búsqueda. Mapstan no ofrece la búsqueda avanzada.
- Búsqueda booleana: Kartoo no emplea operadores booleanos para la elaboración de la consulta, los mismos creadores
aseguran que con ello reflejan los hábitos mayoritarios de los usuarios que no conocen el álgebra de Boole. Google por su
parte, tampoco los emplea, aunque en el formulario de búsqueda avanzada los incluye, pero ocultando la sintaxis al usuario.
Mapstan no emplea operadores booleanos. En todo caso en el momento de introducir dos términos en una consulta, Kartoo y el
resto de motores analizados, automáticamente analizan la consulta como si los términos se encontraran unidos por un AND.
- Operadores de proximidad: Kartoo emplea el operador de proximidad "nearnº" junto al número que representa el límite
máximo de palabras entre dos términos de búsqueda. Google y Mapstan no los emplean.
- Operadores de presencia o ausencia: En Kartoo podríamos decir que sí, si se considera como tal el añadir o prescindir
de los "temas" que aparecen en el mapa y que se relacionan con la consulta, ya que automáticamente se genera una nueva
consulta que devuelve otro mapa con la modificación realizada. Google, emplea la sintaxis "término" +/-"término". Mapstan
emplea la misma sintaxis que Google.
- Truncamiento o stemming: Kartoo emplea la sintaxis "término*", para buscar palabras con la misma raíz. Google y Mapstan
no buscan palabras por truncamiento.
- Términos compuestos (comillas o frases): Kartoo emplea "términos" para buscar frases, y también al final de una serie
de "términos"? para buscar en lenguaje natural. Mapstan emplea "términos" y también tiene en cuenta las palabras vacías.
Google por su parte permite el uso de "términos" o añadir el signo+ antes de una palabra vacía, para que el sistema tenga
en cuenta esa palabra.
- Diferenciación mayúsculas/minúsculas: Kartoo no, aunque en la ayuda a la búsqueda indica que dependerá del motor al que
sea lanzada la consulta. Google y Mapstan no diferencian.
- Búsqueda por campos: Kartoo sólo en URL. La sintaxis es url "término", pero tras diferentes pruebas tampoco parece que
siempre devuelva el resultado en función de esta especificación, quizás sea debido a que la consulta sea lanzada a motores
que tengan esta característica o no., pero no se ha determinado cúales. Google en la Búsqueda avanzada permite la búsqueda
de los términos en dirección, título de la página, contenido, enlaces, etc. Mapstan no permite la búsqueda por campos.
- Límites a búsquedas y personalización: Kartoo permite la elección del idioma de búsqueda eligiendo previamente el sitio
kartoo determinado (Alemania, Francia, Reino Unido...), es posible también determinar el número de resultados en cada mapa
en el "modo experto", que por defecto es de 14 sitios. En la búsqueda simple no es posible personalizar el número de
resultados, que es de 10. Google permite personalizar idioma de la interfaz, idioma de los resultados, número de resultados
por página. Mapstan no permite una personalización.
- Palabras vacías: Kartoo busca las palabras vacías, quizás sea una de las ventajas de trabajar con diferentes buscadores.
Google y Mapstan no las tienen en cuenta.
Presentacion de los resultados:
- Número total de resultados: En la Versión 3 y frente a la versión 4 en que sí aparecen, no aparece el número total de
resultados encontrados, aunque sí es posible ir visitando sucesivamente los distintos mapas que se ofrecen, ya que en cada
mapa como hemos dicho se representan por defecto 10 ó 14 sitios. Mapstan permite conocer el número de resultados ya que
además de numerar los sitios, ofrece un desplegable "Search Results" donde aparecen todos los resultados(sitios) de la
búsqueda, los 30 primeros son los obtenidos por el propio motor, mientras que en torno a los 70 restantes son los sitios
aparecidos en otras búsquedas similares y almacenadas por el motor. Google, ante la búsqueda "arqueología valencia" ofrece
el dato preciso del número de resultados obtenidos, que es de 15.300 páginas en español sobre los términos de la consulta.
- Métodos de ordenación de resultados: Kartoo preguntar. Google emplea PageRank, una aplicación que interpreta los
vínculos a las páginas web para dar relevancia a las mismas, en función de la importancia de la página de la que provenga
el vínculo, esto, unido a técnicas de búsqueda de texto, permite la ordenación de los resultados. Mapstan emplea un sistema
propio, el "Web Positioning System" (WPS), que mediante algoritmos para el filtrado, análisis de correlación y cartografía
de la información presenta los resultados.
- Filtros: Kartoo tiene un "Filtro paternal" que es en realidad, a pesar del nombre, un login de usuario que permite
registrar las sesiones y mapas. Google y Mapstan no presentan filtros.
- Tiempo de respuesta: Kartoo ofrece un tiempo de respuesta rápido, sobre todo cuando ya se ha realizado alguna búsqueda
y el mapa en Flash no tiene que cargarse completamente, pero en concreto no muestra el tiempo en que ofrece la respuesta.
Google presenta los resultados a la búsqueda tipo realizada en 0.25 segundos. Mapstan tampoco indica el tiempo exacto que
emplea en realizar la búsqueda, pero el mapa tarda un tiempo similar al de Kartoo en cargarse.
- Clasificación temática asociada (clustering): Kartoo emplea el clustering para agrupar semánticamente los temas de los
sitios, en el caso de la búsqueda tipo realizada, "arqueología valencia", los temas propuestos no parecen muy relacionados
con la consulta, son: "filosofía y letras", "arqueología y etnología", "facultad de teología", ....el sexto tema propuesto
es "comunidad valenciana", el séptimo "museo", en todo caso no parecen muy adecuados para el refinamiento de la búsqueda.
Mapstan debe clasificar temáticamente las páginas y sitios web, ya que cuando presenta el mapa de resultados aparecen
etiquetas en las "calles" que relacionan los sitios y que son los términos ingresados en la consulta "arqueologia valencia"
y otras búsquedas relacionadas como "arqueologia subacuatica" o "ligures" o "arqueologia - valencia" . Estos temas pueden
ser empleados para generar o refinar la búsqueda, y en este caso muestran una relación mayor con la búsqueda inicial.
Google no ofrece clasificación de tipo clustering.
- Control del Vocabulario: Entendiendo como Control del Vocabulario que el sistema corrija términos incorrectos,
podemos decir que el único sistema que controla el vocabulario es Google, ya que al introducir un término incorrectamente
sugiere al usuario un término corregido similar. Mapstan y Kartoo o no ofrecen resultados, o son sitios o páginas con la
palabra incorrectamente escrita, o en otros idiomas en que sí es correcto.
- Ayudas para la búsqueda de información: Kartoo ofrece una Ayuda sobre la búsqueda bastante incompleta dada la
complejidad de su estructura y funcionamiento, sobre todo para usuarios noveles. Mapstan también ofrece una Ayuda muy
pobre. Google, ofrece numerosa información sobre las búsquedas, el funcionamiento del sistema, etc.
- Formato de información configurable a respuesta: Kartoo permite indicarlo mediante la sintaxis "término" .pdf, doc...
Mapstan también lo permite del mismo modo. Google permite especificarlo en la Búsqueda avanzada.
- Conceptos relacionados por clustering: Kartoo sí, como se ha especificado antes. Mapstan también. Google, no.
- Exhaustividad y Precisión: En Kartoo no se sabe exactamente el número de mapas que han resultado tras la consulta
efectuada "arqueologia valencia", pero a partir del 3º mapa de resultados la pertinencia de los mismos empieza a disminuir.
En cualquier caso, tampoco los ofrecidos en el primer mapa son de especial interés: los nodos de mayor tamaño son una
página de la Diputación de Valencia con listados de Actas de Congresos, entre las que se encuentra alguna de Arqueología.
Otro nodo destacado es una página de la Universitat Rovira i Virgili de Tarragona con un artículo de un Congreso de
Arqueología celebrado en Valencia, otro nodo destacado que aparece en el centro de la pantalla envía a un enlace inactivo o
al curriculum vitae de un profesor de Arqueología de Valencia. Mapstan indica en su página de ayuda que suele ofrecer
unos 100 resultados por consulta, en nuestro caso ha ofrecido 100 y los resultados han resultado tratar el tema: resultados
de la Facultad de Geografia e Historia, el Departamento de Prehistoria y Arqueología de la UV, documentación científica,
congresos, etc. Google ofrece en los primeros puestos las páginas del departamento de Prehistoria y Arqueología de la UV,
la página de la Facultad de Geografía e Historia de Valencia, Página del Ayuntamiento de Valencia relativa a documentos
sobre
trabajos arqueológicos en la ciudad, o página de la Generalitat Valenciana relacionada con restos arqueológicos en Valencia.
Los dos o tres primeros resultados son relevantes, además este motor permitiría ir afinando la búsqueda añadiendo términos,
o mejor utilizando el formulario de Búsqueda Avanzada.
- Periodicidad de indexación: Kartoo no lo indica. Mapstan tampoco lo indica aunque es de suponer que dada su utilización
de información generada por Google, estará relacionada con la periodicidad de este último. Google indica que Googlebot
actualiza las páginas directamente con cada exploración que hace.
- Solapamiento y referencia única: Kartoo, Google, y Mapstan ofrecen referencias únicas a determinadas páginas, en el
caso del solapamiento se produce más claramente y de forma lógica por compartir determinadas informaciones, entre Google y
Mapstan.
- Amigabilidad de la interfaz: Kartoo ofrece una interfaz a primera vista amigable, atractiva, y con distintos parámetros
para personalizarla (mapa en flash, listado de resultado en html...), en cualquier caso la presentación del mapa con la
presentación cartográfica y los links o relaciones entre los nodos, puede resultar confusa y cargada para el usuario.
Mapstan ofrece bajo nuestro punto de vista una interfaz más cómoda y sencilla para el usuario, ya que al presentar el mapa,
la lista de resultados y el etiquetado más relacionado con la búsqueda, resulta más entendible, a pesar de la novedad que
entrañan ambos motores de búsqueda. Google, por su parte, también presenta una interfaz amigable, aunque desde luego menos
novedosa, pero el listado de resultados con la numerosa información que ofrece de cada uno de ellos, no produce una
sobrecarga cognitiva en el usuario acusada, a pesar de que la información textual siempre "pesará" más que la información
"visual"
7.3 Evaluación con Usuarios
La evaluación de usuarios que realiza Marcelo Garrido apoya las reflexiones extraídas tras
la comparativa que hemos llevado a cabo. Esta evaluación de 30 usuarios mediante el pase de
cuestionario, y con tecnología estadística, pretende medir la actitud favorable o
desfavorable hacia Kartoo por parte de usuarios que ya conocían la herramienta, y de otros
que no la conocían, el tipo de búsqueda a lanzar sobre el sistema Kartoo no se explicita.
El 20% conocían ya el buscador, tras la búsqueda en Kartoo en torno al 60% de los usuarios
mostró una actitud favorable hacia el mismo, la evaluación afirma también que no existe
relación ante la actitud favorable o no hacia Kartoo en función del conocimiento de la
herramienta. Afirma también Garrido que los usuarios que realizaron búsquedas más amplias
son los que más positivamente valoran la herramienta. Por tanto, podemos afirmar que el
uso de Kartoo genera en un primer momento una serie de expectativas con respecto a lo
novedoso y atractivo de su diseño, tras el uso del buscador, el usuario no llega a
descartar completamente el uso futuro de la herramienta, pero tanto la dificultad para
interpretar la representación de los resultados, como una relevancia y pertinencia
relativas, hacen suponer que el uso de Kartoo se verá limitado a búsquedas de información
general.