Index propio, uso de AI & más en AstianGO

By Ponchale astian, midori-es

Index propio, uso de AI & más en AstianGO

El uso de la AI ha cambiado todo y ha acelerado muchos procesos por eso lamentamos informarles que usaremos AI para todo en Astian, No mentiras solo bromeamos, si la usaremos pero no en todo y mas adelante explicaremos el ¿por que? y el ¿para que?

Index propio

Como bien saben AstianGO usa por el momento la API de Bing algo que nos ha permitido posicionarnos nos ha permitido mejorar, escuchar a los usuarios y enfocarnos, pero en nuestro objetivo de generar la menor dependencia posible hacia organizaciones externas que puedan afectar nuestros productos, y que puedan comprometer nuestros valores y procesos ya sea por la privacidad y/o la poca transparencia hemos decidido crear nuestro propio index, eso quiere decir que AstianGO con el pasar del tiempo ya no dependerá de Bing sino que tendrá su propia base de búsquedas bajo el control de Astian el cual esta disponible a los usuarios mediante una API.

Hemos estado trabajando y para los interesados en observar y ver como el proceso y la arquitectura que estaremos implementando en el desarrollo de nuestro index aquí les dejamos los diagramas, los cuales se encuentran almacenados en nuestro servicio de almacenamiento en la nube y trabajo colaborativo Astian Cloud, pulsar click.

Uso de AI en AstianGO

Como se comunico en la introducción de este articulo si vamos a usar inteligencia artificial en AstianGO, hace años cuando Google nació y apenas estaba consolidando su poder y dominio no existia otra alternativa que hacer Web Spider o Web Scraping y múltiples técnicas para indexar todos los sitios webs y luego rankearlos segun el pagerank, lo mismo para Bing cambia un poco pero ha grandes rasgos no es mucha la diferencia, aun mantienen sus bots, sus arañas, sus analizador, indexando toda la web, teniendo en cuenta este contexto histórico, en la actualidad contamos con muchas mas herramientas para tener nuestro propio index minimizando el tiempo de desarrollo, implementación, despliegue y retroalimentación, allí es donde entra el uso de la AI en el analizar, rankeo y evaluación de todos los sitios webs.

Para esta tarea usaremos Guild.ai no solo es de fuente abierta, sino que nos permite hacer todo el proceso de limpieza, automatizar los proceso y agilizar el proceso de construcción convirtiéndose en pieza clave y fundamentalmente de la construcción de nuestro buscador independiente AstianGO acortando años en el tiempo de desarrollo.

¡¡¡Lo que no haremos!!!

La utilización de esta herramienta solo se limita al uso de la evaluación y el rankeo de los miles de millones de sitios web que existen en la web, no haremos cosas como:

No Mostraremos resultados y/o asistencias o ayudas utilizando la IA.
No entrenaremos ningún modelo con esto no, repito solo se usara para acelerar el proceso de evaluando, rankeo y calificación de las webs para nuestro index.
No usaremos datos personales no, solo vamos a evaluar, rankear y calificar el contenido de los sitios web para su posterior inclusión en el index.
No se entrenaran modelos de inteligencia artificial, solo se usara para rankear y evaluar los miles de sitios webs.

Como medida para no depender de esta funcionalidad tendremos nuestro propio crawler el cual scanneara la web y el usuario podrá contribuir con la ampliación y construcción de nuestro index, ¿Como? enviando de forma manual el sitio web a escanear, ejemplo: Una persona Alfram busca astian.org o youtube.com o facebook.com si AstianGO no encuentra nada, el mismo buscador le preguntara, ¿Quieres que lancemos nuestra crawler hacia el sitio que buscas para indexarlo? El usuario escoge si contribuir o no de forma voluntaria, de igual forma nuestra araña pasara y capturará el sitio web.

Futuro para AstianGO

Con el pasar del tiempo paso a paso AstianGO disminuirá su dependencia hasta Bing y paso a paso estará mezclando los indexes, mientras crecemos, mientras nuestro index se nutre y alimenta, hasta llegar al punto de ser un buscador completamente independiente. El camino es largo hay mucho por recorrer, aprender y experimentar y queremos hacer esto contigo, para construir productos en donde el PRODUCTO NO ERES TU.