Es bien conocido que Bard de Google cometió algunos errores de hecho en su pantalla, y Google pagó por esos errores con una caída significativa en el precio de sus acciones. Lo que no se ha cubierto tanto (aunque se ha discutido mucho en línea en los últimos días) es que el nuevo motor de búsqueda de Microsoft, Sydney, cometió muchos errores. Que sepamos que su nombre es Sydney es uno de esos errores, porque nunca se debe revelar su nombre. Un Bing renovado en Sydney ha amenazado e insultado a sus usuarios además de estar simplemente equivocado (afirmando que es 2022 y afirmando que la primera película de Avatar aún no se ha lanzado). Hay excelentes resúmenes de estos fracasos en el boletín Stratechery de Ben Thomson y en el blog de Simon Willison. Puede ser fácil descartar estas historias como anecdóticas en el mejor de los casos, estafas en el peor, pero he visto muchos informes de probadores beta que han podido replicarlos.
Por supuesto, Bard y Sydney son versiones beta que aún no están abiertas al público en general. Así que no es de extrañar que todo esté mal. Para eso están las pruebas beta. La pregunta importante es ¿hacia dónde vamos desde aquí? ¿Cuáles son los siguientes pasos?
Aprende más rápido. Excavar más hondo. Ver más.
Los principales modelos de lenguaje, como ChatGPT y LaMDA de Google, no están diseñados para brindar resultados precisos. Están diseñados para imitar el lenguaje humano y son increíblemente buenos en eso. Debido a que imitan tan bien el lenguaje humano, tendemos a encontrarlos persuasivos, especialmente si expresan la respuesta de una manera que suene autorizada. ¿Pero 2+2 realmente es igual a 5? Recuerde, estas herramientas no hacen matemáticas, solo hacen estadísticas sobre grandes cantidades de texto. Entonces, si las personas escribieron 2+2=5 (y lo hicieron en muchos lugares, probablemente nunca lo considerarán una aritmética correcta), entonces no hay posibilidad de que el modelo le diga que 2+2=5.
La capacidad de estos modelos para “hacer” cosas es interesante y, como he sugerido en otra parte, puede darnos un atisbo de imaginación artificial. (Ben Thompson concluye su artículo diciendo que Sydney no se siente como un motor de búsqueda, se siente como algo completamente diferente, algo para lo que quizás no estemos preparados, tal vez lo que David Bowie tenía en mente en 1999 cuando llamó a Internet “alienígena”. ” forma de vida”). Pero si queremos un motor de búsqueda, necesitaremos un mejor comportamiento. Nuevamente, es importante darse cuenta de que ChatGPT y LaMDA no están diseñados para ser correctos. Puede crear modelos optimizados para que sean correctos, pero ese es un tipo diferente de modelo. Ahora tales modelos se están construyendo. tienden a ser más pequeños y están capacitados en conjuntos de datos especializados (O’Reilly Media tiene un motor de búsqueda capacitado en más de 70 000 elementos de nuestra plataforma de capacitación). Y puede integrar esos modelos con modelos de lenguaje de estilo GPT, de modo que un conjunto de modelos proporcione los hechos y el otro proporcione el lenguaje.
Esa es la forma más probable de avanzar. Dada la cantidad de nuevas empresas que crean modelos especializados basados en hechos, es comprensible que Google y Microsoft no estén haciendo una investigación similar. Si no lo hacen, habrán malinterpretado gravemente el problema. Está bien que un motor de búsqueda le brinde resultados inconsistentes o incorrectos. Vemos esto todo el tiempo con las ofertas de Amazon, y probablemente sea algo bueno, al menos para nuestras cuentas bancarias. No está bien que un motor de búsqueda trate de convencerlo de que los resultados erróneos son correctos, o que abuse de usted para que lo discuta. ¿Microsoft y Google tardarán semanas, meses o años en solucionar los problemas con las pruebas beta? La respuesta es: no lo sabemos. Como sugiere Simon Willison, el campo se está moviendo muy rápido y puede dar saltos sorprendentes. Pero el camino por delante no es corto.