Hoy te traigo los siguientes temas:
¿Merece la pena el uso de IA en local en tu propio ordenador?
IA aplicada a los diagnósticos de cáncer.
① ¿Merece la pena ejecutar modelos de IA (LLM) en local?
¿Merece la pena ejecutar modelos de
IA (LLM)
en local? Me refiero obviamente a modelos de código abierto.
Estos modelos están
pre-entrenados,
tienen acceso a internet y vienen preconfigurados con una serie de parámetros que tal vez no son los más adecuados para nuestra tarea, o sí.
En cuestiones de IA generativa de imágenes y vídeo por el momento los modelos comerciales tienen unas capacidades inigualables, así que no me voy a referir a ellos.
Con respecto a los modelos de lenguaje en los que no intervienen las imágenes, la cuestión no es tanto su potencia o capacidad, sino la
capacidad que tenemos nosotros de ejecutarlos.
Los
modelos más avanzados de código abierto
ahora mismo no hay quien los ejecute en un pc normal por mucho que el ordenador lleve una
GPU
de
NVIDIA
especialmente útil para la IA.
He comparado la ejecución de
ChatGPT
,
Gemini
(en sus versiones gratuitas) con los modelos de código abierto
Qwen
y
Gemma
, ambos de los más reputados.
He podido ejecutar el modelo
Qwen
más avanzado que hace un alarde de contención en cuanto a la necesidad de recursos pero no el Gemma que requiere una potencia que no creo que tenga ningún pc.
Utilizando una
GPU NVIDIA
con 12Gb de
RAM
dedicada y 64Gb de
RAM
convencional el tiempo de proceso en comparación con las IA comerciales es abismalmente grande.
En todos los casos le pasé al modelo una lista de puntos o índice sobre un tema y le pedí que me desarrollara esquemáticamente el contenido de esos puntos.
De menos de un minuto que tarda
ChatGPT
o
Gemini
, pasé a más de diez minutos en mi pc con
Gemma
o
Qwen
.
El resultado en local es satisfactorio, incluso diría que mejor que el obtenido con
ChatGPT
que parece entrenado para hacer la pelota en vez de para ser eficiente.
Aun así,
¿merece la pena por el precio actual de las IA comerciales?
Si quieres adentrarte en el mundo de la ejecución de modelos IA de código abierto en local necesitarás instalarte la aplicación
LM Studio
. A partir de ahí sigue tu intuición y en unos minutos estarás usando la IA en local.
Eso sí, quedas advertido de que será lenta y muchos modelos no podrás ejecutarlos por falta de potencia.
¡Suscríbete si no lo has hecho todavía!
② La IA mejorará los diagnósticos médicos
Esto ya lo sabemos de hace tiempo, pero la aplicación de la IA en el sector sanitario parece que por fin se está acelerando. En este caso concreto se trata de un ensayo que están haciendo en hospitales de Madrid para el diagnóstico de cáncer de próstata y mama.
El tipo de IA utilizado no se parece mucho a las IA generativas de moda, pero sin duda la base tecnológica de estas IA es la misma. Sin una no existiría la otra.
Nada más por hoy. Espero que compartas esta edición en tus
RRSS
o por correo a quien le pueda interesar.
¡Hasta pronto!
Ignacio de Miguel XdE
Agencia Pódcast
