MediaPipe + Gemma ← preparando una demo!

¡Hola Mundo! En este blog aprenderemos a utilizar la plataforma MediaPipe junto al modelo LLM open-source Gemma para aprovechar su potencial en aplicaciones como resúmenes automáticos y preguntas y respuestas (Q&A). Además, exploraremos cómo integrarlo en dispositivos móviles o embebidos, maximizando su eficiencia y utilidad en estos entornos. ¡Empecemos!

Paso 1. Vamos a la plataforma de MediaPipe https://mediapipe-studio.webapps.google.com/home
Ingresando a esta página se aprecia las diferentes aplicaciones que se puede prototipar para que ‘corra’ en dispositivos (por eso el nombre On-device ML).

Paso 2. En la misma página de MediaPipe vamos hasta casi el final y seleccionamos “Generative AI”.

3. Seleccionamos el LLM inference y en ‘Model selections’ vamos a descargar algunas de las versiones de Gemma (desde Kaggle)

Una vez en Kaggle https://www.kaggle.com/models/google/gemma, la primera vez que interactuamos con Gemma es necesario aceptar el tipo de licencia y los términos y condiciones.

Seleccionando de la lista de modelos, el recomendado es gemma-1.1–2b-it-gpu-int4

Descargar en formato tar.gz

Decomprimir el .gz y ahora en ‘Model selections:’, seleccionar “Choose a model file” y subir el archivo descargado y descomprimido.

Con el modelo cargado, ahora es posible interactuar, en este ejemplo le pregunté por cómo aprovechar un curso en línea! y la respuestas es bastante buena!

Genial! Funciona!

Ahora es posible exportarlo para que funcione en un dispositivo embedido.

Aquí el repo con los ejemplos para Android, iOS y Web!

¿Qué sigue?

Aprovechar el potencial de Gemma para construir más aplicaciones que puedan correr en nuestros dispositivos móviles o embedidos.

Algo que quiero probar es un sistema de Preguntas y Respuestas para poder estudiar teoría de nuevos temas, me voy a inspirar en este proyecto en kaggle.

Más info de Gemma:

Los modelos de Gemma están disponibles para ejecutarse en aplicaciones y en hardware: dispositivos móviles o servicios alojados.
Tú puedes personalizar estos modelos con técnicas de ajuste para que se destaquen en realizar tareas específicas que son importantes para ti y tus usuarios.
Los modelos de Gemma se dibujan de inspiración y linaje tecnológico de la familia de modelos Gemini, y se se diseñó para que la comunidad de desarrollo de IA se extienda y siga avanzando. Fuente: https://ai.google.dev/gemma/docs?hl=es-419