La semana pasada se liberó DeepSeek como Open Source, un modelo de lenguaje bastante eficiente que pone en riesgo a empresas como OpenAI y otros. Este model llego a cambiar las reglas del juego ya que ahora cualquiera puede tener el modelo corriendo en sus propios servidores, hacer fine-tunning y utilizarlo desde sus propias aplicaciones. En este tutorial te voy a mostrar como instalar DeepSeek en Amazon AWS paso a paso y como usar el API rest.

Asigna un nombre a tu instancia, yo usé 

Deep Learning Base OSS Nvidia Driver GPU AMI

, esta configuración incluye los drivers de Nvidia instalados y listos para usar.

Selecciona el tipo de instancia, estoy usando 

 si prefieres algo más económico, aunque será un poco más lento.

 existente para iniciar sesión por SSH. Si no tienes llaves, deberás crear una, simplemente sigue las instrucciones al hacer clic en el botón de crear.

En la sección de red, recomiendo permitir tráfico solo desde

, de esta forma solo tú podrás acceder a la instancia. Si tu IP cambia, puedes actualizarla fácilmente en AWS.

Para el almacenamiento, elegí 100 GB, lo cual debería ser suficiente. Sin embargo, si necesitas más espacio, puedes aumentar el tamaño del disco más adelante.

Cuando todo esté listo, haz clic en el botón amarillo 

 a la derecha para iniciar tu nueva instancia.

Una vez que tu instancia este corriendo necesitas conectarte vía SSH, abre una terminal y conéctate de la siguiente manera:

$ ssh  -i ~/.ssh/[YOUR-AWS-KEYS].cer ubuntu@[YOUR-INSTANCE-IP]

Asegúrate de usar el certificado adecuado así como la IP de la instancia que acabas de crear.

Para ejecutar modelos LLM, necesitamos un cliente u orquestador que cargue el modelo y permita interactuar con él. Hay varias opciones disponibles, pero una de las más populares es 

Luego, instalemos Ollama con este comando:

$ curl -fsSL https://ollama.com/install.sh | sh

Ahora que tenemos Ollama instalado, podemos cargar DeepSeek y ejecutarlo. Es muy sencillo, solo ejecuta el siguiente comando:

, pero puedes reemplazarla con la que necesites. Este comando descargará el modelo, que pesa aproximadamente 9 GB, así que ten paciencia.

Después de un tiempo, el modelo estará listo para usarse. Mi primera prueba será el famoso ejercicio de encontrar las “R” en una palabra. Todos los modelos fallan en esta prueba, veamos cómo lo hace DeepSeek.

Y falló... aunque en algún momento estuvo cerca, el resultado final perdió una "R". Es fascinante cómo muestra el proceso de razonamiento, es realmente impresionante.

En este punto, tenemos el modelo funcionando en la terminal, pero sería genial poder llamarlo mediante una API REST. ¡Afortunadamente, Ollama permite hacerlo!

Actualmente, el modelo está ejecutándose y Ollama crea un servidor HTTP local con una API REST que podemos usar, pero necesitamos configurar NGinx para habilitar el acceso mediante un proxy inverso.

Instalar NGinx es muy sencillo, solo ejecuta el comando anterior. Ahora, asegurémonos de permitir tráfico HTTP en el firewall:

Después, configuraremos el proxy inverso actualizando la configuración predeterminada de NGinx:

$ sudo vim /etc/nginx/sites-available/default

 que intenta servir archivos estáticos y copia-pega lo siguiente dentro del bloque 


# Configuración original (comentar o eliminar para usar la nueva)
#location / {
#   try_files $uri $uri/ =404;
#}

location / {
    proxy_pass http://localhost:11434;
    proxy_set_header Host localhost:11434;

    # Manejar solicitudes preflight de CORS
    if ($request_method = OPTIONS) {
        add_header Access-Control-Allow-Origin *;
        add_header Access-Control-Allow-Methods *;
        add_header Access-Control-Allow-Headers "Content-Type, Authorization";
        add_header Access-Control-Max-Age 3600;
        return 200;
    }

    # Configurar encabezados CORS para otras respuestas
    add_header Access-Control-Allow-Origin *;
    add_header Access-Control-Allow-Methods *;
    add_header Access-Control-Allow-Headers "Content-Type, Authorization";

    proxy_set_header Origin "";
    proxy_set_header Referer "";
}



Por último, abre el puerto HTTP para tu IP (o cualquier servidor autorizado). Ve a la consola de AWS, haz clic en los detalles de la instancia (en mi caso 

, agrega una nueva regla, establece el puerto en 

Abre tu navegador y ve a la dirección IP de tu instancia. Deberías ver un mensaje indicando que Ollama está ejecutándose.

Puedes llamar a la API desde tu computadora local. Por ejemplo, abre la terminal y ejecuta este comando:

curl http://[TU-IP-DE-INSTANCIA]/api/generate -m 600 -d '{
  "model": "deepseek-r1:14b",
  "prompt": "Why is the sky blue?"
}'



La primera vez tomará un tiempo ya que necesita cargar el modelo. El parámetro 

 establece un tiempo de espera de 10 minutos, y 

¡Y eso es todo! Ahora puedes llamar al API REST desde tu instancia en AWS. Desde aquí, puedes comenzar a desarrollar aplicaciones y software que usen este modelo LLM.

Instalando DeepSeek en AWS EC2 paso a paso para principiantes

La IA generativa requiere muchos recursos y un equipo potente. Necesitas comprar tarjetas Nvidia para poder ejecutar con éxito Stable Diffusion u otro modelo. Si eres como yo, puedes buscar soluciones accesibles como AWS. En este tutorial, te voy a mostrar cómo instalar ComfyUI + Flux para generar imágenes increíbles en Ubuntu.

Lo primero que necesitas hacer es iniciar sesión en la consola de Amazon AWS. En la barra de búsqueda superior, escribe 

 y selecciona la primera opción en los resultados. Verás algo como esto:

A continuación, debes hacer clic en el botón naranja 

 para configurar el hardware que necesitamos para ejecutar Flux y generar imágenes.

Completa el formulario con los siguientes valores:

: Selecciona una clave existente o crea una nueva, asegúrate de guardar la nueva clave en un lugar seguro, ya que la usaremos más tarde para conectarnos a la instancia.

Todos los demás valores pueden configurarse con los valores predeterminados. Una vez que termines, haz clic en el botón amarillento 

Después de recibir un mensaje de éxito, vuelve a la lista de instancias, haz clic en la nueva instancia y verás la 

 en la columna central. Copia esta IP ya que la utilizaremos para conectarnos vía SSH.

Abre tu terminal favorita o un cliente SSH y conéctate a la instancia que acabamos de crear. Podemos hacerlo ejecutando el siguiente comando.

$ ssh -i ~/.ssh/[YOUR-KEY-FILE-NAME].cer ubuntu@[YOUR-API_ADDRESS]

Asegúrate de establecer el certificado correcto, de lo contrario, no te autenticarás correctamente. Después de iniciar sesión, deberíamos actualizar nuestro sistema ejecutando los siguientes comandos:

A continuación, necesitamos instalar el controlador NVidia para poder usar las GPUs. He probado otras AMIs que incluían los drivers y todo estaba instalado, pero hubo varios errores al instalar los modelos. Me di cuenta que es más fácil instalar manualmente los controladores y todo lo que necesitamos; toma un poco más de tiempo, pero menos errores. Simplemente ejecuta el siguiente comando:

Luego necesitamos Python, primero debemos agregar el repositorio donde se encuentra la distribución oficial y luego instalar el paquete usando apt:

$ sudo add-apt-repository ppa:deadsnakes/ppa
$ sudo apt install python3.10

Es importante establecer el Python predeterminado al ejecutar comandos 

 en la terminal, así que vamos a crear el alias a continuación:

$ sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 2

Para verificar si todo está instalado, podemos imprimir la versión de Python:

AUTOMATIC1111 requiere ejecutar entornos virtuales, por lo tanto, necesitamos instalar 

¡Hemos terminado con las dependecias! Todo lo que necesitamos hacer es reiniciar la instancia y deberíamos poder usar las GPUs NVidia para ejecutar los modelos. Abre la consola de AWS, selecciona la instancia y haz clic en la opción 

Vuelve a iniciar sesión en tu instancia y clona el repositorio de stable diffusion web ui.

$ git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

 para habilitar la conexión a A1111 desde cualquier computadora, usar el flash attention más rápido cuando utilices modelos y permitir que instalar extensiones cuando te conectes de forma remota.

$ cd stable-diffusion-webui
$ vim webui-user.sh

En este archivo, necesitamos encontrar la línea donde se define 

, descomentar la línea y establecer el siguiente valor.

export COMMANDLINE_ARGS="--listen --opt-sdp-attention --enable-insecure-extension-access"

El último paso es instalar y ejecutar A1111, lo hacemos ejecutando el siguiente comando:

, ahora necesitamos abrir ese puerto en nuestra instancia para poder abrirlo en nuestro navegador.

Ve a la consola de AWS y haz clic en la instancia, luego en la pestaña 

. Esto evitará que otras personas usen tus modelos. Si tu IP cambia, tendrás que volver aquí y nuevamente agregar tu nueva IP.

Después de guardar, deberías poder abrir A1111 en tu navegador favorito. Simplemente escribe la IP de tu instancia seguida del puerto, por ejemplo: 

Si todo salió bien, deberías poder ver la consola de A1111. ¡Adelante y pruébalo! Deberías ver algo como esto:

Como puedes ver, las imágenes generadas no se ven muy bien. ¡Necesitamos instalar Flux! Pero antes de eso, vamos a instalar ConfyUI, una herramienta con una mejor interfaz que crea flujos para generar imágenes.

Vuelve a la carpeta de inicio y clona el proyecto ComfyUI desde GitHub.

$ cd ~
$ git clone https://github.com/comfyanonymous/ComfyUI

Ahora vamos a compartir modelos con A1111 duplicando el archivo 

 y estableciendo la ruta a los modelos en A1111. Esto lo hacemos para no descargar los modelos dos veces, es mejor tenerlos compartidos y así ahorramos espacio en el disco duro.

$ cd ComfyUI
$ cp extra_model_paths.yaml.example extra_model_paths.yaml
$ vim extra_model_paths.yaml

Dentro de este archivo, necesitamos localizar la línea donde se define el 

base_path: /home/ubuntu/stable-diffusion-webui

Finalmente, ejecuta ComfyUI con este comando:

El Blog

Últimas publicaciones

Instalando DeepSeek en AWS EC2 paso a paso para principiantes

Instalar ComfyUI para generar imágenes con Flux

Conecta conmigo!

Tags

Te ayudo a mejorar al entrevistar, únete a mi lista de correo.

También estoy en Youtube