¿Cómo reducir la huella de carbono del uso de IA de una empresa sin perder calidad?

Usa una clase de modelo más pequeña para las tareas rutinarias, activa los modos de razonamiento solo donde la tarea los necesite y prefiere regiones con menos carbono cuando puedas elegir. En el conjunto de datos SAEF, la clase de modelo multiplica la estimación de un intercambio por unas 13 entre la clase A y la C, y la región por unas 12 entre la red más limpia y la más intensiva en carbono de las regiones de nube. Empieza estimando tu uso actual, porque las palancas solo compensan donde hay volumen.

Son estimaciones, no mediciones. Cada número de abajo corresponde a un intercambio de 928 tokens de entrada y 282 de salida, el supuesto de tokens de SOMA AI Emission Factors (SAEF), y ninguno asegura que tu calidad se mantenga, porque eso depende de la tarea. El método SAEF está aceptado para su publicación en Sustainable Production and Consumption.

Hay seis palancas, ordenadas según lo bien que el conjunto de datos puede dimensionarlas.

• Clase de tamaño del modelo. Dimensionada abajo con los factores de clase.
• Región de servicio. Dimensionada abajo con los factores de red por región.
• Modos de razonamiento. Dimensionados abajo con el multiplicador de razonamiento de SOMA, un supuesto del autor.
• Entrada en caché y prompts y salidas más cortos. Dimensionados abajo como dos escenarios etiquetados.
• Ajuste de licencias. Cualitativa, porque la inferencia sigue al uso y no a las licencias.
• Estimar primero. Herramientas gratuitas para la línea base.

Sí, en las estimaciones SAEF. SAEF agrupa los modelos en tres clases de tamaño, de pequeño (A) a frontera (C), cada una como la media de modelos de pesos abiertos medidos en el ML.ENERGY Leaderboard. Así se estima el mismo intercambio en el este de EE. UU. (Virginia del Norte).

Así, pasar el trabajo rutinario, como clasificar, resumir en pocas líneas o redactar a partir de una plantilla, a una clase más pequeña cambia la estimación hasta 13 veces por intercambio. Si el modelo pequeño hace la tarea igual de bien es algo que tienes que comprobar con tus propias tareas. La comparativa de modelos con nombre, en inglés, explica cómo SAEF asigna cada modelo a una clase y sus límites.

Sí, porque en una red intensiva en carbono la electricidad es la mayor parte de la estimación, y la red cambia según la región. En las regiones de AWS, Azure y Google Cloud del conjunto de datos, un intercambio de clase B se estima en 0,008 g con la red de Quebec (Canadá) y en 0,095 g con la de Baréin, unas 12 veces más para el mismo trabajo. Dentro de la UE, Suecia se estima en 0,009 g y Polonia en 0,070 g, unas 7,4 veces más. El hardware, la construcción y el entrenamiento amortizado no dependen de la red, así que fijan un mínimo que ninguna red elimina. Los factores de red son promedios anuales por ubicación, así que una cifra más baja refleja la red en la que está la región y no la electricidad renovable que compre un proveedor.

Solo puedes actuar sobre esto si tu proveedor te deja elegir región, por ejemplo con un endpoint regional o un ajuste de residencia de datos, y solo si la región cumple tus requisitos legales y de latencia. Si no puedes elegir, pregunta al proveedor dónde se ejecuta el modelo y registra la respuesta, porque la región es un dato de entrada de tu estimación. La comparativa por países, en inglés, ordena las redes que hay detrás.

Sí. Un modo de razonamiento genera más tokens de salida para la misma pregunta. Los tokens facturados ya incluyen esos tokens de razonamiento, así que en el uso por API la palanca se ve directamente en la exportación de uso. Para las herramientas por licencia que no exportan tokens, SOMA supone que un mensaje con razonamiento escribe k veces los tokens de salida, un supuesto del autor de 25 con un rango de 10 a 50, explicado en la página sobre modelos de razonamiento, en inglés. La tabla aplica k a un intercambio para ilustrar el tamaño del efecto.

Para toda una plantilla el efecto es menor, porque la mayoría de los mensajes no usa razonamiento. El aumento combinado de SOMA sobre los tokens de salida es 2,20, a partir de una proporción de mensajes con razonamiento del 5,0 % (véase la guía del alcance 3, en inglés, y la guía en español). La palanca consiste en mantener baja esa proporción, usando el razonamiento para análisis de varios pasos y no para consultas, reformateos o respuestas cortas.

Sí, y para lo primero el conjunto de datos tiene un factor. SAEF pondera un token de entrada sin caché con 0,30 y uno de entrada en caché con 0,05, frente a 1 de un token de salida, así que reutilizar un prompt fijo largo cuesta poco. El término de entrenamiento amortizado se cuenta por token facturado, esté o no en caché, así que la fila de caché baja menos de lo que sugieren los pesos. Las dos filas siguientes son escenarios que hemos elegido para mostrar la dirección, no tasas típicas. Usan un intercambio de clase B en el este de EE. UU. (Virginia del Norte), frente a los 0,036 g del intercambio simple.

Más allá de estos dos escenarios no damos ninguna cifra. Cuánto puede acortar una empresa sus prompts o reutilizar la caché depende del flujo de trabajo. Pedir respuestas concisas, recortar el contexto pegado y mantener un prefijo de prompt estable son los pasos prácticos. Si tu exportación de uso indica por separado los tokens en caché, la estimación los descuenta, y si no, la estimación sale alta.

Solo a través del uso. Una licencia de IA que nadie abre no envía peticiones, así que tiene poca huella de inferencia propia, y cancelarla ahorra sobre todo coste. La huella sigue a los mensajes y a los tokens, y por eso SOMA estima las herramientas por licencia a partir de los usuarios activos o del número de mensajes y no del número de licencias. Ajustar las licencias sí ayuda a estimar mejor, porque muestra quién usa de verdad la herramienta y con qué intensidad. El método está en la página sobre herramientas con licencia por usuario, en inglés.

Estima primero, para saber qué palanca importa en tu mezcla de herramientas. La calculadora gratuita de huella de la IA da una primera estimación a partir de tus herramientas y volúmenes, sin registro. Con una línea base, el planificador de reducción, de uso general y en inglés, convierte una huella de alcances 1, 2 y 3 en acciones de reducción ordenadas por impacto y esfuerzo. La asignación de clases está en la página de metodología y la tabla completa en la tabla de factores.

• Que una clase más pequeña o un modo sin razonamiento den la misma calidad. Eso depende de la tarea, así que pruébalo.
• Que algún proveedor ejecute un modelo en una región concreta u ofrezca una opción con menos carbono. Las regiones son datos de entrada del conjunto de datos y no afirmaciones sobre proveedores.
• Que las cifras sean mediciones. Son estimaciones por intercambio con los supuestos de tokens del conjunto de datos, así que los intercambios reales variarán.
• Que los factores de red reflejen contratos de renovables. Son promedios anuales por ubicación.
• Que el multiplicador de razonamiento proceda de observaciones. Es un supuesto del autor, mostrado con su rango.
• Que los escenarios de caché y de salida sean típicos. Solo muestran la dirección.

• ¿El uso de inteligencia artificial cuenta como emisiones de alcance 3? Cómo se incluye el uso de IA en el alcance 3
• ¿Existe una calculadora de huella de carbono de la IA para empresas? Qué calcula la calculadora gratuita y qué datos necesita
• ¿Cuánta energía consume una consulta a ChatGPT, y cuánto CO2 y agua? Energía, CO2 y agua por consulta con factores SAEF