Microsoft desarrolla un nuevo modelo de lenguaje grande para competir con los de Google y OpenAI

A principios de 2023, OpenAI anunció un acuerdo con Microsoft para recibir una "inversión multianual y multimillonaria". No era la primera vez que Microsoft realizaba una en la compañía de Sam Altman, fundada en 2015, pero sí la de mayor valor hasta entonces: 10.000 millones de dólares. Desde entonces, el modelo de lenguaje GPT-4 se ha integrado con una amplia variedad de productos de Microsoft bajo el nombre de Copilot, pero eso podría cambiar en el futuro. Según publica The Information, Microsoft está trabajando en un nuevo modelo de lenguaje grande, desarrollado internamente, que competirá con los de OpenAI y Google, entre otros.

Su nombre es MAI-1 y su desarrollo está dirigido por Mustafa Suleyman, el ex líder de IA de Google que después fue CEO de la start-up Inflection, que creó el chatbot Pi. Microsoft contrató a la mayor parte del personal de esta empresa y compró su propiedad intelectual por 650 millones de dólares el pasado marzo. Sin embargo, MAI-1 no tendrá que ver con Pi, sino que se trata de un desarrollo completamente nuevo.

MAI-1 es un modelo de lenguaje grande, LLM por sus siglas en inglés, que contará con 500.000 millones de parámetros. Esto es la mitad de los que utiliza GPT-4, el LLM detrás de ChatGPT Plus y Copilot, del que se ha rumoreado un total de 1.000 millones de parámetros, pero no es algo que haya desvelado OpenAI.

Este modelo también será "mucho más grande" que los modelos anteriores de código abierto, más pequeños, en los que la compañía ha trabajado. Microsoft lanzó el mes pasado un modelo de inteligencia artificial llamado Phi-3-mini, con 3.800 millones de parámetros, por ejemplo. El nuevo modelo será, por tanto, mucho más caro para entrenar y funcionar. Microsoft ha estado asignando un gran grupo de servidores con GPU de Nvidia para MAI-1 y recopilando datos de entrenamiento de varias fuentes, incluyendo texto generado por GPT-4 y datos públicos de Internet.

Según la información publicada, Microsoft aún tiene que determinar el propósito exacto que dará a MAI-1 y lo hará dependiendo de su rendimiento. Es probable que la compañía facilite los primeros detalles sobre MAI-1 en la conferencia para desarrolladores Build que tendrá lugar a finales de este mes.

La cuestión que plantea este desarrollo es cómo afectará a la relación entre OpenAI y Microsoft y si esta continuará usando GPT-4 en sus productos. Sobre este tema, Kevin Scott, CTO de Microsoft, ha explicado en LinkedIn, tras la publicación de la noticia, que ambas compañías seguirán trabajando estrechamente en el futuro.