NEC Corporation (NEC; TSE: 6701) ha desarrollado su propia IA generativa Large Language Model (LLM) para el idioma japonés. El LLM es un modelo de uso general, también conocido como modelo básico, desarrollado por NEC utilizando datos multilingües que la empresa ha recopilado y procesado de forma independiente. Esta característica, que logra un alto rendimiento al tiempo que reduce la cantidad de parámetros a 13 mil millones a través de innovaciones únicas, no solo ahorra el consumo de energía, sino que también permite la operación en la nube y entornos locales debido a su peso ligero y alta velocidad. En términos de desempeño, el LLM logró un dominio del idioma japonés de clase mundial en un punto de referencia del idioma que mide el conocimiento y la comprensión de lectura, equivalente a la capacidad de razonamiento del modelo.

NEC ya comenzó a usar este LLM para operaciones internas, aplicándolo no solo para operaciones comunes sino también para mejorar la eficiencia de varias tareas, como la creación de documentos y el soporte de codificación.

 

En los últimos años, la IA generativa como ChatGPT ha atraído la atención mundial y su uso está aumentando rápidamente en una amplia gama de industrias. Sin embargo, la mayoría de los LLM existentes se capacitan principalmente en inglés y casi no hay LLM que se puedan personalizar para su uso en una variedad de industrias sin dejar de tener una alta capacidad del idioma japonés.

Se espera que el desarrollo de NEC de este nuevo LLM acelere aún más su uso comercial y ayude a mejorar la productividad corporativa.

 

Recursos NEC LLM

1. Alto dominio del idioma japonés

Para usar el LLM en negocios reales se requiere un alto desempeño en términos de conocimiento y comprensión del idioma japonés. NEC evaluó su LLM utilizando JGLUE, un punto de referencia de comprensión del idioma japonés que representa un estándar en el campo del procesamiento del lenguaje natural*. Resultó que logra una clase superior, con un 81,1% de capacidad para responder preguntas, lo que equivale a la cantidad de conocimiento del idioma japonés. En comprensión lectora de documentos, que corresponde a su capacidad de razonamiento, el índice alcanzado de 84,3% supera al del principal competidor. Como resultado, se espera que el LLM de NEC funcione bien en múltiples sectores.

 

2. Peso ligero

Este LLM tiene un alto rendimiento, pero la tecnología patentada de NEC ha reducido el tamaño del modelo a 13 mil millones de parámetros compactos. Si bien los LLM convencionales de alto rendimiento requieren una gran cantidad de GPU, este LLM puede ejecutarse en un servidor estándar con una sola GPU. Como resultado, las aplicaciones comerciales que incorporan LLM pueden responder bien, lo que ayuda a reducir el consumo de energía y los costos del servidor durante las operaciones comerciales. Además, LLM puede construirse fácilmente en un corto período de tiempo y ejecutarse en el entorno local del cliente, lo que lo hace seguro incluso para operaciones altamente confidenciales.

El tamaño del parámetro se usa a menudo para medir el rendimiento de un LLM. Sin embargo, aumentar el tamaño del parámetro conduce a una disminución en la velocidad de inferencia, así como a un aumento en la cantidad de GPU y el consumo de energía necesarios para operar el modelo. En consecuencia, si se puede proporcionar el mismo rendimiento, es deseable tener menos parámetros. En este estudio, NEC se centró en el hecho de que el rendimiento de LLM depende no solo del tamaño del parámetro, sino también de la cantidad de datos de alta calidad y el tiempo utilizado para la formación. Como resultado, NEC logró un alto rendimiento al limitar el tamaño del parámetro al rango que se puede operar con una sola GPU y usar una gran cantidad de datos y tiempo de cálculo.

 

NEC ha desarrollado de forma independiente la supercomputadora más grande para la investigación de IA entre las empresas japonesas y ha estado en pleno funcionamiento desde marzo de 2023. Mediante el uso de esta supercomputadora, NEC fue capaz de construir un LLM de 13 mil millones de parámetros de alto rendimiento en un período de aproximadamente un mes.

En el futuro, NEC tiene la intención de aprovechar el modelo básico para promover activamente el desarrollo de LLM para empresas individuales que utilizan datos cerrados de clientes. La compañía también planea mejorar el rendimiento del modelo de base en sí mismo y poner estas tecnologías en uso práctico lo antes posible a través del NEC Generative AI Hub.

 

Nota:
En los puntos de referencia, no se realizó un ajuste fino (supervisión) en los datos de capacitación y solo se proporcionan algunos ejemplos para LLM en un entorno de aprendizaje contextual. Se usó un conjunto de datos JCommonSenseQA para evaluar el nivel de conocimiento de los LLM sobre preguntas de sentido común, y se usaron tres ejemplos para el aprendizaje en contexto. Se usó un conjunto de datos JSQuaD para evaluar el desempeño de la habilidad de comprensión de lectura y se usaron dos ejemplos para el aprendizaje en contexto. Se utiliza una puntuación de coincidencia exacta para las métricas de evaluación. "LLM C (japonés)" indica el modelo con mejor rendimiento entre los LLM japoneses, cuyos puntajes de evaluación se obtienen de experimentos realizados por NEC o del artículo original.

 

Acerca de la Corporación NEC

NEC Corporation se ha establecido como líder en la integración de TI y tecnologías de red mientras promueve la declaración de marca "Orquestando un mundo más brillante". NEC permite que las empresas y las comunidades se adapten a los rápidos cambios que tienen lugar tanto en la sociedad como en el mercado al proporcionar los valores sociales de seguridad, protección, equidad y eficiencia para promover un mundo más sostenible donde todos tengan la oportunidad de alcanzar todo su potencial. Para obtener más información, visite NEC en http://www.nec.com .

Linkedin:      https://www.linkedin.com/company/nec/

YouTube:      https://www.youtube.com/user/NECglobalOfficial

Facebook:　https://www.facebook.com/nec.global/

 

NEC es una marca registrada de NEC Corporation. Todos los derechos reservados. Otras marcas de productos o servicios mencionadas en este documento son marcas comerciales de sus respectivos propietarios. ©2023 NEC Corporación.