Nvidia transformará la movilidad con inteligencia artificial generativa

En el Nvidia GTC, que se lleva a cabo esta semana en el Centro de Convenciones de San José, se destacará el trabajo innovador que NVIDIA y sus socios están realizando para llevar el poder transformador de la IA generativa, los grandes modelos de lenguaje (LLMs) y los modelos de lenguaje visual al sector de la movilidad.

En su estand, Nvidia mostrará cómo está construyendo asistentes de automoción para mejorar la seguridad y la comodidad del conductor a través de una mayor percepción, comprensión y capacidades generativas impulsadas por modelos transformadores y de deep learning.

Hablando de lo que hay que hablar

Los grandes modelos de lenguaje (LLMs), una forma de IA generativa, representan en gran medida una clase de arquitecturas de aprendizaje profundo conocidas como modelos transformadores, que son redes neuronales expertas en aprender el contexto y el significado.

Los modelos de lenguaje de visión (VLM) son otro derivado de la IA generativa, que ofrece capacidades de procesamiento de imágenes y comprensión del lenguaje. A diferencia de los grandes modelos de lenguaje (LLMs) tradicionales o multimodales que procesan y generan principalmente datos basados en texto, los VLM pueden analizar y generar texto a través de imágenes o videos.

Y las generaciones de recuperación aumentada permiten a los fabricantes acceder al conocimiento desde una base de datos específica o la Web para ayudar a los conductores.

Estas tecnologías juntas permiten que Nvidia Avatar Cloud Engine, o ACE, y los modelos de lenguaje multimodal trabajen conjuntamente con la plataforma Nvidia Drive para permitir a los fabricantes de automóviles desarrollar sus propios asistentes inteligentes en el automóvil.

Por ejemplo, un configurador de avatares puede permitir a los diseñadores crear personajes únicos inspirados en la marca para sus automóviles, con voces personalizadas y atributos emocionales. Estos avatares animados por IA pueden entablar un diálogo natural y brindar asistencia en tiempo real, recomendaciones e interacciones personalizadas.

Además, la visualización envolvente mejorada por IA mejora la seguridad del vehículo mediante la reconstrucción de cámaras de 360 grados, mientras que el asistente inteligente obtiene información externa, como las leyes de conducción locales, para fundamentar la toma de decisiones.

La personalización es primordial: los asistentes de IA aprenden los hábitos del conductor y del pasajero y adaptan su comportamiento a las necesidades de los ocupantes.

La IA generativa para la automoción con toda su fuerza en el GTC

Varios socios de Nvidia en el GTC también mostrarán sus últimos desarrollos de IA generativa utilizando la tecnología del borde a la nube de Nvidia:

1. CaLLM de Cerence es un gran modelo de lenguaje (LLM) específico para automóviles que sirve como base para la plataforma informática para automóviles de próxima generación de la empresa, que se ejecuta en Nvidia Drive. La plataforma, presentada a finales del año pasado, es el futuro de la interacción en el automóvil, con un asistente específico para la automoción y la movilidad que proporciona una experiencia integrada en la cabina. Cerence está colaborando con los equipos de ingeniería de Nvidia para lograr una integración más profunda de CaLLM con los modelos Nvidia AI Foundation. A través de esfuerzos conjuntos, Cerence está aprovechando Nvidia DGX Cloud como plataforma de desarrollo, aplicando barreras de seguridad para mejorar el rendimiento y aprovechando NVIDIA AI Enterprise para optimizar la inferencia. Nvidia y Cerence seguirán colaborando y siendo pioneros en esta solución junto con varios OEM automotrices este año.
2. Wavye está ayudando a marcar el comienzo de la nueva era de la IA incorporada para la autonomía. Su enfoque AV2.0 de próxima generación se caracteriza por un gran modelo básico de IA incorporada que aprende a conducirse de forma autosupervisada utilizando la IA de extremo a extremo, desde la detección, como una entrada, a la salida de acciones de conducción. La startup británica ya ha presentado su GAIA-1, un modelo mundial generativo para el desarrollo de vehículos autónomos que se ejecuta en Nvidia ; junto con LINGO-1, un comentarista de conducción de circuito cerrado que utiliza lenguaje natural para mejorar el aprendizaje y la explicabilidad de los modelos de conducción de IA.
3. Li Auto presentó su modelo cognitivo multimodal, Mind GPT, en junio. Construido sobre Nvidia TensorRT-LLM, una biblioteca de código abierto, sirve de base al asistente de inteligencia artificial del fabricante de vehículos eléctricos, Lixiang Tongxue, para capacidades de comprensión de escenas, generación, retención de conocimientos y razonamiento. Actualmente, Li Auto está desarrollando DriveVLM para mejorar las capacidades de conducción autónoma, permitiendo que el sistema comprenda situaciones complejas, particularmente aquellas que suponen un reto para los sistemas de conducción autónoma tradicionales, como carreteras no estructuradas, objetos raros e inusuales y eventos de tráfico inesperados. Este modelo avanzado está entrenado en las GPU Nvidia y utiliza TensorRT-LLM y Nvidia Triton Inference Server para la generación de datos en el centro de datos. Con la inferencia optimizada por Nvidia Drive y TensorRT-LLM, los DriveVLM funcionan de manera eficiente en sistemas integrados.
4. NIO lanzó su NOMI GPT, que ofrece una serie de experiencias funcionales, que incluyen preguntas y respuestas de la enciclopedia NOMI, Cabin Atmosphere Master y Vehicle Assistant. Con las capacidades habilitadas por los grandes modelos de lenguaje (LLMs) y una plataforma informática eficiente impulsada por pilas de IA de Nvidia , NOMI GPT es capaz de realizar funciones básicas de reconocimiento de voz y ejecución de comandos y puede utilizar deep learning para comprender y procesar oraciones e instrucciones más complejas dentro del automóvil.

«La evolución de los vehículos está intrínsecamente ligada a la progresión de la tecnología. Los coches del futuro trascenderán su función primaria de transporte, convirtiéndose en compañeros inteligentes que promuevan experiencias de conducción mejoradas. A medida que avanzamos hacia una era de movilidad inteligente, es imperativo reconocer el papel crucial de la tecnología en la construcción de vehículos seguros, tanto en su diseño interno como externo», afirma Marcio Aguiar, director de la división Enterprise de NVIDIA para Latinoamérica.

1. Geely está trabajando con Nvidia para brindar experiencias de cabina inteligentes, junto con una implementación acelerada del borde a la nube. Específicamente, Geely está aplicando tecnología de inteligencia artificial generativa y grandes modelos de lenguaje (LLMs) para brindar experiencias de conducción más inteligentes, personalizadas y seguras, utilizando procesamiento de lenguaje natural, sistemas de diálogo y análisis predictivos para navegación inteligente y asistentes de voz. Al implementar grandes modelos de lenguaje (LLMs) en producción, Geely utiliza Nvidia TensorRT-LLM para lograr una inferencia altamente eficiente. Para tareas más complejas o situaciones que requieran soporte masivo de datos, Geely planea implementar modelos a gran escala en la nube.
2. Waabi está creando inteligencia artificial para la conducción autónoma y utilizará las capacidades de inteligencia artificial generativa que ofrece Nvidia Drive Thor para sus innovadoras soluciones de transporte autónomo, que brindan autonomía segura y confiable a la industria del transporte por carretera.
3. Lenovo presenta un nuevo motor de aceleración de IA, denominado UltraBoost, que se ejecutará en Nvidia Drive y cuenta con un motor de modelo de IA y cadenas de herramientas de compilación de IA para facilitar la implementación de grandes modelos de lenguaje (LLMs) dentro de los vehículos.
4. SoundHound AI utiliza Nvidia para ejecutar su interfaz de voz en el vehículo, que combina capacidades de IA generativa y en tiempo real, incluso cuando un vehículo no tiene conectividad en la nube. Esta solución también ofrece a los conductores acceso al producto Vehicle Intelligence de SoundHound, que ofrece instantáneamente configuraciones, resolución de problemas y otra información directamente desde el manual del automóvil y otras fuentes de datos a través de voz natural, en lugar de a través de un documento físico.
5. Tata Consulting Services (parte del Grupo TATA), a través de su tecnología basada en IA ey su innovación en ingeniería, ha creado su suite GenAI automotriz impulsada por GPU y marcos de software de Nvidia. Acelera el diseño, desarrollo y validación de vehículos definidos por software, aprovechando los distintos grandes modelos de lenguaje (LLMs) y VLM para sistemas integrados en vehículos y basados en la nube.
6. MediaTek anuncia cuatro sistemas automotrices en un chip dentro de su cartera Dimensity Auto Cockpit, que ofrecen poderosas experiencias en cabina basadas en inteligencia artificial para la próxima generación de vehículos inteligentes que abarcan desde el nivel premium hasta el nivel básico. Para respaldar las capacidades de deep learning, los conjuntos de chips Dimensity Auto Cockpit integran la computación de inteligencia artificial acelerada por GPU de próxima generación de Nvidia y los gráficos impulsados por Nvidia RTX para ejecutar grandes modelos de lenguaje (LLMs) en el automóvil, lo que permite que los vehículos admitan chatbots, entrega de contenido enriquecido a múltiples pantallas, detección de alerta del conductor y otras aplicaciones de entretenimiento y seguridad basadas en IA.