State-of-the-Art

Buscar este blog

Large Language Models

el mayo 11, 2023

Linea del tiempo

Por año de desarrollo, tamaño de parametros

By CCR

Entradas populares

ImageBind: Modelo IA en seis modalidades

ImageBind ,el primer modelo de IA capaz de vincular información de seis modalidades, de código abierto. El modelo aprende un único espacio de representación integrado o compartido, no solo para texto, imagen/video y audio, sino también para sensores que registran profundidad (3D), térmica (radiación infrarroja) y unidades de medida inercial (IMU), que calculan el movimiento y posición ImageBind equipa a las máquinas con una comprensión holística que conecta los objetos en una foto con cómo sonarán, su forma 3D, qué tan cálidos o fríos están y cómo se mueven. ImageBind puede superar a los modelos especializados anteriores entrenados individualmente para una modalidad en particular, como se describe en nuestro documento . Pero lo más importante es que ayuda a avanzar en la IA al permitir que las máquinas analicen mejor muchas formas diferentes de información juntas. Por ejemplo, usando ImageBind, Make-A-Scene de Meta podría crear imágenes a partir de audio, como crear una imagen basada

Segmentar cualquier cosa

Segment Anything En vision por computadora las tareas como segmentacion en imagenes hay modelos como U-Net, BEiT-3 o ViT-Adapter que son para tareas espacificas que dan como resultados y rendimientos superiores. El modelo mas resiente es desarrollado por Meta; Segment Anything , un nuevo modelo para la segmentación de imágenes y es conjunto de datos el más grande hasta la fecha, con más de mil millones máscaras en 11M con licencia y privacidad respetando las imágenes. El modelo está diseñado y entrenado para ser rápido, por lo que puede transferir zero-shot a nuevas tareas y distribuciones de imágenes. Al evaluar sus capacidades en numerosas tareas y encontrar que su rendimiento de zero-shot es impresionante, a menudo competitivo con o incluso superior a los resultados anteriores totalmente supervisados. Nosotros están lanzando el Segment Anything Model (SAM) y el conjunto de datos correspondiente (SA-1B) de máscaras 1B y 11 millones de imágenes con fines de investigaciones Indic

PaLM

PaLM demuestra el primer uso a gran escala del sistema Pathways para escalar el entrenamiento a 6144 chips, la configuración de sistema basada en TPU más grande utilizada para el entrenamiento hasta la fecha. El entrenamiento se escala mediante el paralelismo de datos en el nivel de pod en dos pods de Cloud TPU v4 , mientras se usan datos estándar y paralelismo de modelo dentro de cada pod. Este es un aumento significativo en la escala en comparación con la mayoría de los LLM anteriores, que se entrenaron en un solo TPU v3 Pod (por ejemplo, GLaM , LaMDA ), usaron paralelismo de canalización para escalar a 2240 GPU A100 en clústeres de GPU ( Megatron-Turing NLG ) o usó múltiples TPU v3 Pods ( Gopher ) con una escala máxima de 4096 chips TPU v3. PaLM logra una eficiencia de capacitación del 57,8 % en la utilización de FLOP de hardware, la más alta alcanzada hasta ahora para los LLM a esta escala . Esto se debe a una combinación de la estrategia de paralelismo y una reformulación del bloq

Con tecnología de Blogger