Vox publicó el año pasado este estupendo vídeo sobre cómo funcionan los «filtros de Snapchat», algo que la compañía llama «lentes Snapchat» y que hay quien lo llama «realidad aumentada» o términos futuristas similares.
La respuesta está sacada directamente de las patentes, porque la compañía no suelta prenda sobre el asunto. Estas patentes las registró una empresa llamada Looksery que Snapchat adquirió en 2015 por unos 150 millones de dólares.
El resumen rápido son un montón de tecnologías combinadas relacionadas con el campo de la visión artificial, la detección de rostros y algoritmos capaces de realizar tareas muy concretas (como separar las áreas de mayor contraste, calcular el ángulo en el que está la imagen o generar un modelo matemático del rostro en unos milisegundos).
Los algoritmos están entrenados con las mismas técnicas que se emplean para otras tareas de reconocimiento, de modo que además pueden afinar hasta el punto de crear un conjunto de puntos y líneas que dan forma al rostro, ojos, labios, etcétera. Ese gráfico en 3D puede moverse, rotarse y escalarse; aplicándole una textura a cada fotograma a toda velocidad se consigue el efecto realista de la transformación de las caras, el face swap con un amigo o el añadido de objetos como gafas, sombreros y demás.
§
Todo esto continuará evolucionando como ya estamos pudiendo ver en FaceApp [iOS, Android], la «app de moda» para la transformación fotográfica de cualquier foto. También utiliza técnicas de redes neuronales para añadir sonrisas donde no existen, envejecer (o rejuvenecer) rostros y otros efectos bastante sorprendentes y muy resultones. Es como el photoshopeado de toda la vida pero sin que haga falta saber Photoshop. Más fácil, imposible.