Dj con inteligencia artificial, el camnio de Spotify

Spotify tiene planes más grandes para la tecnología detrás de su nuevo Función de DJ AI después de ver una reacción positiva del consumidor a la nueva característica. Lanzado justo por delante de la compañía Stream On event en L.A. la semana pasada, el DJ de IA cura una selección personalizada de música combinada con comentarios hablados entregados en una voz realista generada por IA.

Pero bajo el capó, la característica aprovecha lo último en tecnologías de IA y modelos de idiomas grandes, así como la voz generativa —, todas las cuales están en capas sobre las inversiones existentes de Spotify en personalización y aprendizaje automático.

Spotify cree que estas nuevas herramientas no necesariamente tienen que limitarse a una sola característica, por lo que ahora está experimentando con otras aplicaciones de la tecnología.

Aunque lo más destacado del evento Stream On de Spotify fue la renovación de la aplicación móvil, que ahora se centra en El descubrimiento tipo TikTok se alimenta de música, podcasts y audiolibros, el DJ de IA es ahora una parte destacada de la nueva experiencia del servicio de transmisión. Introducido a fines de febrero a los suscriptores Premium de Spotify en los EE. UU. Y Canadá, el DJ está diseñado para conocer a los usuarios tan bien que podría reproducir lo que quieras escuchar con solo presionar un botón.

Con la renovación de la aplicación, el DJ aparecerá en la parte superior de la pantalla debajo de la subalimentación de música para suscriptores, sirviendo tanto como una forma de retroceso para transmitir música favorita como un medio para impulsar a los usuarios gratuitos a actualizar.

Para crear el comentario que acompaña a la música que transmite el DJ, Spotify dice que aprovechó su propia base de conocimiento y conocimientos internos de expertos en música ’. Usando la tecnología de IA generativa de OpenAI, el DJ puede escalar sus comentarios a los usuarios finales de la aplicación. Y a diferencia de ChatGPT, que está tratando de crear respuestas destilando información que se encuentra en la web en general, La base de datos más limitada de conocimiento musical de Spotify garantiza que el comentario del DJ termine siendo relevante y preciso.

Las selecciones musicales reales elegidas por el DJ provienen de su comprensión existente de los gustos e intereses de un usuario, reflejando lo que antes se habría programado en listas de reproducción personalizadas, como Discover Weekly y otros.

La voz del DJ de IA, mientras tanto, fue creada usando tecnología Spotify adquirido de Sonatic el año pasado y se basa en el jefe de Asociaciones Culturales de Spotify Xavier “ X ” Jernigan, presentador del podcast de show matutino ahora desaparecido de Spotify, “ The Get Up. ” Sorprendentemente, la voz suena increíblemente realista y nada robótica. ( Durante el evento en vivo de Spotify, Jernigan habló junto a su doble IA y las diferencias fueron difíciles de detectar. “ Puedo escuchar mi voz todo el día, ” bromeó ).
“ La razón por la que suena tan bien — es que en realidad es el objetivo de la tecnología Sonatic, el equipo que adquirimos. Se trata de la emoción en la voz, ” explica el jefe de Personalización de Spotify, Ziad Sultan, en una conversación con TechCrunch después de que Stream On se envolviera. “ Cuando escuche al DJ de IA, escuchará dónde está la pausa para respirar. Escucharás las diferentes entonaciones. Puedes escuchar emoción por ciertos tipos de géneros, ” dice.

Una voz de IA que suena natural no es nueva, por supuesto — Google cautivó al mundo con su propia creación de IA que suena humana hace años. Pero su implementación dentro de Duplex generó críticas, ya que la IA marcó negocios en nombre del usuario final, inicialmente sin revelar No era una persona real. No debería haber una preocupación similar con la característica de Spotify, dado que incluso se llama un DJ “ AI. ”

Para que la voz de IA de Spotify suene natural, Jernigan fue al estudio para producir grabaciones de voz de alta calidad, mientras trabajaba con expertos en tecnología de voz. Allí, se le indicó que leyera varias líneas usando diferentes emociones, que luego se introducen en el modelo de IA. Spotify no diría cuánto tiempo lleva este proceso, o detalla los detalles, señalando que la tecnología está evolucionando y refiriéndose a ella como su salsa secreta “. ”

“ De esa entrada de alta calidad que tiene muchas permutaciones diferentes, [ Jernigan ] ya no necesita decir nada — ahora está puramente generado por IA,” dice Sultán de la voz generada. Aún así, Jernigan a veces aparecerá en la sala de escritores de Spotify ’ para ofrecer comentarios sobre cómo había leído una línea para asegurarse de que tiene una contribución continua.

Pero aunque el DJ de IA está construido utilizando una combinación de tecnología Sonantic y OpenAI, Spotify también está invirtiendo en investigación interna para comprender mejor lo último en inteligencia artificial y modelos de idiomas grandes.

“ Tenemos un equipo de investigación que trabaja en los últimos modelos de idiomas, ” Sultan le dice a TechCrunch. Tiene unos cientos trabajando en personalización y aprendizaje automático, de hecho. En el caso del DJ de IA, el equipo está utilizando el modelo OpenAI, señala Sultan. “ Pero, en general, tenemos un gran equipo de investigación que comprende todas las posibilidades en los modelos de idiomas grandes, en la voz generativa, en la personalización. Esto es rápido, ” dice. “ Queremos ser conocidos por nuestra experiencia en IA. ”

Sin embargo, Spotify puede o no usar su propia tecnología de IA interna para impulsar desarrollos futuros. Puede decidir que tiene más sentido trabajar con un socio, como lo está haciendo ahora con OpenAI. Pero es demasiado pronto para decirlo.

“ Estamos constantemente publicando artículos, ” dice Sultan. “ Invertiremos en las últimas tecnologías — como puede imaginar, en esta industria, los LLM son tecnología de este tipo. Entonces desarrollaremos la experiencia. ”

Con esta tecnología fundamental, Spotify puede avanzar hacia otras áreas que involucran IA, LLM y tecnología de IA generativa. En cuanto a cuáles pueden ser esas áreas en términos de productos de consumo, la compañía aún no lo dirá. ( Hemos escuchado que un chatbot similar a ChatGPT es una de las opciones con las que se está experimentando. Pero nada se resuelve en términos de lanzamiento, ya que es un experimento entre muchos otros ).

“ No hemos anunciado los planes exactos de cuándo podríamos expandirnos a nuevos mercados, nuevos idiomas, etc. Pero es una tecnología que es una plataforma. Podemos hacerlo y esperamos compartir más a medida que evoluciona, dice Sultan ”.

Los comentarios tempranos de los consumidores sobre la IA son prometedores, dice Spotify
La compañía no había querido desarrollar un conjunto completo de productos de IA porque no estaba seguro de qué sería la reacción del consumidor al DJ. ¿La gente querría un DJ de IA? ¿Se comprometerían con la función? Nada de eso estaba claro. Después de todo, el asistente de voz de Spotify ( “Hey Spotify“ ) había sido liquidado por falta de adopción.

Pero hubo signos tempranos de que la función de DJ puede funcionar bien. Spotify había probado el producto internamente entre los empleados antes del lanzamiento, y las métricas de uso y reenganche habían sido “ muy, muy buenas. ”

La adopción pública, hasta ahora, coincide con lo que Spotify vio internamente, nos dice Sultan. Eso significa que existe la posibilidad de hacer girar productos futuros utilizando las mismas bases subyacentes.

“ Las personas pasan horas por día con este producto ... les ayuda con las opciones, con el descubrimiento, les narra la próxima música que deberían escuchar y les explica por qué…entonces la reacción — si revisas varias redes sociales, verás que es muy positiva, es emocional, dice Sultan ”.

Además, Spotify compartido que, en los días en que los usuarios sintonizaron, pasaban el 25% de su tiempo escuchando con el DJ, y más de la mitad de los oyentes por primera vez regresan a usar la función al día siguiente. Sin embargo, estas métricas son tempranas, ya que la característica aún no se ha implementado al 100% en los EE. UU. Y Canadá. Pero son prometedores, cree la compañía.

“ Creo que es un paso sorprendente en la construcción de una relación entre productos y usuarios realmente valiosos, dice ” Sultan. Pero advierte que el desafío por delante será “ encontrar la aplicación correcta y luego construirla correctamente. ”

“ En este caso, dijimos que este era un DJ de IA para música. Creamos el espacio de escritores ’ para ello. Ponemos en manos de los usuarios para hacer exactamente el trabajo que debía hacer. Está funcionando muy bien. Pero definitivamente es divertido soñar con qué más podríamos hacer y qué tan rápido podríamos hacerlo, agrega ”.