Microsoft presenta los filtros de contenido de Xbox para detener los insultos y la toxicidad

Microsoft presenta los filtros de contenido de Xbox para detener los insultos y la toxicidad

Microsoft está empezando a probar nuevos filtros de contenido para su sistema de mensajería Xbox Live hoy en un esfuerzo por frustrar la toxicidad en su plataforma. Microsoft ha manejado la moderación en Xbox Live durante casi 20 años, incluyendo la capacidad de reportar mensajes, Gamertags, fotos, y mucho más, pero este nuevo esfuerzo coloca al jugador en control de lo que verá en Xbox Live. En un principio, Microsoft está implementando filtros basados en texto para los mensajes de Xbox Live, pero la compañía tiene un objetivo mucho más amplio de poder filtrar las sesiones de las fiestas de Xbox Live en el futuro, de modo que las llamadas de audio en directo puedan filtrarse con pitidos en tiempo real similares a los de la televisión.

Habrá cuatro nuevos niveles de filtración basada en texto disponibles inicialmente para los usuarios de Xbox Live: Amigable, Medio, Maduro y Sin Filtrar. Como te puedes imaginar, Friendly es la opción más adecuada para los niños, diseñada para filtrar todos los mensajes potencialmente ofensivos. En el extremo opuesto, está la opción Sin filtrar, que funcionará como la mensajería de Xbox Live funciona mayormente hoy en día.

El contexto de los mensajes es clave

Los mensajes filtrados aparecerán con una nueva advertencia de «mensaje oculto potencialmente ofensivo» y, si utilizas una cuenta de Xbox Live para adultos, podrás hacer clic para ver el contenido e informar de él con las herramientas habituales si es necesario. Las cuentas infantiles se colocarán en el nivel Amigo de forma predeterminada y se bloquearán de forma predeterminada para que no puedan ver mensajes potencialmente ofensivos. Los padres podrán administrar los niveles a través de la configuración familiar de Microsoft, y el filtrado funcionará en toda la Xbox One, la barra de juegos de Xbox y las aplicaciones de Xbox para Windows 10, iOS y Android.

Para Microsoft, no se trata sólo de filtrar las cosas malas que la gente podría enviarle mientras juega al último título de Call of Duty. Va mucho más allá. «Se ven historias de jugadores afroamericanos que son llamados para ser linchados en sesiones multijugador, o de jugadoras en entornos competitivos que son llamadas con todo tipo de nombres y se sienten acosadas en el mundo exterior, o de miembros de nuestra comunidad LGBTQ que sienten que no pueden hablar con su voz en Xbox Live por miedo a ser llamados», explica Dave McCarthy, jefe de operaciones de Microsoft en Xbox, en una entrevista con The Verge. «Si realmente vamos a realizar nuestro potencial como industria y hacer que este maravilloso medio llegue a todo el mundo, no hay lugar para eso».

McCarthy y su equipo han estado buscando varias maneras de identificar el contexto de los mensajes utilizando una mezcla de inteligencia artificial y filtrado. «El contexto es algo realmente difícil en el espacio de los juegos», admite McCarthy. Una cosa es decir que vas a ir a una matanza cuando te preparas para una misión multijugador en Halo, y otra cosa es decirlo en otro entorno». Encontrar formas de entender el contexto y los matices es una batalla sin fin».

Microsoft presenta los filtros de contenido de Xbox para detener los insultos y la toxicidad>

Pasé parte de mi reunión con McCarthy y su equipo en uno de los momentos más extraños de mi carrera: bombardear una cuenta de Xbox Live con mensajes groseros en un intento de superar los filtros. Probé algunas de las formas básicas de sortear los típicos filtros de texto manipulando palabrotas con acentos o símbolos, y Microsoft las atrapó. Incluso los mensajes basados en el contexto sobre olas asesinas de zombis fueron capturados correctamente. No tuve suficiente tiempo para probar el sistema completamente, pero nada es infalible, e Internet puede adaptarse rápidamente para crear frases y memes ofensivos que atacan a ciertas comunidades. Microsoft demostró cómo podía tomar una frase en particular y agregarla instantáneamente al sistema de filtrado de la compañía, aunque alguien tendría que marcar esta palabra en primer lugar.

Microsoft está tratando de ser más abierto y transparente en cuanto a la forma en que modera Xbox Live y las opciones que toma para aplicar estos filtros en toda la comunidad. «Si vamos a pedir a nuestros usuarios que se responsabilicen de sus acciones en Xbox Live y en nuestros otros servicios, tenemos que ser transparentes en cuanto a nuestro sistema de valores, nuestras prácticas y por qué hacemos lo que hacemos», explica McCarthy. «Últimamente hemos tenido éxito en cosas como proporcionar pruebas y hacer que la gente vuelva a nuestros nuevos estándares de la comunidad Xbox Live, como parte de nuestro esfuerzo de transparencia en torno a las investigaciones que realizamos».

En la actualidad, los usuarios de Xbox Live pueden consultar el sitio Web de aplicación de la empresa para encontrar pistas sobre el mensaje específico que ha causado problemas a su cuenta. Pero no es lo mismo que resaltar el mal comportamiento en un mensaje a la persona responsable de la cuenta. Microsoft está considerando algunos cambios en la forma en que se notifica a los propietarios de Xbox Live cuando infringen las reglas, pero la compañía también está considerando mucho más allá de los mensajes basados en texto.

Microsoft presenta los filtros de contenido de Xbox para detener los insultos y la toxicidad>

Microsoft también quiere afrontar el reto de la toxicidad del chat de voz en Xbox Live. Cuando alguien es invitado a un chat de fiesta de Xbox Live, pueden producirse muchos comportamientos tóxicos y acosos. Microsoft Research ya ha desarrollado capacidades de voz a texto para traducir audio en tiempo real, y la división Xbox está estudiando la posibilidad de utilizarlas.

«Lo que hemos empezado a experimentar es $0027Oye, si estamos traduciendo el habla al texto en tiempo real, y tenemos estas capacidades de filtrado de texto, ¿qué podemos hacer en términos de bloquear las posibles comunicaciones en un entorno de voz?$0027» explica McCarthy. «Es muy pronto, y hay un sinfín de otras tecnologías e inteligencia artificial que estamos buscando para evitar el problema de la voz, cosas como la detección de emociones y la detección de contextos que podemos aplicar allí. Creo que estamos aprendiendo en general… nos tomamos nuestro tiempo con esto para hacerlo bien.»

Los chats de audio podrían ser filtrados con pitidos como la TV

Obviamente, esto es enormemente complejo, tanto en lo que respecta a la tecnología para lograrlo como a los aspectos de privacidad implicados, pero el objetivo de Microsoft es tener algo similar al filtrado que las cadenas de televisión pueden lograr en las emisiones en directo.

«Un objetivo final podría ser similar a lo que se espera en la televisión de difusión donde la gente está teniendo una conversación, y en tiempo real, somos capaces de detectar una fase mala y emitir un pitido para los usuarios que no quieren ver eso», explica Rob Smith, un director de programa en el equipo de ingeniería de Xbox Live. «Es un gran objetivo, pero vamos a tener que tomar medidas para conseguirlo». Microsoft también tendrá que considerar cualquier latencia potencial en torno al análisis de muestras de voz en tiempo real, ya que la mayoría de los chats de fiesta se utilizan para coordinar los movimientos dentro del juego.

Parece que antes de cualquier filtrado de audio automatizado, Microsoft está buscando analizar el discurso del chat de la fiesta para detectar toxicidad. «Mientras tanto, podríamos hacer cosas como analizar el habla de una persona y averiguar, en general, cuál es su nivel de toxicidad que está usando en esta sesión. Y tal vez hacer cosas como silenciarlos automáticamente», revela Smith.

Microsoft está llevando a cabo una serie de pruebas internas para averiguar qué es lo que mejor funciona y para consultar a su comunidad de Xbox Live sobre la implementación de sus planes de chat para fiestas. Es un plan ambicioso, pero Microsoft tendrá que ser muy cuidadoso en la forma en que analiza este audio ya que las implicaciones de privacidad son enormes. «Tenemos que respetar los requisitos de privacidad de nuestros usuarios al final del día, por lo que nos ocuparemos de ello de forma meditada, y la transparencia será nuestro principio rector para que hagamos lo correcto para nuestros jugadores», dice McCarthy.

Microsoft también podría encontrarse en un debate sobre la libertad de expresión con estos filtros, a pesar de que la Corte Suprema afirmó a principios de este año que los derechos de la Primera Enmienda no se aplican a las plataformas privadas como Xbox Live. Microsoft está siendo claro sobre sus intenciones aquí y lo que espera de una comunidad que finalmente controla.

«Xbox Live no es una plataforma de libre expresión. Es una comunidad curada en la que queremos que tengas algunos grados de libertad personal en eso, por lo que estamos haciendo cuatro escenarios diferentes para empezar aquí», explica McCarthy. «Pero no queremos ser ambiguos sobre lo que representamos. Este tiene que ser un lugar donde todos se diviertan, y todo lo que hagamos en cuanto a las características y la práctica de la moderación va a vectorizar a través de ese conjunto de valores».

Compruebe también

Los Héroes del Emblema del Fuego se ponen nerviosos con el contenido de Halloween

Los Héroes del Emblema del Fuego se ponen nerviosos con el contenido de Halloween

Trucos y Golosinas Con la temporada más espeluznante a la vuelta de la esquina, Nintendo …