Después de una broma interna, la mañana de una estudiante de octavo grado terminó con esposas. Un algoritmo marcó su mensaje como una posible amenaza de violencia masiva después de lo que había comenzado como un momento de mensajes de texto inmaduros entre compañeros de clase. A mediodía, había sido despojada de su ropa, arrestada y mantenida alejada de sus padres.
Ella no tenía idea de lo que estaba pasando. Como en muchos otros estados, Tennessee tiene leyes de tolerancia cero que obligan a los sistemas escolares a notificar inmediatamente a las fuerzas del orden cualquier amenaza percibida, independientemente de la intención. Sin embargo, el mecanismo subyacente de los informes –la inteligencia artificial– ha cambiado. El escaneo en tiempo real de los dispositivos emitidos por la escuela ahora es posible con herramientas como Gaggle y Lightspeed Alert, que marcan todo, desde mensajes eliminados hasta palabras clave escritas.
| Key Detail | Description |
|---|---|
| Event | Student teacher in Washington, IL arrested over concerning Snapchat post |
| Surveillance Tools Involved | Gaggle, Lightspeed Alert (AI-based student activity monitoring software) |
| Broader Issue | AI-triggered school surveillance and false positives |
| Legal and Emotional Consequences | Student strip-searched, jailed, placed on house arrest; lawsuits filed |
| Debate | Whether AI surveillance protects students or criminalizes harmless behavior |
Estas herramientas son increíblemente efectivas para identificar indicadores tempranos de violencia o autolesiones, según los educadores. Sin embargo, familias como la de Lesley Mathis se enfrentan a una realidad diferente, en la que se elimina el contexto y se cometen errores al considerar a los niños como amenazas criminales.
Después de ser objeto de burlas por parte de sus amigos, el chiste de su hija sobre “matar a todos los mexicanos” era obviamente un intento torpe de humor. Sí, fue ofensivo, pero no fue una amenaza ni una razón para ser detenida.
Recuerdo haber leído sobre esto y preguntarme brevemente si yo mismo podría haber sobrevivido a la escuela secundaria con el mismo nivel de escrutinio.
Cuando el contenido es marcado por los sistemas de IA, empleados de la escuela –que a menudo están bajo presión y carecen de capacitación matizada– llaman a la policía. Rara vez se les da a los estudiantes una advertencia. No son conscientes de que están siendo vigilados. No son conscientes de que incluso en una historia “privada”, un comentario impulsivo podría hacer que terminen en detención juvenil.
El alcance también es amplio. El software de monitoreo produjo casi 500 alertas, lo que llevó a 72 exámenes de salud mental involuntarios en un solo distrito de Florida. Los alumnos fueron llevados a instalaciones para pruebas psicológicas después de ser sacados de sus hogares, escuelas o aulas. A menudo, no se informó a los padres hasta después del hecho.
La velocidad con la que estos sistemas responden fue descubierta por Alexa Manganiotis, una reportera de 16 años, para el periódico de su escuela periódico. Lightspeed, un programa piloto en su escuela, detectó un archivo eliminado en el que un estudiante había escrito algo peligroso. La seguridad intervino en cuestión de minutos.
El algoritmo está trabajando constantemente. No distingue entre sinceridad y sarcasmo.
En solo diez meses, un distrito de Kansas recibió más de 1.200 alertas, 200 de las cuales fueron falsas alarmas. Estas incluyeron tareas que fueron marcadas con términos como “salud mental” o “violencia en clase de historia”. Los maestros fueron arrastrados a reuniones. Los estudiantes fueron llamados a las oficinas de los directores. El ambiente en clases enteras cambió de un aprendizaje abierto a un susurro cauteloso.
Una alerta de desnudez fue provocada por una tarea de fotografía. La copia de seguridad del estudiante vino al rescate después de que la imagen fuera borrada de su unidad en la nube. Una silueta artística había sido malinterpretada por el software.
Los defensores argumentan que las herramientas proporcionan un beneficio neto –posiblemente salvando vidas– incluso si algunas alertas son inexactas. Amy Bennett de Lightspeed Systems lo describió como un método muy eficaz para “ser proactivo en lugar de punitivo”.
Sin embargo, los críticos ven el intercambio de una manera diferente.
Elizabeth Laird, del Center for Democracy and Technology, advierte que este grado de vigilancia rutiniza la aplicación de la ley en la vida de los niños. Ella dijo: “No se trata solo de detectar señales de alerta”. “Estar constantemente monitoreado por la tecnología está cambiando lo que significa ser estudiante”.
La pregunta más importante sigue siendo si vemos a los niños como peligros latentes que deben ser eliminados o como individuos únicos que necesitan desarrollo y dirección.
Después de su terrible experiencia, la hija de Mathis fue trasladada a una escuela alternativa y puesta bajo arresto domiciliario. Se le permitió hablar allí por primera vez desde su arresto. Maestros escucharon sin juzgar. Expresó sus emociones. La amabilidad que experimentó durante esas semanas sirvió como su brújula.
Mathis comentó en voz baja: “Parece que solo queremos que los niños sean estos pequeños soldados”. Sin embargo, no lo son. Son solo personas.
La cultura escolar ha sido drásticamente alterada por este cambio de educación a aplicación de la ley. Ahora, los estudiantes cuestionan lo que han escrito. Antes de llegar al teclado, las bromas mueren. Los problemas de salud mental se mantienen ocultos por temor a ser descubiertos, arrestados o incomprendidos.
Una vez presentada como una medida de seguridad, https://www.yahoo.com/news/articles/brooklyn-public-high-school-gym-192000415.html la vigilancia ahora parece ser un riesgo en sí misma.
Cabe destacar que algunos distritos han comenzado a actualizar sus filtros de software. El CEO de Gaggle reconoció que los eventos en Tennessee “deberían haber sido un momento de aprendizaje, no un momento para la aplicación de la ley”. Sin embargo, las políticas siguen vigentes.
Nos vemos obligados a considerar si la solución está causando un tipo diferente de daño cuando los estudiantes son encarcelados por bromas privadas y el software de IA interpreta erróneamente las tareas como hostiles.
Un sistema más inteligente acomodaría el contexto. Involucraría a consejeros y educadores en la discusión antes que a los oficiales. Establecería un equilibrio entre la compasión y la alerta.
porque los niños cometerán errores. A veces, dejar que crezcan a partir de ello sin que se convierta en un registro permanente es lo más humano que podemos hacer.
