Foro del proyecto: Visor de datos de tráfico de Madrid | Medialab-Prado Madrid


#1

Lun: 16:00 a 21:00h Mar, Mié, Jue, Vie: 10:00h a 21:00h Sáb: 11:00h a 21:00h


Este es un tema de discusión derivado de la entrada https://www.medialab-prado.es/proyectos/46638/forum

#2

Hola, soy Javi, la persona que ha propuesto el proyecto. No sé si mucha gente se animará a colaborar pero en cualquier caso se puede usar este foro como forma de contacto, al menos de presentación.

Si hay alguna duda sobre el proyecto también es un buen lugar para trasladarla.

Salud


#3

Hola Javi,

Soy Jorge Sanz, de CARTO, hemos hablado un poco por Twitter. Estoy subiendo unos meses de datos para ver qué pinta tendría un visor de este estilo y hacer un pequeño estudio de los recursos que consumiría, efectivamente son muchos datos y habría que estimar el coste de tener todos esos datos en nuestra plataforma.

Cuando tenga updates o cosas que enseñar aviso por aquí.

Saludos
Jorge


#4

Hola Jorge, encantado y gracias por el interés.

Lo primero confesar que mis conocimientos son un poco precarios y hay cosas en las que me perderé.

La idea para manejar los datos era dividir los archivos en otros más manejables y hacer las consultas sobre estos archivos. Para no tener que almacenar todos los datos en el mapa, que sería una locura, quizá lo que se pueda hacer sea, una vez se tenga una consulta pintarla en un mapa.

Estoy hasta el domingo sin ordenador pero intento estar pendiente.

Salud


#5

Hola!
Me parece un proyecto interesante. Estuve trasteando algo con esos datos para hacer visualizaciones y es cierto que es un problema sacar información en escalas temporales amplias debido a la cantidad de datos que hay.

Yo soy diseñador y desarrollador frontend y también controlo algo de python/django. Dentro de mi tiempo podría echar una mano.

Supongo que lo principal seria hacer un pequeño sistema que copiara los archivos del ayuntamiento a una base de datos a la que poder hacer consultas… pero ¿Qué base de datos es apropiada para almacenar gigas y gigas de información y permitir consultas? Además de Carto ( que mola mucho) ¿Qué mas hay?


#6

Hola Sergio.

Me alegra que te interese y si quieres echar una mano es muy bienvenida. Hasta la fecha he estado trasteando para hacerlo en python asi que fenomenal.

En cuanto a lo que comentas de base de datos, ni idea, yo he provado a dividir los archivos mensuales en archivos diarios en formato parecido a csv y más o menos apaña. Mi pregunta es cómo de viable sería subir estos archivos a algún sitio y hacer las consultas sobre ellos y no sobre una base de datos. Aquí es donde entra en juego mi ignorancia, supongo que la ventaja de la base de datos es que va a ser mucho más rápida de cara a responder múltiples consultas aunque no sé cómo de manejable es una base de datos con millones y millones de líneas.

Una opción más sencilla, un pasito atrás, sería poner a disposición todos los archivos mensuales y que el usuario se los descargue para hacer las consultas pertinentes, por ejemplo, si quieres hacer consultas sobre enero de 2018 te descargas ese mes y luego haces la consulta.


#7

Imagino que lo suyo es tenerlo en base de datos que para eso están. Y tienes un lenguaje SQL de consultas.
Igual se puede reducir el espacio guardando los datos por horas, eliminando lo que no hace falta… no se
las DB postgres soportan varios TB de información por tabla.

De todas formas igual tu aproximación tiene sentido. Depende del tipo de consultas que se quiera hacer pero se me ocurren cosas como:

  • Cual es la diferencia de tráfico diario en el punto x entre tal día y tal otro
    ->> Operaciones: Abrir dos archivos, uno de cada día. Buscar todas las entradas del punto x, y sumarlas y devolver el resultado.

  • Dame por horas el numero de coches en estos 10 puntos durante una semana:
    ->> Operaciones: Abrir siete archivos, uno de cada día. Buscar todas las entradas del punto x1…x10. Agruparlas por horas, sumarlas y devolver el resultado.

  • Pero si te pones a preguntar: Comparativa dia por día en horario de mañana en Madrid central entre Febrero 2019 y Febrero 2018 … igual se complica mucho sin tener un lenguaje estandar de consultas.

¿Qué tipo de consultas tienes en mente que sean útiles?

En otro orden de cosas:

  • ¿El ayuntamiento tendrá ya una herramienta para ver estos datos bien no? ¿Sabes qué usan? ¿Se puede averiguar algo hablando con técnicos de movilidad?

  • Veo que el taller es entre semana… Lo tendría jodido para acudir presencialmente mas de un rato.