Cómo extraer datos de la Web

Saber encontrar datos se está convirtiendo en una habilidad cada vez más valiosa en el periodismo.

Ya mencionamos en los toolkits anteriores cómo buscar información en la Web profunda a través de búsquedas avanzadas. Y también cómo encontrar datos en bases de datos.

Ahora veremos algunas herramientas para la extracción de datos.

El ejemplo más sencillo de la extracción de datos es el de obtener el contenido de una tabla alojada en un PDF, cuando lo que se requiere para procesar los datos es disponerlos en una hoja de cálculo.

Para lograr ese objetivo, existen recursos sofisticados y software de descarga pagos. Este es el plano en el que muchas veces necesitamos de un programador para que nos asista en la tarea.

Pero no siempre es necesario. Vamos desde lo más sencillo a lo que aplicaremos en la práctica:

1. Conversores: A veces copiar y pegar funciona, pero otras veces no y hay que recurrir a conversores como Zamzar.com, que es gratuito y no requiere suscripción.

2. No olvides que las tablas y los gráficos pueden estar subidos a la Web en formato de imagen o estar encerradas en un PDF. En estos casos se recurre a programas de reconocimiento óptico de caracteres. Hay algunos que pueden funcionar bien si el tamaño del archivo no supera cierto tamaño.

Uno es este. Y el otro, este.

Pero no siempre funcionan. Solo son eficaces para archivos pequeños y si no tienen sellos ni firmas manuscritas.

Para texto, funciona muy bien Easy PDF to Text

Y tiene opciones de conversión en varios formatos.

3. Un recurso muy bueno para extracción de datos es Document Cloud: al mismo tiempo que sube un documento PDF (una vez que se obtiene una cuenta), corre un OCR (sistema de reconocimiento óptico de caracteres) que permite extraer texto de imágenes escaneadas. El texto extraído se lee en la pestaña “texto”.

Sirve para texto, pero no para tablas.

Mira un ejemplo aquí.

Abajo a la izquierda, puedes seleccionar ver el documento (document) o Plain text (la versión con la extracción ya realizada)

4. Una de las mejores herramientas gratis para extraer tablas de PDFs y obtener los datos en formato tabla es Tabula.

Deberás descargar el archivo a su computadora. Es seguro. Y se abre sobre la Web, es decir, si tienes Chrome abierto como navegador. No funciona sobre otros navegadores.

El procedimiento es sencillo: se sube un PDF; luego se selecciona la tabla y es posible repetir esta acción en diferentes páginas para finalmente descargar el documento en CSV, que es formato de datos separados por comas: este se puede estructurar nuevamente en columnas, marcando la primera columna, luego yendo a la pestaña datos, ordenar en columnas, delimitados por comas y finalizar.

También se puede copiar y pegar el resultado desde el cuadro de datos a una hoja de cálculo en blanco.

Resumiendo:

El web scraping es una técnica utilizada mediante programas de software para extraer información de sitios web; un método que te permite extraer datos escondidos en un documento, como páginas web y PDF, y los hace útiles para usarlos después

Finalmente no olvides herramientas de seguridad digital a tener en cuenta.

En español, el mejor recurso que disponemos por el momento es este.

Y si deseas recorrer los enlaces que seleccioné en LiveBinders sobre el tema, puedes ingresar a esta URL.

Recuerda que en Livebinders a cada carpeta –azul– le corresponde un enlace, que puedes abrir, y dentro de cada carpeta hay subcarpetas –grises–, cada una con la URL de la herramienta.