Jornacitec Botucatu, XIV JORNACITEC - Jornada Científica e Tecnológica

Tamanho da fonte: 
EXTRAÇÃO, TRANSFORMAÇÃO E CARREGAMENTO DE MEDIDAS DE RADIAÇÃO SOLAR NO CONTEXTO DE UM BIG DATA
Carlos Gabriel dos Santos Modesto, Daniele Cristina Lopes Mariano, Fabricio Clécio de Oliveira, Marcus Vinícius Contes Calça, Alexandre Dal Pai

Última alteração: 2025-10-12

Resumo


O avanço tecnológico tem popularizado o monitoramento das componentes da irradiância solar na superfície terrestre, gerando volumes significativos de informações climáticas. A correta gestão desses dados é fundamental para diversas áreas, como o planejamento de recursos energéticos renováveis e a agricultura. Este estudo teve como objetivo desenvolver e implementar um processo automatizado de Extração, Transformação e Carregamento (ETL) de medidas de irradiância solar (global, difusa e direta em superfície horizontal) coletadas pelo Laboratório de Agrometeorologia (AGROMET) da Faculdade de Ciências Agronômicas (UNESP), Botucatu - SP. Utilizando a linguagem de programação Python e bibliotecas de ciência de dados, a metodologia envolveu a extração de dados brutos de arquivos de texto, a transformação por meio dos processos de limpeza, padronização, cálculo de efemérides geoespaciais e a aplicação de critérios de controle de qualidade usando algoritmos computacionais, e o carregamento em um Cloud File Storage (Microsoft One Drive) no formato de Grandes Arquivos Binários (Blob). Os resultados demonstram a eficácia do processo na identificação e tratamento de anomalias, junto com a criação de painéis gráficos diários para diagnóstico e operacionalização da Estação de Monitoramento de Radiação Solar, além da conversão das medidas instantâneas (W/m²) em valores integrados (MJ/m²). O processo implementado permitiu a criação de um conjunto de dados consistente e validado, garantindo a qualidade e a acessibilidade para futuros processos analíticos e de modelagem.


Texto completo: PDF