Determinação da Qualidade de Execução de um Sistema de Povoamento de um Data Warehouse

Nuno Dias, Orlando Belo

Resumo


Qualquer sistema de ETL (Extração, Transformação e Carregamento) que lide com um conjunto de dados significativo tem sempre a necessidade de contornar eventuais fenómenos de omissão e de inconsistência de dados que, frequentemente, resultam de uma ineficaz implementação dos sistemas operacionais associados. Caso se atue de forma contrária, o sistema poderá perder utilidade. Para que tais situações sejam raras, é preciso que, desde a fase embrionária do processo, se identifique, caracterize e solucione potenciais pontos de estrangulamento no desempenho do sistema de ETL. Neste trabalho reportamos um processo que desenvolvemos para determinar a qualidade da execução de um sistema de ETL, identificando e caracterizando eventuais pontos de estrangulamento – pontos negros – e a partir daí gerar um índice de qualidade de desempenho que nos apresente o “bem-estar” do sistema e nos forneça informação para a resolução de eventuais pontos negros e consequente melhoria da qualidade de serviço do sistema.

Texto Completo:

PDF (English)

Referências


B.F. van Dongen, W. M. P. van der A. (2005). A Meta Model for Process Mining Data. Proceedings of the CAiSE’05 Workshops, 11(i), 309–320.

Belo, O., Dias, N., Pinto, F., & Ferreira, C. (2017). Discovering ETL Black Points A Process Mining Approach. 5th World Conference on Information Systems and Technologies (WorldCIST 2017), Porto Santo Island, Madeira, Portugal, April, 11-13.

Disco. (2014). Disco 1.6.0 — Flux Capacitor Update. Retrieved December 30, 2016, from https://fluxicon.com/blog/2014/01/disco-1-6-0/

Gour, V., Sarangdevot, S. S., Tanwar, G. S., & Sharma, A. (2010). Improve Performance of Extract, Transform and Load ({ETL)} in Data Warehouse. International Journal on Computer Science & Engineering, 1(3), 786–789.

Guimarães, M., Saraiva, J., & Belo, O. (2015). Categorização do Consumo de Energia em Sistemas de Povoamento de Data Warehouses. 5o Conferência Da Associação Portuguesa de Sistemas de Informação (CAPSI‘2015), Lisboa, Portugal, October, 2-3.

Gunther, C. W., & Rozinat, A. (2014). Disco 1.6.0 — Flux Capacitor Median Performance Metrics. Retrieved February 13, 2017, from https://fluxicon.com/blog/2014/01/disco-1-6-0/

Hompes, B. F. A., Buijs, J., van der Aalst, W. M. P., Dixit, P. M., & Buurman, J. (2015). Discovering Deviating Cases and Process Variants Using Trace Clustering. Proceedings of the 27th Benelux Conference on Artificial Intelligence (BNAIC), November, 5–6.

Mannila, H., Toivonen, H., & Verkamo, A. I. (1997). Discovery of Frequent Episodes in Event Logs. Data Mining and Knowledge Discovery, 1(3). http://doi.org/10.1023/A:1009748302351

Pentaho. (2017). Data Integration - Kettle. Retrieved from http://www.pentaho.com/product/data-integration

Rozinat, A., De Medeiros, A. K. A., Günther, C. W., Weijters, A. J. M. M., & Van Der Aalst, W. M. P. (2008). The need for a process mining evaluation framework in research and practice: Position paper. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (Vol. 4928 LNCS). http://doi.org/10.1007/978-3-540-78238-4_10

Song, M., Günther, C. W., & Van Der Aalst, W. M. P. (2009). Trace clustering in process mining. In Lecture Notes in Business Information Processing (Vol. 17 LNBIP, pp. 109–120). http://doi.org/10.1007/978-3-642-00328-8_11

Torres, B., Ferreira, C., Pinto, F., & Dias, N. (2016). Um Data Warehouse para um cluster de empresas - Relatório Técnico Mestrado Integrado em Engenharia Informática Universidade do Minho. Braga, Portugal.

van der Aalst, W. M. P. (2015). Extracting Event Data from Databases to Unleash Process Mining. BPM - Driving Innovation in a Digital World SE - 8, 105–128. http://doi.org/10.1007/978-3-319-14430-6_8

Vassiliadis, P., & Simitsis, A. (2009). Extraction, transformation, and loading. Encyclopedia of Database Systems, 10. http://doi.org/10.4018/987-1-59904-364-7.ch004




DOI: http://dx.doi.org/10.18803/capsi.v17.321-333

Apontamentos

  • Não há apontamentos.