Rapoarte Google BigQuery și Google Data Studio

23 august 2024

După cum știți deja din postarea anterioară de pe blog, Daktela oferă o gamă largă de instrumente de raportare. Pentru a simplifica lucrurile, vă puteți gândi la Daktela ca având 2 ramuri de instrumente de raportare și analitice:

  1. Statistici și analize disponibile în aplicația web Daktela
  2. Soluția Google

Deși Daktela este o aplicație web complexă și conține instrumente analitice robuste, în unele cazuri poate fi util să optați pentru un serviciu extern. S-ar putea să doriți să vă gândiți la utilizarea unuia în special dacă:

  • Au cantități mari de date
  • Utilizarea mai multor PBX-uri
  • Trebuie să uniți tabele
  • Doriți filtrarea avansată a datelor din rapoarte
  • Sunt îngrijorate de încărcarea PBX
  • Necesită timpi de încărcare mai rapizi

Soluția modernă și foarte puternică Google este un candidat ideal pentru aceste scopuri. Vom arunca o privire rapidă asupra acesteia în acest articol.

În general, soluția este o combinație de stocare a datelor (Google BigQuery), instrument de raportare (Google Data Studio), servicii afiliate (Google Cloud Platform - securitate, administrare, întreținere, monitorizare) și fluxuri de date (Daktela), alcătuind un portofoliu ETL și BI.

Un avantaj clar este faptul că soluția este accesibilă utilizând un browser web. Nu este necesar niciun software dedicat; totul este disponibil de pe orice PC, utilizând un cont Google cu drepturi suficiente. Operabilitatea sistemului depinde doar de viteza conexiunii dvs. la internet.

Daktela - sincronizare automată

Există sarcini periodice configurate pe bigquery.daktela.com care transformă datele din PBX-uri și le încarcă în BigQuery (BQ) la intervale regulate. Aceste așa-numite scripturi de execuție sunt scrise în Java.

Intervalul de sincronizare este de 120 de minute și 24 de ore. Datele sunt încărcate periodic la fiecare 2 ore, iar la sfârșitul fiecărei zile, la miezul nopții, este încărcat un alt lot de consolidare pentru a asigura integritatea datelor. Pe anumite PBX-uri, este posibilă scurtarea intervalului de 2 ore la 1 oră.

În cazuri izolate, în BQ pot fi create intrări aparent duplicate. Scriptul de execuție caută duplicatele, rezultatul său este monitorizat și notificările sunt trimise către software-ul de monitorizare. Duplicaturile sunt eliminate automat în timpul sincronizării zilnice. Acest lucru înseamnă că nu trebuie să faceți nimic suplimentar pentru a vă menține datele de raportare actualizate.

Deoarece scripturile de execuție ale tuturor proiectelor conectate la BQ rulează pe serverul bigquery.daktela.com , acestea sunt programate să ruleze la momente diferite, astfel încât să nu concureze între ele și resursele sistemului să fie utilizate eficient. Acest lucru contribuie, de asemenea, la un timp de procesare relativ scurt. O etapă de sincronizare (încărcarea unui lot orar sau zilnic pentru toate instanțele proiectului) este o chestiune de minute până la zeci de minute - de obicei 10-30 minute, până la 60-90 minute în cazuri extreme. În timpul depanării, sincronizarea poate fi pornită și manual.

Toate scripturile produc un jurnal de fișier text.

Accesul la serverul bigquery.daktela.com este securizat folosind o cheie SSH. Serverul este gestionat în întregime de administratorii IT Daktela, care gestionează și accesul utilizatorilor.

Google BigQuery

BigQuery este un depozit de date (DWH) complet gestionat, fără server, care permite analiza scalabilă a unor cantități extrem de mari de date (de ordinul petabytes: 1PB ≈ 1024 TB ≈ 1 milion GB). Este o platformă ca serviciu care acceptă interogarea folosind ANSI SQL.

Google oferă, de asemenea, funcționalități afiliate, cum ar fi învățarea automată, instrumente de geolocalizare, instrumente de analiză și statistică și gestionarea accesului și a drepturilor utilizatorilor.

Arhitectura BigQuery este gestionată în întregime de Google, ceea ce înseamnă că utilizatorii nu trebuie să își facă griji cu privire la aspecte precum scalabilitatea, distribuția puterii de calcul, salvarea, întreținerea etc. Soluția este unică, deoarece designul său vă permite să primiți rezultatele cererilor pentru terabytes de date în câteva secunde și petabytes în câteva minute.

Acest lucru vă permite să vă încărcați rapoartele și să filtrați și să sortați interactiv datele în timp real.

BigQuery nu este doar o bază de date - este un sistem nerelațional de baze de date de procesare analitică online optimizat pentru citire și analiză. De asemenea, este posibil să se introducă date și să se conecteze BQ la surse de date externe.

Proprietățile sale cheie sunt scalabilitatea, fiabilitatea, disponibilitatea, costurile de funcționare reduse, posibilitățile de autoreparare și arhitectura descentralizată. Alternativele DWH la BQ sunt, de exemplu, Amazon Redshift și Microsoft Azure SQL.

Datele din BQ sunt organizate în seturi de date (similare unei baze de date) formate din tabele, vizualizări și alte entități, cum ar fi modelele de învățare automată. Drepturile de acces, editare, ștergere etc. pot fi stabilite pentru întregul set de date sau pentru tabelele individuale care fac parte din acesta.

Platforma Google Cloud este utilizată pentru gestionarea conturilor de utilizator, iar utilizatorii trebuie să aibă un cont Google activ pentru a lucra cu BQ. Toate accesările sunt gestionate și verificate de administratorii Daktela.

Puteți găsi mai multe informații pe pagina oficială Google Cloud.

Cotele și limitele

Google limitează încărcarea maximă a sistemului prin stabilirea de limite și cote pentru o anumită perioadă de timp (de exemplu, numărul de interogări, dimensiunea datelor transferate etc.) BQ este creat pentru proiecte mari cu cantități mari de date, iar din perspectiva big data, chiar și cele mai mari și mai complexe Daktela PBX sunt un set de date mic și simplu.

Aflați mai multe despre cote și limite pe pagina oficială Google.

Google Data Studio

Google Data Studio (DS) este un instrument de vizualizare a datelor și raportare similar cu Microsoft Power BI sau Tableau. Este o aplicație web cu o interfață ușor de utilizat în care puteți crea rapoarte prin adăugarea de tabele și grafice și le puteți completa cu text și elemente vizuale.

Data Studio poate fi utilizat pentru:

  • Crearea și editarea rapoartelor individuale
  • Gestionarea rapoartelor la care utilizatorul are acces
  • Vizualizarea rapoartelor
  • Crearea, editarea și gestionarea surselor de date
  • Gestionarea accesului la aceste rapoarte și surse de date

Fiecare raport este alcătuit din:

  • O sursă de date
  • Conținut
  • Setări de acces

Mai multe rapoarte pot utiliza aceeași sursă de date, iar un raport poate utiliza mai multe surse de date diferite.

Drepturile de acces sunt acordate în mediul Google separat pentru fiecare serviciu:

Accesurile și drepturile BigQuery pot fi configurate pentru fiecare:

  • Proiect (accesări interne Daktela)

Accesurile și drepturile Data Studio pot fi configurate pentru fiecare:

  • Sursă de date partajată

Atât în BQ, cât și în DS, utilizatorul vede numai entitățile pentru care are drepturi de acces. Acesta nu are nicio modalitate de a afla despre entitățile altor utilizatori (seturi de date, tabele, surse de date, rapoarte) până când nu încearcă să le acceseze prin intermediul unui URL.

DataStudio - surse de date

Termenul Sursă de date se referă în mod colectiv la:

  • Configurarea conexiunii sursei de date
  • Transformarea și formatarea datelor primite
  • Frecvența sincronizării datelor
  • Drepturi de acces

Toate aceste elemente alcătuiesc o entitate Google DS cu care utilizatorul poate lucra. Entitatea nu este o sursă de date, ci mai degrabă un model sau o schemă de date. De asemenea, vă puteți gândi la ea ca la un conector către sursa de date, de obicei un DWH.

Google Data studio poate utiliza conexiunea la sursa de date pentru a se conecta la diferite tipuri de DWH, de la cele native Google (Google BQ, Google Sheets, Google Analytics, Google Ads, Google Surveys, Google Cloud etc.) la cele utilizate în mod obișnuit (Microsoft SQL Server, MySQL, PostgreSQL, fișiere CSV etc.) și la conectori de la terțe părți. O listă completă de conectori este disponibilă pe site-ul Google site-ul web.

Prin conectarea unei surse de date, se creează o nouă entitate. Aceasta definește:

  • Conexiune la BigQuery sau la o sursă de date
  • Tabelul interogat sau specificația SQL
  • Formatarea dimensiunilor
  • Metrici agregate
  • Parametri - de obicei o perioadă de timp pentru date
  • Acces - ce utilizatori pot edita sursa de date și/sau definiția acesteia
  • Frecvența sincronizării datelor ("prospețimea datelor") - de obicei 1 oră, variind de la 1 minut la 12 ore
  • Partajarea sursei de date - limitată la raportul curent sau partajare permisă în mai multe rapoarte

Există și alte modalități de a restrânge datele dintr-un raport, altele decât direct în sursa de date. De asemenea, puteți utiliza "controale" și "filtre ascunse" care sunt descrise mai jos. De asemenea, este posibilă conectarea surselor de date individuale ("data blending"), oferind o agregare complexă a datelor, care altfel ar fi dificil de realizat pentru utilizatorii fără cunoștințe bune de SQL.

Fiecare solicitare de date dintr-un raport este tradusă într-o interogare SQL. Rezultatul acesteia este salvat temporar (în cache) pentru perioada de timp stabilită în "prospețimea datelor", oferind timpi de răspuns aproape imediați și costuri reduse per interogare.

Proprietarul raportului devine automat proprietarul sursei de date care este creată în raport. Este posibil să adăugați surse de date partajate din propriile rapoarte la alte rapoarte pe care le dețineți. Pentru a utiliza și edita surse de date deținute de alți utilizatori, trebuie să solicitați permisiunea proprietarului, iar acesta trebuie să o acorde.

Dacă eliminați o sursă de date încorporată dintr-un raport, aceasta va fi ștearsă. Dacă eliminați o sursă de date partajată dintr-un raport, aceasta nu va fi ștearsă.

DataStudio - rapoarte

După ce ați configurat sursa de date, puteți crea un raport prin adăugarea de grafice în care puteți selecta dimensiunea și/sau metrica din sursa de date. Pentru a face aspectul cât mai clar posibil, puteți adăuga mai multe pagini de raport și puteți adăuga alte elemente, cum ar fi text și imagini.

Domenii

Un câmp este o coloană de date. Există două tipuri diferite: dimensiuni și metrici. Dimensiunile conțin categorii sau entități pe care doriți să le măsurați. Măsurătorile descriu dimensiunile folosind un număr.

În afară de câmpurile încărcate automat din sursa de date, puteți crea propriul câmp prin:

  • Combinarea dimensiunilor pentru a crea o nouă dimensiune
  • Combinarea măsurătorilor între ele sau cu o dimensiune pentru a crea o nouă măsurătoare

Dimensiuni

O dimensiune este o categorie de informații sau de date sau, mai exact, o serie de date. De exemplu, atunci când se măsoară traficul pe un site web, unele dimensiuni ar putea fi browserul, pagina web, limba etc. Dacă utilizați o sursă de date bazată pe o bază de date sau pe un tabel, o dimensiune reprezintă o coloană a tabelului dumneavoastră.

În DS, puteți modifica titlul, tipul de date (text, număr, dată etc.) și descrierea fiecărei dimensiuni.

Metrici

O măsură este un calcul agregat sau o operațiune aplicată unui set de date, de exemplu, numărul de intrări, suma, maximul, minimul, media etc. Este analogă cu o funcție agregată dintr-o interogare SQL.

Puteți combina dimensiunile și parametrii în graficele și tabelele dvs.

Grafice

Sunt disponibile următoarele:

  • Tabele (obișnuite și pivot)
  • Grafice
  • Tablouri de bord - elemente cu un singur parametru

Filtre

Filtrarea în DS este interpretată în fundal ca editarea SQL a sursei de date. În consecință, veți primi aceleași date indiferent dacă aplicați un filtru atunci când datele intră în DS (definirea interogării SQL) sau la nivelul elementului de raport (filtrul ascuns al unui grafic sau tabel) sau dacă persoana care vizualizează raportul aplică filtrul (filtrul utilizatorului = element de control). Filtrele vor fi întotdeauna traduse în interogări SQL în BQ.

Cu toate acestea, puteți obține timpi de încărcare mai rapizi prin aplicarea corectă a filtrelor. Este recomandat să definiți o interogare SQL specifică pentru întreaga sursă de date și să primiți numai datele relevante, mai degrabă decât să solicitați întregul tabel și să filtrați la nivelul raportului. Acest lucru economisește, de asemenea, timp la încărcarea și gestionarea componentelor disponibile în timpul procesului de editare a raportului.

Alte elemente

Alte elemente pe care le puteți adăuga rapoartelor dvs:

  • Legături
  • Imagini
  • Conținut extern - URL încorporat
  • Parametri (perioadă de timp, adresa de e-mail a vizitatorului, parametri proprii)

Deoarece rapoartele se află la o adresă URL specifică, este posibil să încorporați rapoartele în documentele dvs. online, pagini web etc.

DataStudio - accesează

Există două tipuri diferite de accesări:

  1. Vizualizare
  2. Editare

Utilizatorii cu acces de vizualizare nu pot face nicio modificare la aspectul sau setările raportului. Aceștia pot doar să interacționeze cu raportul și, de obicei, să îl exporte în format PDF, să îl tipărească sau să creeze o copie (pe care o pot apoi edita, adică pot afla și cum a fost creat).

Utilizatorii cu acces de editare pot edita conținutul raportului și pot modifica setările acestuia. Proprietarul raportului poate gestiona alte proprietăți de acces, cum ar fi împiedicarea altor utilizatori să adauge alți utilizatori.

De asemenea, puteți permite accesul folosind un link. Acest lucru ar schimba cele de mai sus în:

  1. Partajarea legăturilor dezactivată - numai utilizatorii specificați vor avea acces
  2. Partajarea legăturilor activată - utilizatorii specificați au acces, plus:
    • 2.1. Oricine face parte dintr-un grup cu link poate vizualiza (de exemplu, numai utilizatorii din compania dvs.)
    • 2.2. Oricine face parte dintr-un grup cu link poate edita
    • 2.3. Oricine are link-ul poate vizualiza
    • 2.4. Oricine are link-ul poate edita
    • 2.5. Oricine de pe internet poate găsi raportul și îl poate vizualiza (chiar și fără link)
    • 2.6. Oricine de pe internet poate găsi raportul și îl poate edita (chiar și fără link)

Dacă doriți să evitați configurarea diferitelor niveluri de acces la rapoartele dvs., îl puteți seta la 2.3 sau 2.5, dar nu vă recomandăm acest lucru dacă rapoartele dvs. conțin informații sensibile. Nu este posibil să vizualizați traficul specific al rapoartelor - Google Analytics va afișa doar informații anonime.

Accesul la datele sursă este descris mai sus.

Pentru a accesa versiunea curentă și interactivă a unui raport, un utilizator trebuie să știe fie:

  1. URL-ul său, sau
  2. Titlul exact al raportului și proprietarul acestuia. Opțional, un raport PDF poate conține un link către versiunea online sau încorporată a raportului.

Dacă utilizatorul cunoaște URL-ul raportului și are acces la raport, browserul îl va afișa. Dacă nu are acces, se va deschide o casetă de dialog, informându-l că trebuie să solicite accesul proprietarului. Utilizatorul poate selecta ce tip de acces dorește să solicite. Proprietarul va primi o notificare și, după ce acordă accesul, utilizatorul va putea deschide raportul. Dacă utilizatorul nu cunoaște URL-ul raportului, trebuie să contacteze proprietarul raportului în alt mod. Proprietarul trebuie apoi să găsească manual raportul și să acorde utilizatorului acces la acesta.

Rapoartele în format PDF pot fi protejate prin parolă, dar pot fi partajate ca orice alt tip de fișier. Pentru a preveni partajarea neautorizată, proprietarul raportului poate împiedica alți utilizatori să exporte raportul în PDF. Acest lucru dezactivează, de asemenea, imprimarea și copierea.

În cele din urmă, puteți utiliza, de asemenea, partajarea distribuită a rapoartelor prin trimiterea periodică de e-mailuri generate automat care conțin:

  • un link către versiunea actualizată a raportului
  • o previzualizare a raportului (de obicei primele câteva pagini)
  • un atașament cu o copie PDF a raportului cu date din ziua în care este trimis raportul

Destinatarii finali pot transmite e-mailul altor persoane. Dacă unii utilizatori nu au acces la raport, atunci când deschid URL-ul raportului, aceștia vor putea solicita acces. Aceștia vor putea în continuare să deschidă raportul PDF.

Totuși, această metodă poate fi utilă dacă trebuie să distribuiți raportul unor persoane din afara organizației dumneavoastră.

Ultimele articole