L’analisi “in memory”

Per la verità, i diversi prodotti di analisi dati, portano in memoria cose diverse:   può essere una “nuvola” di dati, legati solo da associazioni referenziali, oppure dati già strutturati come ipercubo;  anche se la velocità di navigazione è comparabile, queste differenze hanno conseguenze sulla flessibilità del sistema, e sui tempi di implementazione.  

Ma piuttosto di entrare nel merito di queste differenze,  vorrei fare con voi l'avvocato del diavolo, e riflettere sugli eventuali limiti dell'analisi “in-memory”.

Vi confesso, infatti, che la prima volta che mi parlarono di analisi "in memory" (negli anni '90), ebbi un senso di orrore: "Ma come ?" mi dissi "Tutti sanno che non è quello il posto dove mettere i dati !".

Il posto giusto, è nei DataBase.  Solo lì sono sincronizzati (sempre che le applicazioni facciano le "commit" come si deve). Solo lì sono protetti (sempre che il DBMS scriva i log come si deve).  Solo lì sono certificabili (sempre che il DBA abbia fatto il suo dovere).

I limiti

L'idea che il programma di Business Intelligence dovesse prendersi la briga di raccogliere dati in giro per i dischi, per poi ricopiarli in un posto diverso, rendendoli persistenti, come passaggio preliminare obbligatorio per iniziare l'analisi, mi suonava come una bestemmia alla faccia dei signori Codd e Date, e dei loro ottimi principi sulla logica relazionale.

Ma c'erano aspetti anche peggiori...

Per esempio: questi dati, nelle pagine di memoria virtuale, si trovano in strutture proprietarie, accessibili solo dal programma di Business Intelligence che li ha generati, senza rispettare nessuno standard.

E ancora: quando il documento viene aperto, per effettuare l'analisi,  quei dati vanno a tappezzare la memoria virtuale del nostro sistema; se un secondo documento utilizzasse dati simili, non farebbe nessun riutilizzo dei dati predisposti -con gran dispendio di RAM- dal primo.

Ma l'aspetto decisivo, a sostegno del mio disappunto, era che quei dati erano inesorabilmente vecchi.

E' stato più tardi, con l'esperienza pratica (soprattutto con dati molto numerosi), che mi sono stati più chiari i vantaggi della tecnica "in-memory".

Il tempo

Due parole sul tempo: una dimensione per molti aspetti misteriosa, e -per noi informatici- intrigante.   Tralascerò le riflessioni filosofiche, che pure meriterebbero ben più attenzione di quella che abitualmente riserviamo, per restare sul tema dell'analisi "in-memory".

Cominciamo a distinguere se la nostra analisi riguarda il passato, il momento attuale, oppure se intende prevedere il prossimo futuro. 

Bene:  tutte le analisi che -nelle intenzioni- hanno per oggetto il momento attuale, scivolano istantaneamente nel passato; per i diversi analisti che devono scambiarsi le loro osservazioni, diventa importante  mettersi d'accordo sul momento del passato da prendere come riferimento comune.  

E’ subito evidente che è indispensabile ragionare "a bocce ferme"; il più delle volte viene preso come riferimento la situazione che c'era nel corso della notte appena trascorsa.  Ed è una ortuna, perché la notte è anche il momento ideale per far elaborare l'intero processo di estrazione dei dati dai database.

In altri casi, questo momento è la fine del mese, o la fine di un esercizio contabile; in ogni caso il processo di estrazione, necessario all'analisi "in memory", si sposa perfettamente con il requisito di identificare con precisione in momento in cui si riferiscono i dati oggetto dell'analisi.

Un "Report on-line" non sarebbe altrettanto preciso: il vantaggio di presentare dati "freschi", verrebbe vanificato dall'ambiguità sulla loro posizione rispetto ai processi aziendali  (a domande del tipo: "Ma in questo report, quell'ordine c'è o no ?", saremmo in difficoltà a dare una risposta immediata).

In alcuni casi (per fortuna, rari), è richiesta l'analisi "real time", ed ogni modifica alla banca dati deve poter essere analizzata immediatamente.  Occorre predisporre dei trigger, attivati da specifici eventi, per aggiornare immediatamente la nuvola.  Anche in questi casi, l'aver evitato il passaggio dal "DataWarehouse", aggiornando i dati direttamente in memoria, riduce a complessità del sistema.

Il tempo, nell'analisi dei dati, è rilevante anche come misura dell'evoluzione dei processi oggetto d'analisi. Ad esempio, l'andamento del livello di giacenza nel tempo, è estremamente utile quando analizziamo le scorte di magazzino, ma si tratta di dati che difficilmente troverete nella banca dati di partenza. Nel sistema gestionale, infatti, troviamo descritte tutte le movimentazioni di magazzino, ma l'effetto sulla rimanenza va calcolato "al volo".   Anche l'andamento, nel tempo, dei parametri relativi al ciclo attivo (ordini, spedizioni, tempi di evasione, ecc.) è una informazione derivabile dai dati presenti nel sistema gestionale (righe d'ordine, con le date di inserimento, e di evasione), ma nessun sistema gestionale storicizza il livello del portafoglio ordini, nel tempo: questa è una informazione da calcolare "al volo".  Il conteggio risulterà ragionevolmente veloce, solo se il sistema di Analisi Dati è predisposto ad effettuare rapidamente un gran numero di operazioni, su un gran numero di elementi, cioè se lavora "in memory". 

Flessibilità

Abbiamo visto che il processo alla base dell'analisi "in-memory", (lo snap shot e clonatura dei dati oggetto d'analisi, ed il loro posizionamento all'interno della memoria virtuale), è coerente con le necessità di qualificazione del tempo di riferimento dei dati.  In pratica, però, presenta anche un grosso vantaggio: la flessibilità dell’analisi.

La possibilità di implementare attraverso prototipi, giungendo per approssimazioni successive alla configurazione finale del nostro strumento d'analisi,  significa maggiore precisione nel raggiungimento dell'obiettivo, che -spesso- all'inizio del progetto si intravede appena.

In conclusione, la tecnica “in-memory”, determina un minor costo di implementazione, rispetto a soluzioni "classiche", basate su DataWareHouse ed Ipercubi.  Non dimentichiamoci, però, che poi i dati devo essere gestiti con altrettanta tempestività, e questo può voler dire metter mano a qualche processo aziendale.