2

Da qualche settimana è online openSoldiPubblici un sito, anzi uno strumento, con cui vorrei dare un mio contributo alla "questione trasparenza": www.opensoldipubblici.it/

Si tratta di un insieme di pagine che permettono al cittadino di osservare come fluiscono i soldi attraverso gli enti pubblici. Si possono visualizzare le spese e gli incassi della pubblicaAmministrazione. Oltre alla visualizzazioni tabellare e numerica dei dati ho aggiunto (e aggiungerò) strumenti visuali quali grafici a barre, mappe interattive, heatmap e così via. Altro strumento secondo me molto importante è la sezione confronti www.opensoldipubblici.it/confronti/index.. dedicata appunto alla generazione di confronti per spese ed incassi.

Il progetto mescola gli opendata dei pagamenti della PA di Siope, con i dataset di Istat sulla popolazione e con quelli delle posizioni geografiche degli enti.

Buona navigazione e se ci sono commenti e critiche fatemi sapere.

Se si desidera fare un "group by" usando la prima parte di una stringa, se questa stringa presenta un carattere divisore ricorrente come per esempio un " - " oppure una un ";" o simile, mysql mette a disposizione la funzione substring_index: dev.mysql.com/doc/refman/8.0/en/string-f..

Un esempio di query è:

SELECT substring_index(stringaDaUsare, '-' ,1) as string_val, count(*) as conteggioRighe, stringaDaUsare

FROM tabellaNome

WHERE campo= 'valore'

GROUP BY string_val

Scorrendo il github del prof. Fabio Fumarola (demistifying AI - github.com/fabiofumarola/demystifying-ai) ho trovato un link ad un "livebook" che mi è parso estremamente interessante e chiaro. Gratuitamente gratis sono disponibili i primi 3 capitoli che introducono molto bene il/la deepLearning con python.

Il livebook è acquistabile e consultabile da questo link: www.manning.com/books/deep-learning-with.. (autore Francois Chollet, edizioni Manning Pubblications)

Ci sono anche molti altri link oltremodo interessanti. Buona lettura

Ecco il primo post di questa bacheca. Benvenuto visitatore.

Dopo mesi di programmazione apro al pubblico questo spazio. Nasce da un bisogno ben preciso: mi piacerebbe trovare (e quindi creare) uno spazio in cui leggere di argomenti interessanti per il, "cittadino digitale". Un cittadino interessato a partecipare ai temi della vita pubblica, attento a sfruttare le tecnologie digitali, che desidera informazioni oggettive sul <b>"bene</b> comune".

La bacheca è una via di mezzo tra twitter (con un limite di caratteri maggiore) e facebook (ma qui non saranno ammessi post offtopic o con gattini). Come ogni altro strumento web partecipativo il vero carattere sarà   orientato e mano a mano definito dagli utenti.

Per classificare al meglio un post è sufficiente inserire un cancelletto prima di una parola, per esempio: istruzioni e postDiServizio. E' possibile aggiungere delle immagini ai post. Il titolo dei post è facoltativo ma consiglio di metterlo sempre, lo rende molto più interessante.

Buona navigazione

La codifica dei file (encoding) dei file di testo e dei .csv spesso crea problemi. Ad esempio con pandas di python se ci sono caratteri "strani" e non si fornisce il giusto encoding mentre il crea il dataframe dal csv appaiono errori del tipo:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb0 in position 26: invalid start byte

Per scoprire quale codifica ha il file che stai usando puoi con linux usare il comando "file -i *". Apri il terminale nella posizione in cui si trovano i file e poi digita:

file -i *

il terminale vi mostrerà   la lista dei file. Per i file .csv vi verrà   mostrato l'encoding (i più comuni sono utf-8 e iso-8859-1).

Condivido con voi questo "vademecum visuale" di preziosi consigli su come visualizzare & mostrare le informazioni (dataviz) mediante grafici e diagrammi (non so se le due parole sono perfetti sinomini oppure se hanno diversi significati): www.geckoboard.com/learn/data-literacy/d..

In allegato al post la infografica che riassume i "tips & tricks".

In ordine sparso e casuale ecco alcuni punti che ho colto leggendo la pagina:

1) rimani semplice, fai della semplicità   il "main focus": spesso ci si fa prendere la mano e si fanno grafici belli da vedere ma difficili da capire. No, falli semplici da capire e dopo belli da vedere.

2) le tabelle permettono agli utenti di fare confronti: rendi la vita facile al tuo utente, allinea i numeri a destra facendoli partire tutti dallo stesso ordine di grandezza (per esempio fa che il primi numero sia l'unità  , i devimali ponili a destra)

3) mettere due dataset diversi nello stesso grafico consente di "raccontare molto bene le informazioni": ricordati di usare due scale diverse e di porre gli assi uno a destra ed uno a sinistra;

4) se non necessario: non usareil 3D, piace solo agli sviluppatori... ma rende difficile la comprensione per l'utente;

5) mantieni semplice il grafico: già   detto ma vale la pena ripeterlo. Non cadere nella trappola dei troppi colori, troppe label, troppi bordi. Stai semplice e il tuo utente ringrazierà  ;

6) usa i colori per comunicare informazione e non per decorare inutilmente: stai semplice :-)

7) less is more: devi comunicare un concetto, non partecipi ad un concorso di belle arti;

8) per confronti usa lunghezze al posto di volumi ed aree;

9) se possibile evita i grafici a torta;

10) per i grafici a linee mostra, se poissibile, tutta la scala delle ordinate;

11) i grafici a barre sono ottimi per i confronti ma falli partire da zero;

Consigli semplici che tuttavia sono quasi mai presi in considerazioni dal dataScientist... è facile farsi prendere la mano dall'estetica.

Condivido questo comodo e sintetico cheatsheet che mostra le basi python ed r per gli algoritmi base del Machine Learning. Spero l'immagine si veda bene, altrimenti il pdf originale si può scaricare da qui: www.analyticsvidhya.com/wp-content/uploa..

Gli algoritmi machineLearning trattati sono:

Supervised Learning: Decision Tree, Random Forest, kNN , Logistic Regression

Unsupervised Learning: Apriori algorithm, k-means, Hierarchical Clustering

Reinforcement Learning: Markov Decision Process, Q Learning

Per la parte python sono moduli sklearn (sci-kit learn)

Soprattutto per il tessuto economico italiano fatto di tantissime micro e piccole imprese avere "un intero" data scientist in azienda è sia oneroso economicamente parlando che, non voglio usare la parola inutile o sprecato, ma "di troppo". Per una piccola azienda spesso è sufficiente il lavoro di qualche mese o semestre per attivare una razionalizzazione dei processi di analisi dei dati sufficienti a impattare sul modello di business.

Ecco che un "Data-Scientist as a Service" sarebbe molto comodo! Un professionista che ha competenze SIA di analisi e gestione dei dati SIA che una buona propensione a comprendere in modo veloce e sveglio il business potrebbe proporsi appunto come "servizio". Ci sono molte sovrapposizione con i tradizionali servizi di consulenza manageriale e di business, questo DSaaS sarebbe più orientato al servizio di data-analytics (in prima battuta) e di instaurare nell'azienda semplici processi "digital oriented".

Soprattutto nel campo dell'analisi dei dati generati dal settore IoT questa necessità   sta emergendo con vigore: www.ioti.com/analytics/iot-data-analytic..

in questo campo (IoT) che non tocca direttamente le scelte manageriali e di business il dataScientist as a Service potrebbe trovare terreno molto fertile.

Non so come funzionano gli algoritmi di Amazon Kindle, fatto sta sono riuscito ad avere un bellissimo volume dedicato al machine learning a prezzo 0€ ovvero gratuitamente.

Si tratta di un libro di "John Slavio, Machine Learning for beginners - An introduction to Artificial Intelligence and Machine Learning", lo trovate qui: www.amazon.com/Machine-Learning-Beginner..

Con un linguaggio semplice e diretto John dapprima fornisce una introduzione a cosa è il machineLearning, poi racconta quali sono le applicazioni dimostrandone il loro impatto sull'economia e sulla società  . Infine descrive i classici algoritmi dell'artificialIntelligence: supervisionati, non-supervisionati e così via.

Se lo trovi gratuitamente come è capitato per me prendilo subito altrimenti al momento è prezzato 4.93$. Per me è stata una buona lettura estiva :-) anche se non sono sicuri siano libri da spiaggia...

Seguo Siraj da molto tempo, fin dai primi video quelli in cui parlava di python e di artificial intelligence con umorismo ironia e spesso anche "music-video". Siraj ora ce l'ha fatta ed è diventato un "influencer" del settore data science.

Recentemente ha pubblicato un video in cui dà   un programma per ambire a diventare dataScientist in 3 mesi. Il video è molto interessante ma ancora più precisi e concreti sono i link ai corsi inseriti sotto al video.

Quando avete 10 minuti di tempo e vi interessa il mondo delmachineLearning date un'occhiata a: www.youtube.com/watch?v=Cr6VqTRO1v0 (Learn Machine Learning in 3 Months)