Πρόκειται για τις υπηρεσίες οι οποίες θα εκτελούνται με τη βοήθεια του συστατικού στοιχείου Deployment Module του επιπέδου Πραγματοποίησης. Σε αυτό το συστατικό στοιχείο, περιέχονται οι αλγόριθμοι ανάλυσης, τεχνητής νοημοσύνης, μηχανικής μάθησης και εξόρυξης δεδομένων, με τη βοήθεια σύγχρονων εργαλείων για την επίτευξη της οριζόντιας κλιμάκωσης των μεγάλων διεργασιών που θα επιθυμεί ο τελικός χρήστης να εκτελέσει για την ανάλυση των δεδομένων του. Η Runtime Engine, θα λειτουργεί μέσω της βοήθειας των στοιχείων του επιπέδου της Πραγματοποίησης, για την αυτοματοποίηση της κλιμάκωσης, αλλά και της σωστής διαχείριση της Μηχανής αυτής.

Η Μηχανή Εκτέλεσης αποτελεί ένα από τα πιο βασικά τμήματα της αρχιτεκτονικής καθώς είναι υπεύθυνη για τη διαχείριση και την εκτέλεση διεργασιών που δημιουργούνται από τους χρήστες.

Κάθε διεργασία, μετά τη δημιουργία της από τους χρήστες θα τρέχει πάνω σε μια υπηρεσία που παρέχει δυνατότητες ανάλυσης δεδομένων, η οποία βασίζεται στις μηχανές εκτέλεσης του Apache Spark και του Tensorflow. Ο λόγος που γίνεται χρήση αυτών των μηχανών  εκτέλεσης είναι γιατί είναι αρκετά μελετημένες και έχουν δοκιμαστεί εις βάθος για τις επιδόσεις τους αλλά και τις δυνατότητες παραλληλίας τους.

Οι δυνατότητες της οριζόντιας κλιμάκωσης των ροών εργασίας της Μηχανή Εκτέλεσης, θα βασίζονται στη συμφωνία της με το επεξεργαστικό σύμπλεγμα του υπολογιστικού νέφους της πλατφόρμας Diastema, με σκοπό τους πιθανούς νέους πόρους που μπορεί να απαιτεί μία εκτελούμενη εργασία εντός αυτής. Εν’ τέλει, η Μηχανή Εκτέλεσης θα έχει την ικανότητα να κλιμακώνεται όσο χρειάζεται, ανάλογα τη χρήση της.

Παράλληλα, το Diastema θα παρέχει μια μηχανή επεξεργασίας και φόρτωσης ροών δεδομένων, η οποία θα έχει τη δυνατότητα να τροφοδοτεί τη μηχανή ανάλυσης συνεχώς με νέα δεδομένα, απαραίτητα για την καλύτερη εκπαίδευση και παραμετροποίηση μοντέλων μηχανικής μάθησης.

Οι τελικοί χρήστες, καθώς επίσης και η πλατφόρμα του Diastema, πρέπει να είναι ικανοί να επιβλέπουν τον τρόπο με τον οποίο χρησιμοποιούνται οι πόροι που τους διατίθενται, αλλά και το συνολικό μέγεθος αυτών. Το σύστημα του Diastema είναι εμπλουτισμένο με τα εργαλεία OpenStack και Kubernetes με τους αντίστοιχους API Servers τους. Η Επίβλεψη Πόρων εντός του Monitoring Engine (Resource Monitoring) του Diastema, αποσκοπεί στην αξιοποίηση των παραπάνω, για την απάντηση στο ερώτημα της επίβλεψης των απαιτούμενων πόρων.

Πιο συγκεκριμένα, το Monitoring Engine θα είναι υπεύθυνο για τη διαχείριση ερωτημάτων σχετικά με τα εικονικά μηχανήματα τα οποία χρησιμοποιούνται από το υπολογιστικό νέφος του Diastema. Το Resource Monitoring θα λαμβάνει ένα ερώτημα και θα το μετατρέπει σε ένα άλλο ερώτημα που μπορεί να διαβάσει η υπηρεσία του υπολογιστικού νέφους και τελικά θα το προωθήσει σε αυτήν.

Με τη λήψη της απάντησής, απομονώνονται οι χρήσιμες πληροφορίες και προωθούνται στην εφαρμογή οπτικοποίησης (Visualization Framework), καθώς οι δύο υπηρεσίες είναι άμεσα συνδεδεμένες. Επίσης, μπορεί να γίνει διαχείρηση ερωτημάτων σχετικά με τον τρόπο κλιμάκωσης των εφαρμογών εντός του επεξεργαστικού συμπλέγματος του Diastema. Αφού ληφθεί ένα τέτοιου είδους ερώτημα από μία εφαρμογή, γίνεται παρόμοια διαχείριση με τις απαντήσεις που καλείται να δώσει αυτό το υπό στοιχείο και για τους πόρους του cloud. Μπορεί επίσης να επικοινωνήσει  με το Kubernetes API, το οποίο έχει και αυτό δυνατότητες διαχείρισης του υπολογιστικού συμπλέγματος.

Η μοντελοποίηση διεργασιών είναι η γραφική αναπαράσταση επιχειρηματικών διαδικασιών ή ροών εργασίας. Ένα μοντέλο διαδικασίας αποτελεί μια πρόβλεψη για το πώς θα είναι η διαδικασία καθώς και τα επιμέρους στοιχεία που την αποτελούν. Ο σχεδιασμός μοντέλων διεργασιών διαδραματίζει ζωτικό ρόλο στη διαχείριση επιχειρηματικών διαδικασιών. Η απόκτηση τέτοιων μοντέλων μπορεί να καταναλώσει έως και το 60% του χρόνου του έργου. Αυτός ο χρόνος μπορεί να μειωθεί χρησιμοποιώντας μεθόδους για την αυτόματη ή ημιαυτόματη παραγωγή μοντέλων διεργασίας. Για να επιτευχθεί αυτό, γίνεται η εκτέλεση του αλγόριθμου σύνθεσης βάσει των γραφημάτων δραστηριότητας, ο οποίος δημιουργεί το μοντέλο διεργασίας απευθείας από το αρχείο περιγραφής του γράφου.

Η προτεινόμενη προσέγγιση επιτρέπει στους συμμετέχοντες στη διαδικασία να λάβουν μέρος στη δημιουργία μοντελοποίησης. Επιπλέον, μπορεί να είναι μια διευκόλυνση για επιχειρηματικούς αναλυτές ή σχεδιαστές διεργασιών στην οπτικοποίηση της ροής εργασίας χωρίς την ανάγκη σχεδιασμού του μοντέλου ρητά σε έναν γραφικό περιβάλλον.

Το διάγραμμα δημιουργείται ως εναλλάξιμο αρχείο JSON, το οποίο επιτρέπει την περαιτέρω τροποποίηση και προσαρμογή του. Η συμπεριλαμβανόμενη συγκριτική ανάλυση δείχνει ότι η μέθοδος αυτή είναι ικανή να δημιουργήσει μοντέλα διεργασιών που χαρακτηρίζονται από πολυπλοκότητα υψηλής ροής και μπορεί να υποστηρίξει γραφήματα τα οποία επαρκούν για πληθώρα επιχειρηματικών περιπτώσεων.
Το Process Modeling αφορά τη γραφική απεικόνιση κατά την οποία ο χρήστης συνδέει γραφικά τους κόμβους των εργασιών, οι οποίοι απαρτίζουν την ανάλυση, ενώ παράλληλα μπορεί να τους προσθέσει βασικές πληροφορίες, όπως ποιο είναι το σύνολο δεδομένων προς ανάλυση, ή ποιο είναι το ζητούμενο (κατηγοριοποίηση, ομαδοποίηση).

Το Πολυεργαλείο Διαστασιολόγησης και Μοντελοποίησης είναι υπεύθυνο για τη σχεδίαση της ροής των δεδομένων από την διεπαφή με την οποία αλληλεπιδρά ο χρήστης, αλλά και την πρόβλεψη των απαιτούμενων πόρων της διαδικασίας που θα ακολουθήσουν. Μπορεί να χωριστεί σε τέσσερα στοιχεία τα οποία αναλαμβάνουν μια συγκεκριμένη υπηρεσία στη συνολική διαδικασία της μοντελοποίησης και πρόβλεψης. Τα στοιχεία αυτά είναι η Μοντελοποίηση Διεργασιών, η Αυτόματη Μοντελοποίηση, η Εργαλειοθήκη Δεδομένων και στο Πολυεργαλείο Διαστασιολόγησης.

Πιο αναλυτικά, η Μοντελοποίηση Διεργασιών παρέχει μια σαφή επισκόπηση των διαδικασιών που πρέπει να πραγματοποιηθούν από τις εφαρμογές των τελικών χρηστών, προσδιορίζοντας το σημείο έναρξης και τέλους αλλά και όλα τα ενδιάμεσα βήματα. Η Αυτόματη Μοντελοποίηση βοηθάει τους τελικούς χρήστες, κάνοντάς τους προτάσεις, όσον αφορά στον τρόπο με τον οποίο επιλέγουν να πραγματοποιηθούν οι διαδικασίες της εφαρμογής τους. Η Εργαλειοθήκη Δεδομένων, δεν αποσκοπεί στη μοντελοποίηση, αλλά στην παραμετροποίηση των επιμέρους διαδικασιών ανάλυσης δεδομένων. Δηλαδή, αποτελεί τους διάφορους αλγορίθμους που δίνονται σαν επιλογές στους χρήστες, που αφορούν Ανάλυση Δεδομένων, Μηχανική Μάθηση, Εξόρυξη Γνώσης κλπ. Το Πολυεργαλείο Διαστασιολόγησης είναι υπεύθυνο για την πρόβλεψη των πόρων που χρειάζεται μία εφαρμογή ενός χρήστη για την εκτέλεσή της. Η πρόβλεψη αυτή, βρίσκει τους πόρους που χρειάζονται, ώστε η εκτέλεση της εφαρμογής να γίνει όσο ταχύτερα είναι δυνατό για τις υποδομές που απαρτίζουν το Diastema. Μια ακόμα υπευθυνότητα του Πολυεργαλείου αυτού, είναι η ενορχήστρωση όλων των τρόπων εκτέλεσης κάθε διεργασίας που έχει μοντελοποίηση ο χρήστης στην Μοντελοποίηση Διεργασιών. Τέλος, το εργαλείο έχει την ικανότητα να δέχεται αξιολογήσεις από τους τελικούς χρήστες του Diastema. Στις αξιολογήσεις τους, οι χρήστες δίνουν έναν βαθμό σχετικά με την εμπειρία που έχουν με βάση την ταχύτητα της εκτέλεσης των εργασιών τους και με βάσει αυτόν τον βαθμό το εργαλείο ανανεώνει τις παραμέτρους των μελλοντικών προβλέψεων του.

Το Diastema παρέχει εργαλεία ανάλυσης και καθαρισμού δεδομένων για να εξυπηρετηθούν οι ανάγκες αυτών. Όλες οι υπηρεσίες θα περιλαμβάνονται στην αρχιτεκτονική με το δομικό στοιχείο “Δεδομένα ως Υπηρεσία” (Data as a Service). Αναλυτικότερα, αυτό το δομικό στοιχείο θα περιλαμβάνει τις παρακάτω υπηρεσίες:

• Φόρτωση δεδομένων
• Καθαρισμός δεδομένων
• Κατάλογος αλγορίθμων ανάλυσης και μηχανικής μάθησης.

Η υπηρεσία “Φόρτωσης Δεδομένων” (Data Loading) έχει ως σκοπό να εισάγει στον αποθηκευτικό χώρο / μνήμη του συστήματος το σύνολο δεδομένων που επιθυμεί να επεξεργαστεί ο χρήστης. Η διαδικασία αυτή θα περιλαμβάνει την ανάκτηση αρχείων / δεδομένων από τις πηγές που έχουν οριστεί (π.χ. μεταφόρτωση αρχείων) και θα κανονικοποιούνται σε μια μορφή που θα είναι κατάλληλη για την επεξεργασία τους από τις υπόλοιπες υπηρεσίες. Επίσης, θα υπάρχει η δυνατότητα διασύνδεσης με άλλους χώρους αποθήκευσης δεδομένων μέσω πρωτοκόλλων όπως το JDBC.

Η υπηρεσία “Καθαρισμού Δεδομένων” (Data Cleaning) έχει ως σκοπό την απλοποίηση και καθαρισμό του συνόλου των δεδομένων με σκοπό την καλύτερη εκπαίδευση των αλγορίθμων ανάλυσης και μηχανικής μάθησης, με αποτέλεσμα μεγαλύτερα ποσοστά ακρίβειας από τα μοντέλα. Ταυτόχρονα, η υπηρεσία θα φροντίζει για την επαλήθευση των δεδομένων, δηλαδή εάν οι τιμές  του συνόλου ακολουθούν κανόνες που μπορεί να έχει ορίσει ο χρήστης, ή κανόνες με βάση το προφίλ ενός σήματος το οποίο θα μπορεί να δημιουργείται από την στατιστική ανάλυση των μετρήσεων που εισάγονται στο σύστημα για μια συγκεκριμένη παράμετρο. Ο μηχανισμός για τη δημιουργία του προφίλ ενός σήματος θα είναι μέρος των δυνατοτήτων του συστήματος για τους αναλυτές. Το προφίλ ενός σήματος θα αποθηκεύεται σε μια JSON μορφή σε μια βιβλιοθήκη και θα μπορεί να ανακτάται για τον έλεγχο της ποιότητας των εισερχόμενων δεδομένων. Το προφίλ του σήματος θα περιλαμβάνει παραμέτρους όπως: ελάχιστη και μέγιστη τιμή, μέση τιμή, τυπική απόκλιση, ρυθμός μεταβολής και εύρος μετατόπισης. Οποιαδήποτε επόμενη χρονοσειρά του ίδιου σήματος θα ελέγχεται ως προς το συγκεκριμένο προφίλ και οι μετρήσεις που δεν θα συνάδουν με αυτό, θα χαρακτηρίζονται και θα αφαιρούνται από την χρονοσειρά.

Η υπηρεσία “Καταλόγου Αλγορίθμων Ανάλυσης” (Data Analytics Catalogue) έχει ως σκοπό να παρέχει στον χρήστη μια γκάμα από επιλεγμένους ισχυρούς αλγορίθμους ανάλυσης και μηχανικής μάθησης για να χρησιμοποιήσει στην ανάλυση του. Αυτοί οι αλγόριθμοι παρέχονται στο Diastema από γνωστά εργαλεία και βιβλιοθήκες ανάλυσης δεδομένων όπως το Apache MLlib και το TensorFlow. Η υπηρεσία ενισχύεται από την έξυπνη διαχείριση εργασιών και υπολογιστικής δύναμης που θα διαθέτει το Diastema με σκοπό να ελαχιστοποιείται ο χρόνος αναμονής εκπαίδευσης κάθε μοντέλου.

Όλη η πλατφόρμα του Diastema, χρησιμοποιεί ένα σύμπλεγμα υπολογιστών για την επίτευξη διαδικασιών επεξεργασίας και αποθήκευσης. Ένας χρήστης, μπορεί να αποκτήσει πρόσβαση στην πλατφόρμα αυτή, με απομακρυσμένη πρόσβαση, δίνοντάς τη δυνατότητα στον κάθε χρήστη να χρησιμοποιήσει τους πόρους του Diastema. Αυτή η χρήση της πλατφόρμας, είναι μία καλή λύση για κάθε χρήστη, καθώς η εναλλακτική επιλογή του είναι αρκετά  ακριβή, να αγοράσει δηλαδή ο/η ίδιος τους πόρους αυτούς, για αναλυτικές διαδικασίες τις οποίες θέλει να πραγματοποιήσει. Το σύμπλεγμα των υπολογιστών που απαρτίζουν το Diastema, μπορούν να χαρακτηριστεί ως το “Diastema νέφος”.

Οι υποδομές του Diastema, είναι κατασκευασμένες ώστε να μπορούν να χρησιμοποιούν τεχνικές Υποδομών ως Κώδικα (IaC), κάτι που τις κάνει πλήρως νεφοκεντρικές. Αυτό σημαίνει, πως είναι ικανές να κλιμακώσουν κάθε Υπηρεσία και Βάση Δεδομένων επάνω στο σύμπλεγμα υπολογιστών, το οποίο απαρτίζει όλες τις υποδομές του Diastema νέφους. Το εργαλείο που χρησιμοποιεί κατά κόρων το Diastema για την υλοποίηση του νέφους του είναι το OpenStack της RedHat.

Η κλιμάκωση του Diastema γίνετε σε συνεργασία με το εργαλείο Kubernetes. Tο συγκεκριμένο εργαλείο είναι υπεύθυνο τόσο για την ανίχνευση της ανάγκης κλιμάκωσης ή αποκλιμάκωσης εντός του νέφους και όσο και για την εκτέλεση αυτών. Το νέφος του Diastema περιέχει εντός του Σχεσιακές και Μη Σχεσιακές Βάσεις Δεδομένων (MySQL και MongoDB) για την ικανοποίηση κάθε τύπου δεδομένων. Όπως επίσης, χρησιμοποιεί ένα αποθηκευτικό χώρο αντικειμένων (MinIO), με σκοπό την ταχύτατη επεξεργασία των αναλύσεων κάθε τελικού χρήστη.
Επιπέον, το Diastema, διαθέτει και έναν κατάλογο ο οποίος  μπορεί να χρησιμοποιηθεί από τους χρήστες του, για να αναλύσουν δεδομένα χρησιμοποιώντας τους πόρους που βρίσκονται σε αυτόν. Για τους αλγορίθμους ανάλυσης δεδομένων και Μηχανικής Μάθησης που παρέχονται χρησιμοποιείται το πλαίσιο κώδικα με το όνομα Spark. Κάθε ένα από τα αναφερόμενα εργαλεία, λειτουργεί με την χρήση του Docker, το οποίο παρέχει την ικανότητα απομόνωσης κάθε κατασκευασμένης εφαρμογής ως μία μικρο-υπηρεσία. Οι μικρο-υπηρεσίες συμμετέχουν στην ικανότητα βέλτιστης κλιμάκωσης του Diastema μέσω του Kubernetes.

Η ιστοσελίδα του Diastema δημιουργήθηκε και περιέχει πληροφορίες για όλες τις σχετικές ερευνητικές δραστηριότητες και εξελίξεις.