Blog

Feb
29
2012

Απολογισμός τεχνικού προβλήματος

Posted by  symos  in  Linkwise

Αγαπητοί affiliates,

Όπως έχετε ήδη ενημερωθεί από προηγούμενα email, η Linkwise αντιμετώπισε ένα σοβαρό τεχνικό πρόβλημα με αποτέλεσμα να χαθεί η συνδεσιμότητα και να μην λειτουργούν τα affiliate links και η καταγραφή των στατιστικών για σχεδόν τρία εικοσιτετράωρα, από τις 23/2 στις 22:00 έως τις 26/2 στις 09:15.

Σε αυτό το post έχουμε συγκεντρώσει όλες τις πληροφορίες σχετικά με τη φύση του προβλήματος, τις ενέργειες που έγιναν για την επίλυσή του, καθώς και τα βήματα που θα ακολουθήσουν ώστε να προφυλάξουμε τους affiliates από ανάλογα περιστατικά στο μέλλον.

Το πρόβλημα:

Το πρόβλημα παρουσιάστηκε όταν μια βλάβη στο hardware έβγαλε εκτός λειτουργίας το storage στο datacenter της εταιρείας η οποία παρέχει την πλατφόρμα που χρησιμοποιεί η Linkwise για την καταγραφή των στατιστικών. Χωρίς να γνωρίζουμε όλες τις τεχνικές λεπτομέρειες, ενημερωθήκαμε πως επρόκειτο για πολύ σημαντική βλάβη η οποία δυστυχώς οδήγησε σε corruption των δεδομένων όχι μόνο στο primary αλλά και στο secondary storage, με αποτέλεσμα να μην υπάρχει η επιλογή να συνεχίσει να λειτουργεί το datacenter με το secondary storage. Η βλάβη αυτή επηρέασε τη συνολική λειτουργία του datacenter και έθεσε εκτός λειτουργίας το σύνολο των δικτύων που βασίζονται στη συγκεκριμένη πλατφόρμα σε παγκόσμιο επίπεδο, μεταξύ των οποίων και η Linkwise.

Οι ενέργειες που ακολούθησαν:

Από την πλευρά του παρόχου της πλατφόρμας, λόγω της σοβαρότητας της βλάβης, ζητήθηκε συνδρομή από τις εταιρείες/παρόχους του hardware (Sun Microsystems και Hitachi) οι οποίες χρειάστηκε να στείλουν επί τόπου τεχνικούς που εργάστηκαν για πάνω από δύο εικοσιτετράωρα για την αποκατάσταση της βλάβης. Όταν αποκαταστάθηκε η βλάβη, περάστηκαν εκ νέου τα δεδομένα από backup, σηκώθηκαν οι εφαρμογές σε staging περιβάλλον, έγιναν οι απαραίτητοι έλεγχοι και τελικά αποκαταστάθηκε η λειτουργία του συστήματος.

Από την πλευρά της Linkwise, εφόσον δεν μπορούσαμε να έχουμε ενεργό ρόλο στην αποκατάσταση του προβλήματος, εστιάσαμε τις ενέργειες μας στην ενημέρωση και διευκόλυνση των affiliates. Καθώς δεν είχαμε πρόσβαση στον μηχανισμό αποστολής newsletter, τοποθετήσαμε μήνυμα στο login page της υπηρεσίας με το οποίο ενημερώναμε για το πρόβλημα και παραπέμπαμε τους affiliates σε συγκεκριμένο thread σε forum όπου ανεβάζαμε όλες τις τελευταίες πληροφορίες και ενημερώσεις. Αντίστοιχα ενημερωτικά μηνύματα ανεβάσαμε στο Facebook page μας και στο twitter account μας. Καθ’όλη τη διάρκεια του προβλήματος, βρισκόμασταν σε διαρκή επικοινωνία μέσω τηλεφώνου και ηλεκτρονικού ταχυδρομείου με την πάροχο εταιρεία ακόμα και κατά τις νυχτερινές ώρες αφού λόγω της διαφοράς ώρας με τις Ηνωμένες Πολιτείες (η έδρα της παρόχου) ήταν πολύ πιθανό να σημειωθεί σημαντική πρόοδος κατά τις ώρες αυτές. Οι ενημερώσεις που λαμβάναμε ανέβαιναν άμεσα στο forum.

Προχωρήσαμε επίσης στη δημιουργία mailing list έξω από την πλατφόρμα ώστε να καταφέρουμε να στείλουμε ενημερωτικό email για το πρόβλημα που αντιμετωπίζαμε. Φυσικά στείλαμε εκ νέου email αμέσως μόλις λάβαμε επίσημη ενημέρωση ότι αποκαταστάθηκε το πρόβλημα.

Τέλος, μετά από αίτημα αρκετών affiliates, δημιουργήσαμε και στείλαμε κώδικα javascript με τον οποίο μπορούσαν να μετατρέψουν προσωρινά τα affiliate links τους σε καθαρά links ώστε να μην βλέπουν οι επισκέπτες τους “σπασπένoυς” συνδέσμους.

Οι συνέπειες:

Καθ’όλη τη διάρκεια που το σύστημα παρέμενε μη διαθέσιμο, πέραν της αδυναμίας σύνδεσης στο διαχειριστικό, δεν λειτουργούσε η καταγραφή των clicks αλλά και των leads και πωλήσεων. Πέραν αυτού, το γεγονός πως και τα δύο storage βγήκαν εκτός λειτουργίας ανάγκασε τους τεχνικούς που αποκατέστησαν το σύστημα να χρησιμοποιήσουν backup από τριτεύον σύστημα, το οποίο όμως δεν ήταν απόλυτα up to date. Ως αποτέλεσμα, τα δεδομένα που φορτώθηκαν στην πλατφόρμα δεν περιλαμβάνουν στατιστικά μετά τις 17 Φεβρουαρίου. Με βάση την τελευταία ενημέρωση που έχουμε, τα δεδομένα μεταξύ 17 και 23 Φεβρουαρίου (οπότε και παρουσιάστηκε η βλάβη) δεν έχουν χαθεί και θα μας γίνουν διαθέσιμα εντός των επόμενων 5-10 ημερών οπότε και θα τα περάσουμε στο σύστημα για να ξαναγίνουν διαθέσιμα και στους affiliates.

Τα επόμενα βήματα:

Όπως ίσως πολλοί ήδη γνωρίζετε, η Linkwise εδώ και καιρό βρίσκεται σε διαδικασία ανάπτυξης της δικής της affiliate τεχνολογίας σε συνεργασία με την Atcom. Αυτό εν μέρει συμβαίνει επειδή είχαμε από νωρίς καταλάβει τους κινδύνους που μπορεί να κρύβει η εκχώρηση σε τρίτες εταιρείες τόσο σημαντικών κομματιών της λειτουργίας του δικτύου μας. Δυστυχώς, οι φόβοι μας επιβεβαιώθηκαν πριν προλάβουμε να απεξαρτηθούμε από τον συγκεκριμένο πάροχο με αποτέλεσμα να αντιμετωπίσουμε ένα τόσο σημαντικό πρόβλημα χωρίς να έχουμε τον παραμικρό έλεγχο στις αιτίες που το προκάλεσαν αλλά και στις ενέργειες για την επίλυσή του.

Συνεχίζουμε με αυξημένους ρυθμούς την ανάπτυξη της δικής μας πλατφόρμας, τοποθετώντας σε πρώτη προτεραιότητα όλες τις απαραίτητες διαδικασίες και ασφαλιστικές δικλείδες οι οποίες θα εξασφαλίσουν ότι θα αποτρέψουμε ανάλογα περιστατικά στο μέλλον. Στο έργο αυτό εργάζονται πλέον 5 εξειδικευμένοι τεχνικοί, με αποτέλεσμα η πλατφόρμα να είναι έτοιμη να μπει στο στάδιο του beta testing μέσα στον επόμενο μήνα, με πλάνο να λανσαριστεί μέσα στο πρώτο εξάμηνο του έτους.


Πρώτο μας μέλημα ήταν και είναι η σωστή εξυπηρέτηση των affiliates που μας εμπιστεύονται και με βάση αυτό το γνώμονα σχεδιάζουμε τις επόμενες κινήσεις μας. Αναγνωρίζουμε και κατανοούμε το πλήγμα αξιοπιστίας που δημιούργησε το συγκεκριμένο συμβάν και θα δουλέψουμε με όλες μας τις δυνάμεις για να ανακτήσουμε την εμπιστοσύνη όλων.

Για μια ακόμα φορά, απολογούμαστε ειλικρινά για την όποια αναστάτωση προκλήθηκε και σας ευχαριστούμε θερμά για την υπομονή σας.

Ως μια ελάχιστη ένδειξη αναγνώρισης για τη συνεχιζόμενη υποστήριξή σας στη Linkwise, θα θέλαμε να προσφέρουμε σε όλους τους affiliates 20% αυξημένη προμήθεια για όλες τις καμπάνιες στο διάστημα από Δευτέρα 5 Μαρτίου έως Κυριακή 11 Μαρτίου.

Με εκτίμηση,

Γιώργος Συμεωνίδης
Managing Director
Linkwise

  • Tags:
comments powered by Disqus