Störning gällande e-postutskick (avklarad)

Vi har provkört e-postsystemet i några timmar nu och mejlen är igång igen. Tidigare under kvällen när vi provkörde e-postutskicken blev några mejl tomma utan innehåll och kunde därför fastna i skräppostfilter. Detta ska nu vara ordnat!

Vi beklagar verkligen problemen som detta har orsakat er och det har även påverkat oss internt. Inte minst att det har varit svårt att nå ut till våra kunder som har kontaktat oss i supporten.

Anledningen till att detta har tagit så lång tid att felsöka och få igång på nytt beror dels på att vi blivit blockerade av en e-postleverantör på nätet från att skicka våra mejl. Den här blockeringen har inte varit lätt att häva men vi har försökt vårt yttersta för att häva den så snabbt som möjligt.

Av detta har vi lärt oss massor av nya sätt och viktiga aspekter i samarbete samt i uppsättning och övervakning av e-postutskicken. Vi kommer inte kunna förhindra att något sådant här uppstår igen i framtiden men nu har vi minimerat risken för att det kommer kunna hända igen och vi är också mer medvetna om riskerna men även lösningarna.

Säkerheten har blivit bättre och vi kommer satsa framöver på att dela upp trafiken och prioritera delar av den så att viktiga transaktionella mejl "bara fungerar" och kommer fram till rätt mottagare.

Det ligger fortfarande kvar ett par tusen skickade mejl i backloggen och det kommer ta tid för oss att skicka ut alla dessa på nytt på ett säkert sätt utan att råka bli markerade för skäppostutskick. Så alla mejl som skickats under tiden vi haft störningen ligger alltså sparade i en s.k. backlogg.

Om ni har några frågor eller funderingar kring detta får ni gärna kontakta supporten så ska de försöka hjälpa er så gott den kan.

Störning gällande våra e-postutskick

Sedan den 5 maj har vi haft problem med att skicka ut mejl från vårt system till våra kunder och slutkunder. Det inkluderar påminnelser, tack för ditt köp av abonnemang, e-butiksordrar, kontaktformulär, autosvar och svar från vår helpdesk.

Vi har kontaktat vår e-postleverantör för att ta reda på orsaken och lösa problemet så fort som möjligt. Alla mejl som skickats sedan den 5 maj ligger sparade i en kö och de kommer skickas ut som vanligt igen när problemet är löst.

Detta har tyvärr tagit lite tid att upptäcka p.g.a vi inte har fått några fel eller varningar kring detta. Alla våra API-meddelandenhar gått fram och fått en OK tillbaks men problemet är att mejlen inte har skickats vidare utan de ligger i kö och väntar på att få skickas iväg.

Håll utkik i vår helpdesk och på driftbloggen för att se när problemet är löst.

Viktig information gällande svar från vår helpdesk/support
Alla våra svar sparas i konversationen i ditt supportärende och går att nå om du loggar in i verktyget och klickar på hjälp > support.

Vår helpdesk skickar ut ett mejl och ett sms som informerar om att vi har svarat dig i ditt ärende. Just nu går alltså endast SMS:t i väg och mejlen ligger i kö. Svaret kommer du åt via ditt ärende som inloggad på ditt konto.

Optimeringar i databasen (ej driftstörning)

P.g.a de tidigare problemen vi har haft med databasen och failovers till nytt datacenter så har vi försökt göra optimeringar och förbättringar för att minska belastningen och öka prestandan. Dels för att inte pressa databasen för hårt samt underlätta för de tekniker som gör underhåll på hårdvaran.

En del i förbättringsarbetet är att vi har gått igenom de tyngsta databasfrågorna för att skriva om dem helt eller delvis för att använda index på ett mer optimalt sätt. En annan sak vi har gjort är att se över cachningen för att minska antalet databasfrågor.

Resultatet är att vi har lyckats sänka belastningen från ca 80% CPU vid peek till 35-40% vilket är mer än en halvering. Detta ger oss många fördelar gentemot oss själva men även våra kunder då responstiden blir snabbare och det går snabbare att jobba i hemsideverktyget.

Vi kan dock inte utesluta framtida failovers men vi har jobbat hårt för att minska på nedtiden som påverkar våra kunders hemsidor och våra övriga system.

Driftstörningar databas

Vi upplever problem med vår databas i infrastrukturen och vår leverantör jobbar på att undersöka vad felet beror på. När databasen är tvungen att bli omstartad p.g.a underhållet och felsökningen sker en s.k. failover till ny databas automatiskt och då uppstår en driftstörning på några få minuter (ca 2-4min) varje gång innan applikationen kan köras normalt igen. Vi ber om ursäkt för det inträffade.

Idag har vi haft två failovers vilket motsvarar ungefär cirka 5-8 minuters nedtid och igår hade vi en vid fyratiden på eftermiddagen som resulterade i 10 minuters nedtid.

Driftstörning databas failover

Torsdagen den 21 december kl 13:23 fick vi problem med databasen och behövde göra en failover till en ny fräsch instans vilket tog ca 2-3 minuter.

Under perioden gick det inte att komma åt varken Hemsida24 eller PagePicnic.

Hemsideverktyget slutade att fungera samt att bilder inte gick att rendera

Tidigt i morse fick vi problem med hemsideverktyget och rendering av bilder. Det berodde på att en viktig modul inte kunde laddas in i webbläsaren och den modulen server-renderar Javascript som i princip hela verktyget är beroende av.

Exempel på symptom som kunde uppstå är:

• Problem med att ladda verktyget
• Det går inte att lägga till eller ta bort block
• Det går inte att redigera block
• Det går inte att öppna blockinställningar eller generella inställningar
• Det går inte att skriva blogginlägg eller nyheter
• Bilder visas inte
• Varukorgen i kassan uppdateras inte när en kund lägger varor i den

Men varför kunde inte modulen laddas in som den skulle? I våra serverloggar fick vi rapporter om att ett nytt serverfel hade uppstått som inte tillät felaktiga HTTP headers. Det skedde efter en automatisk uppdatering av säkerhetspatchar av webbserverns programvara.

Vi kunde lösa problemet snabbt genom att öka antalet aktiva servrar på nätet som kör Hemsida24 vilket startar nya servrar som saknar de senaste säkerhetspatcharna. Säkerhetspatcharna installeras först efter ett givet intervall efter start för att hinna förhindra eventuella fel som uppstår och bl.a stoppa automatiska säkerhetspatchar tillfälligt.

Efter att vi startat nya felfria servrar kunde våra tekniker felsöka kodbasen i lugn och ro för att identifiera och lösa felet. Det gick snabbt att lösa och systemet är nu uppdaterat och fungerar igen.

Vi beklagar det inträffade

Driftstörning HTTPS/SSL under skärtorsdagen

Under torsdagsmorgonen fick vi rapporter från både kunder och vår övervakning på servrarna att något inte stod rätt till gällande våra SSL anslutningar, d.v.s alla länkar som använder HTTPS. Rapporten löd att en viss procent av alla SSL anslutningar hade längre svarstid än vanligt som uppgick till ett flertal sekunder och i vissa fall även så länge att webbläsaren tappade anslutningen helt och hållet.

Problemet höll i sig under hela torsdagen fram till fyratiden då våra tekniker lyckades identifiera felet och skicka ut en uppdatering som löste problemet.

Felet berodde på att våra webbservrar inte kunde hantera den ökade mängden krypterad och skyddad trafik vilket i sin tur gjorde att köerna fylldes upp och stoppade alla nya anslutningar. Det upplevdes i slutändan som att responstiden var lång och uppstod tillfälligt när någon besökte en eller flera kundhemsidor hos oss som hade aktiverat HTTPS.

Vi hade underdimensionerat webbservrarnas köer men det ska nu vara åtgärdat.

Om en kö i webbservern var fylld så gick det inte att upprätta nya anslutningar tills den fick plats för fler och eftersom det tog olika lång tid för köerna att fyllas och ge plats åt nya anslutningar så upplevdes problemet som att det sporadiskt och tillfälligt inte gick att komma in över huvud taget.