onsdag 10 maj 2017

Hemsideverktyget slutade att fungera samt att bilder inte gick att rendera

Tidigt i morse fick vi problem med hemsideverktyget och rendering av bilder. Det berodde på att en viktig modul inte kunde laddas in i webbläsaren och den modulen server-renderar Javascript som i princip hela verktyget är beroende av.

Exempel på symptom som kunde uppstå är:

  • Problem med att ladda verktyget
  • Det går inte att lägga till eller ta bort block
  • Det går inte att redigera block
  • Det går inte att öppna blockinställningar eller generella inställningar
  • Det går inte att skriva blogginlägg eller nyheter
  • Bilder visas inte
  • Varukorgen i kassan uppdateras inte när en kund lägger varor i den
Men varför kunde inte modulen laddas in som den skulle? I våra serverloggar fick vi rapporter om att ett nytt serverfel hade uppstått som inte tillät felaktiga HTTP headers. Det skedde efter en automatisk uppdatering av säkerhetspatchar av webbserverns programvara.

Vi kunde lösa problemet snabbt genom att öka antalet aktiva servrar på nätet som kör Hemsida24 vilket startar nya servrar som saknar de senaste säkerhetspatcharna. Säkerhetspatcharna installeras först efter ett givet intervall efter start för att hinna förhindra eventuella fel som uppstår och bl.a stoppa automatiska säkerhetspatchar tillfälligt.

Efter att vi startat nya felfria servrar kunde våra tekniker felsöka kodbasen i lugn och ro för att identifiera och lösa felet. Det gick snabbt att lösa och systemet är nu uppdaterat och fungerar igen.

Vi beklagar det inträffade

tisdag 18 april 2017

Driftstörning HTTPS/SSL under skärtorsdagen

Under torsdagsmorgonen fick vi rapporter från både kunder och vår övervakning på servrarna att något inte stod rätt till gällande våra SSL anslutningar, d.v.s alla länkar som använder HTTPS. Rapporten löd att en viss procent av alla SSL anslutningar hade längre svarstid än vanligt som uppgick till ett flertal sekunder och i vissa fall även så länge att webbläsaren tappade anslutningen helt och hållet.

Problemet höll i sig under hela torsdagen fram till fyratiden då våra tekniker lyckades identifiera felet och skicka ut en uppdatering som löste problemet.

Felet berodde på att våra webbservrar inte kunde hantera den ökade mängden krypterad och skyddad trafik vilket i sin tur gjorde att köerna fylldes upp och stoppade alla nya anslutningar. Det upplevdes i slutändan som att responstiden var lång och uppstod tillfälligt när någon besökte en eller flera kundhemsidor hos oss som hade aktiverat HTTPS.

Vi hade underdimensionerat webbservrarnas köer men det ska nu vara åtgärdat.

Om en kö i webbservern var fylld så gick det inte att upprätta nya anslutningar tills den fick plats för fler och eftersom det tog olika lång tid för köerna att fyllas och ge plats åt nya anslutningar så upplevdes problemet som att det sporadiskt och tillfälligt inte gick att komma in över huvud taget.

onsdag 22 mars 2017

Driftstörningar 21 och 22 mars

21 mars
Tidigt på morgonen den 21 mars inträffade en driftstörning i vår infrastruktur p.g.a en server hade fått automatiska uppdateringar där en av uppdateringarna gjorde att namnuppslag via DNS slutade fungera ibland.

Det medförde fler problem som gjorde att namnuppslagen bl.a mot våra cachningsnoder, AWS S3 och Payson slutade fungera. På AWS S3 ligger bl.a alla bilder som våra kunder laddar upp till hemsidorna vilket i sin tur medförde problem med filuppladdning och att bilder ibland inte visades rätt på hemsidorna.

I samband med detta ökade belastningen på vår databas då cachningsnoderna inte gick att nå och systemet började peeka på 100% CPU.

Driftstörningen varade cirka 1 timma och när våra tekniker hade isolerat och åtgärdat felet så återgick systemen till normal drift igen.

22 mars
Efter våra förbättringar och åtgärder för att klara upp gårdagens driftstörning så stängde vi av automatiska uppdateringar och valde att istället installera varje paket manuellt.

Allt fungerade normalt i vår testmiljö men när vi lanserade ändringarna publikt för alla kunder visade det sig att gårdagens problem kvarstod men uppstod inte lika ofta p.g.a vissa förbättringar vi hade gjort.

Vid 8.30 i morse var allt åter tillbaka i normal drift.

torsdag 20 oktober 2016

Problem med att komma åt alla funktioner i verktyget

På förmiddagen i dag hade vi problem med att ett serverfel förhindrade hemsideverktyget att laddas in korrekt för både kunder och vår egna helpdesk . Det såg ut som att verktyget hade laddats in korrekt men problemet var att det inte gick att klicka på några av knapparna och panelerna.

Serverfelet orsakade ett javascriptfel vilket i sin tur påverkade resten av verktyget som gjorde att vissa komponenter inte kunde köras.

Problemet varade till och från under en timma innan våra tekniker kunde lösa det och vi har nu kopplat på automatiska larm som ska upptäcka om ett liknande fel är på väg att inträffa igen.

torsdag 10 december 2015

Problem med produktkategorier i e-butiken

Under gårdagen vid 13 tiden uppstod ett problem i e-butiken för en liten andel av våra e-butiker som påverkade produktkategorier och produktkoppling. Det gjorde att produktkategorier  som redigerats försvann och tappade kopplingen till produkterna.

Felet uppstod efter en ny uppdatering av applikationen.

Efter en grundlig felsökning kunde vi lösa nästan alla problem som uppstått redan inom 30 minuter. Vid två tiden var det mesta löst men det fanns ett svårupptäckt fel kvar till 18 tiden då våra tekniker fann felet och kunde åtgärda det.

Vi jobbade med att återställa de förlorade produktkategorierna och produkterna från en säkerhetskopia igår så när sista felet var löst vid 18 tiden kunde vi fixa i ordning de sista felaktiga posterna i databasen och testa de publicerade e-butikerna.

Om du som läser detta fortfarande har problem med att några produktkategorier saknas i din e-butik behöver du ta kontakt med vår support så hjälper vi dig så snabbt vi kan.

fredag 22 maj 2015

Löst: Problem med e-postutskick

Mandrills support rekommenderade oss att ställa in dedikerade IP-adresser för att säkerställa att våra e-postutskick inte skickas från samma IP-adresser som andra företag anslutna till Mandrill också kan använda. Då kan Mandrills delade IP-adresser användas som backup.

IP-adressen har värmts upp under gårdagen och är nu redo att användas.

Vi börjar redan se bättre resultat och nu börjar e-postutskicken skickas iväg utan problem. Vi kommer hålla koll på leveransen i några dagar framöver för att vara helt säkra på att allt fungerar som det ska.

onsdag 20 maj 2015

Problem med e-postutskick

Vi har upptäckt att det uppstår problem med vissa e-postutskick för bl.a formulärsvar och orderbekräftelser från e-butiken. Mest problem har vi med e-post som skickas till Loopia som gör att e-posten inte kommer fram.

Vår e-postleverantör Mandrill som sköter utskicken har meddelat oss att status för utskicken är "Levererans OK" men att Loopias servrar svarar med en kod som Mandrill inte känner igen.

Mycket troligen tror Loopias system att det är skräppost utan att undersöka innehållet i mejlen utan endast undersöka avsändarens IP-adress och väljer då att blockera mejlen. När vi kontaktade Mandrills support kunde de se informationen som Loopias system har svarat och kunde då konstatera att mejlen blivit blockerad p.g.a skräppostidentifiering.

En av Mandrills IP-adresser som används för att skicka e-post hade blivit skräppostmarkerad och de jobbade på att försöka ta bort den blockeringen.

Vi har bett Mandrills support om tips på hur vi kan lösa detta snabbast möjligt.