Dubbningshemsidan flyttar till ny server

[Skokaka]

Jag fick någon annan typ av fel igår, men såklart, ser ut som att det än en gång är inte bara jag, igen...

[Daniel Hofverberg]

Nu tror jag att jag kan ha hittat orsaken till problemet, eller åtminstone en bidragande orsak. När jag tittar igenom serverns accesslogg, så hittar jag en oerhörd mängd anrop från ClaudeBot; som verkar vara en sökrobot som Anthropic ligger bakom och som tycks vara en AI-tjänst - så ungefär som en slags konkurrent till ChatGPT, tolkar jag det som.

Företaget i sig är säkert inget skumt med, men deras sökrobot verkar oerhört aggressiv - samma rökrobot verkar ha gjort sammanlagt 380 anrop i minuten från ett hundratal olika IP-adresser; som verkar ha pågått i flera dagar. Det är inte säkert att det har orsakat alla problem, men sunt förnuft säger att servern borde belastas ganska hårt om någon försöker timme ut och timme in i flera dygn att läsa in 380 webbsidor varje minut...

Jag har nu blockerat den roboten, så får vi se om det löser problemet eller om det är något mer som också pågår. Så återigen säg till om det händer igen från och med nu, men jag hoppas att det här ska ha löst problemet - och även om det inte löst det till 100%, så bör det åtminstone hända mer sällan och/eller göra att sidorna upplevs snabbare om den inte behöver leverera 380 sidor i minuten till ClaudeBot.

(Jag uppskattar verkligen AI-tjänster, och som programmerare är exempelvis ChatGPT ovärderligt, så helst skulle jag vilja slippa blockera AI-robotar från att läsa in sidor från Dubbningshemsidan; då tjänsterna ju blir sämre ju färre sidor de har möjlighet att läsa - men någonstans går gränsen, och med så många sidanrop i minuten dygnet runt anser jag att ClaudeBot har gått långt över gränsen för vad som kan anses vara ett acceptabelt beteende för en robot...)

[Mathilda Gustafsson]

Jag tror det just hände igen 9:53.

[Daniel Hofverberg]

Jag tror det just hände igen 9:53.

Aj då, då kanske det fortfarande återstår något problem då... Serverbelastningen verkar i alla fall ha avhjälpts av att blockera ClaudeBot, då jag sedan dess inte stött på en högre CPU-kraft än 20%; vilket verkar mycket rimligare än 2000%.

Jag har kollat i felloggen, och det jag hittar från klockan 09:53 är följande:

[Mon Apr 29 09:53:23.178412 2024] [php7:warn] [pid 824753] [client XXX:41316] PHP Warning:  mysqli_connect(): (HY000/2002): No such file or directory in /var/www/html/xxx.inc.php on line 89
[Mon Apr 29 09:53:23.178455 2024] [php7:warn] [pid 824753] [client XXX:41316] PHP Warning:  mysqli_error() expects parameter 1 to be mysqli, bool given in /var/www/html/xxx.inc.php on line 80
[Mon Apr 29 09:53:23.259041 2024] [php7:warn] [pid 824550] [client XXX:45446] PHP Warning:  mysqli_connect(): (HY000/2002): No such file or directory in /var/www/html/xxx.inc.php on line 89

(XXX innebär klientens IP-adress, d.v.s. mest troligt din, som jag filtrerat bort av säkerhetsskäl)

Vet dock inte vad det betyder...

Vad gjorde du när felet uppstod? Var du på forumet, eller någon annanstans på sajten?

[Daniel Hofverberg]

Jag är fortfarande inte säker på vad varningsmeddelandena betyder, då jag tycker att "No such file or directory" verkar fullständigt ologiskt när filen faktiskt finns - men jag har gjort lite ändringar i PHP-konfigurationen, som jag hoppas eventuellt kan lösa problemet.

Så allihopa, säg till om något liknande händer igen från och med nu; och i så fall meddela exakt klockslag.

[Mathilda Gustafsson]

Vad gjorde du när felet uppstod? Var du på forumet, eller någon annanstans på sajten?

Jag försökte öpnna forumet genom ett bokmärke.

[Steffan Rudvall]

Har forumet och hemsidan legat nere? Tidigare idag försökte jag besöka dessa men fick bara felmeddelanden.

Hemsidan: 

Warning: mysqli_connect(): (HY000/2002): No such file or directory in /var/www/html/databaskoppling.inc.php on line 89

Warning: mysqli_error() expects parameter 1 to be mysqli, bool given in /var/www/html/databaskoppling.inc.php on line 80
Unable to connect to DB:

Forumet: 

Connection Problems
Sorry, SMF was unable to connect to the database. This may be caused by the server being busy. Please try again later.

[Jonas9881]

Samma för mig nu inom en kvart men nu funkar det för mig.

[Daniel Hofverberg]

Har forumet och hemsidan legat nere? Tidigare idag försökte jag besöka dessa men fick bara felmeddelanden.

Samma för mig nu inom en kvart men nu funkar det för mig.

Ja, någon gång under natten kraschade tyvärr servern då hårddiskutrymmet på servern tog slut. Det verkar som att rensningen av gamla backuper inte har fungerat, så att backuper fyllde på hårddiskutrymmet tills servern blev full...

Efter jobbet får jag försöka titta på varför det hände och se vad som går att göra så att det förhoppningsvis inte ska hända igen, men just nu har jag bara snabbrensat och startat om servern för att få igång allt igen.

Skulle det vara någon sida/del som fortfarande krånglar, så säg till; för jag har inte tid att börja testa alla sidor när jag är på jobbet.

[Jonas9881]

Ja, någon gång under natten kraschade tyvärr servern då hårddiskutrymmet på servern tog slut. Det verkar som att rensningen av gamla backuper inte har fungerat, så att backuper fyllde på hårddiskutrymmet tills servern blev full...

Efter jobbet får jag försöka titta på varför det hände och se vad som går att göra så att det förhoppningsvis inte ska hända igen, men just nu har jag bara snabbrensat och startat om servern för att få igång allt igen.

Skulle det vara någon sida/del som fortfarande krånglar, så säg till; för jag har inte tid att börja testa alla sidor när jag är på jobbet.

Jaså har du din server hemma?

Bör vara jättemycket hårddiskutrymme du har, säkert flera TB, och du tjänar alltså mer pengar via sponsor och reklam gentemot hur mycket det kostar med reparation och inköpningar av diskar, kan man inte tro då jag inte ser någon reklam.

[Zebastian]

Jaså har du din server hemma?

Det framgår tidigare i tråden att han använder sig av serverhotell.

[Jonas9881]

Det framgår tidigare i tråden att han använder sig av serverhotell.

Jaså, trodde bara inte man kunde starta om andras servrar.

[Daniel Hofverberg]

Jaså, trodde bara inte man kunde starta om andras servrar.

Jag använder så kallad VPS, en virtuell server där en fysisk server i en serverhall delas in i virtuella servrar som kan styras och startas om individuellt - så jag har full kontroll över min "del" av servern, och kan styra den som om det vore en separat server.

Serverleverantören är tyska Hetzner, och serverhallen är fysiskt placerad i Helsingfors i Finland.

[Mathilda Gustafsson]

Låg servern nere tidigare idag? Fick felmeddelanden om att det inte gick att ansluta till databasen.

[Daniel Hofverberg]

Låg servern nere tidigare idag? Fick felmeddelanden om att det inte gick att ansluta till databasen.

Ja, hårddisken på servern hade blivit helt full och därför kraschade MySQL-databasen som kräver ett visst utrymme. 

Precis som tidigare har tydligen inte rensning av backup-filer fungerat, så att den därför fyllde på tills hårddisken blev full - jag måste försöka hitta en lösning på det...

Jag gissar att det här hände vid den nattliga körningen av backup-skriptet kl. 04:00, så servern låg troligen nere från dess och tills dess att jag från jobbet loggade in och rensade på servern och startade om den vid 08:20.

Sen är jag också medveten om att hårddiskutrymmet är lite tajt (40 GB), och problemet hade kanske aldrig hänt om jag hade haft mer hårddiskutrymme att spela på. Men jag avvaktar så länge som möjligt med att utöka utrymmet, för då kommer månadshyran för servern att fördubblas - och så länge reklamintäkterna inte täcker in alla utgifter vill jag helst inte öka mina utgifter...