Uppgradering av forumprogramvaran

[Daniel Hofverberg]

Samma problem, sidan har ofta timat ut med det problemeh de senaste dagarna. Den har också varit trögladdad med jämna mellanrum.

Jag hoppas att problemet ska vara avhjälpt nu. Igår installerade jag en modul på servern vid namn fail2ban, som automatiskt ska blockera IP-adresser vid tydliga tecken på DoS-attacker eller alltför aggressiva robotar. Det verkar ha gjort susen, jag tycker att sajten känns märkbart snabbare, men jag hoppas att den inte blockerar för mycket; då den när jag lade mig i natt hade blockerat 300 IP-adresser inom loppet av 8 timmar (!)...

Dessutom har jag lagt in en global spärr så att alla IP-adresser från Ryssland och Kina blockeras - då de två länderna står för runt 70% av alla DoS- och DDoS-attacker, så borde det hjälpa en hel del mot angrepp; samtidigt som risken att oskyldiga drabbas bör vara minimal (det är nog väldigt få personer i Ryssland och Kina som kan svenska, om nu ens vanliga ryssar och kineser kommer åt Dubbningshemsidan från sina censurerade internet).

Men om du eller någon annan har märkt av något problem med att sidan blivit otillgänglig eller känts seg sedan 15-tiden igår eftermiddag, så säg till.

[Haap]

Jag hoppas att problemet ska vara avhjälpt nu. Igår installerade jag en modul på servern vid namn fail2ban, som automatiskt ska blockera IP-adresser vid tydliga tecken på DoS-attacker eller alltför aggressiva robotar. Det verkar ha gjort susen, jag tycker att sajten känns märkbart snabbare, men jag hoppas att den inte blockerar för mycket; då den när jag lade mig i natt hade blockerat 300 IP-adresser inom loppet av 8 timmar (!)...

Dessutom har jag lagt in en global spärr så att alla IP-adresser från Ryssland och Kina blockeras - då de två länderna står för runt 70% av alla DoS- och DDoS-attacker, så borde det hjälpa en hel del mot angrepp; samtidigt som risken att oskyldiga drabbas bör vara minimal (det är nog väldigt få personer i Ryssland och Kina som kan svenska, om nu ens vanliga ryssar och kineser kommer åt Dubbningshemsidan från sina censurerade internet).

Men om du eller någon annan har märkt av något problem med att sidan blivit otillgänglig eller känts seg sedan 15-tiden igår eftermiddag, så säg till.

Känner av att hemsidan fortfarande känns lite seg, tar en liten stund innan man kommer in på diverse sidor.
Man ser ju att det är en del "gäster" på startsidan för den delen också, men det har du säkerligen lagt märke till.

[Daniel Hofverberg]

Känner av att hemsidan fortfarande känns lite seg, tar en liten stund innan man kommer in på diverse sidor.
Man ser ju att det är en del "gäster" på startsidan för den delen också, men det har du säkerligen lagt märke till.

Jag tycker också att det känns lite segare idag än igår - ska kolla när jag kommer hem från jobbet om jag ser något uppenbart; om det är någon robot som belastar servern hårt, någon slags DoS-attack eller något annat...

[Bib]

Jag tycker också att det känns lite segare idag än igår - ska kolla när jag kommer hem från jobbet om jag ser något uppenbart; om det är någon robot som belastar servern hårt, någon slags DoS-attack eller något annat...

När jag öppnar forumet tar det ungefär 15 sekunder för sidan att ladda och sen kan det ta upp för 10 sekunder förräns någonting händer när man trycker på knappar när man väl är inne.

[Daniel Hofverberg]

När jag öppnar forumet tar det ungefär 15 sekunder för sidan att ladda och sen kan det ta upp för 10 sekunder förräns någonting händer när man trycker på knappar när man väl är inne.

I eftermiddags tvingades jag blockera Metas (Facebooks) robot, som var väldigt aggressiv och försökte indexera tusentals sidor varje sekund. Inte helt optimalt, då det gör att Facebook inte kommer visa miniatyrbilder eller liknande om någon postar länkar till Dubbningshemsidan, utöver att deras robot används för att träna deras AI-modell (men såvitt jag vet har de faktiskt inte släppt någon AI-tjänst än); men så illa tvunget då Facebook inte respekterade robots.txt och inte heller brydde sig om Crawl-delay-direktiv.

Efter det känns sajten och forumet mycket snabbare för mig, men möjligtvis kan det vara ytterligare någon alltför intensiv robot som är i farten - säg gärna till ungefär när ni upplever sajten som långsam, så kan jag se i loggen om något särskilt händer ungefär då.

Mycket märkligt varför alla robotar just nu verkar ha tappat alla hämningar, och börjat indexera sajten alltför intensivt och aggressivt - t.o.m. Googles vanliga sökmotorrobot har blivit lite för aggressiv på sistone. Den enda som har skött sig exemplariskt den senaste veckan är faktiskt ChatGPT, som har besökt ungefär fem sidor i timmen; ungefär en tusendel av alla andra robotar...

[Anders M Olsson]

I eftermiddags tvingades jag blockera Metas (Facebooks) robot, som var väldigt aggressiv och försökte indexera tusentals sidor varje sekund. Inte helt optimalt, då det gör att Facebook inte kommer visa miniatyrbilder eller liknande om någon postar länkar till Dubbningshemsidan, utöver att deras robot används för att träna deras AI-modell (men såvitt jag vet har de faktiskt inte släppt någon AI-tjänst än); men så illa tvunget då Facebook inte respekterade robots.txt och inte heller brydde sig om Crawl-delay-direktiv.

Efter det känns sajten och forumet mycket snabbare för mig, men möjligtvis kan det vara ytterligare någon alltför intensiv robot som är i farten - säg gärna till ungefär när ni upplever sajten som långsam, så kan jag se i loggen om något särskilt händer ungefär då.

Mycket märkligt varför alla robotar just nu verkar ha tappat alla hämningar, och börjat indexera sajten alltför intensivt och aggressivt - t.o.m. Googles vanliga sökmotorrobot har blivit lite för aggressiv på sistone. Den enda som har skött sig exemplariskt den senaste veckan är faktiskt ChatGPT, som har besökt ungefär fem sidor i timmen; ungefär en tusendel av alla andra robotar...

Just nu tycker jag att forumet känns snabbt och bra, men tidigare idag har det tidvis varit trögt, med svarstider på 15-30 sekunder.

[Daniel Hofverberg]

Just nu tycker jag att forumet känns snabbt och bra, men tidigare idag har det tidvis varit trögt, med svarstider på 15-30 sekunder.

Jag har också upplevt att forumet bitvis känns trög, men har inte hittat någon tydlig orsak varför - men min bästa gissning är att det rör sig om alltför aggressiva robotar (från antingen sökmotorer, AI-tjänster eller t.o.m. spambottar), som bitvis indexerar sajten för hårt. Rör det sig om seriösa aktörer kan man kontrollera det med Crawl-delay-direktivet i robots.txt, eller helt neka indexering via robots.txt, men rör det sig om robotar som inte respekterar robots.txt blir det ju svårare...

Hittar jag inga specifika robotar jag kan blockera (som man kan leva utan, och som identifierar sig på ett sådant sätt att de är möjliga att blockera), så är nog nästa steg att byta till att köra PHP via PHP-FPM på servern, istället för mod_php som är en gammal standard från decennier sedan. Det sägs att PHP-FPM ska förbättra prestandan, och framförallt vid hög belastning. Det kräver dock en del förändringar i konfigurationen på servern, plus att jag måste kolla upp i förväg om det finns kompatibilitetsproblem med funktioner, tillägg eller bibliotek som jag använder. Det kan med andra ord inte ske omedelbart, utan jag måste göra vissa förberedelser för att minimera risken att hela sajten kraschar (i och med att nästan hela Dubbningshemsidan är beroende av PHP för att fungera).

[Anders M Olsson]

Just nu tycker jag att forumet känns snabbt och bra, men tidigare idag har det tidvis varit trögt, med svarstider på 15-30 sekunder.

Jag har också upplevt att forumet bitvis känns trög, men har inte hittat någon tydlig orsak varför - men min bästa gissning är att det rör sig om alltför aggressiva robotar (från antingen sökmotorer, AI-tjänster eller t.o.m. spambottar), som bitvis indexerar sajten för hårt. Rör det sig om seriösa aktörer kan man kontrollera det med Crawl-delay-direktivet i robots.txt, eller helt neka indexering via robots.txt, men rör det sig om robotar som inte respekterar robots.txt blir det ju svårare...

En stund strax efter det att jag skrev inlägget ovan blev sajten trög igen, med svarstider på en halv minut, och sen helt otillgänglig med ett felmeddelande efter en väntetid på c:a en minut.