Spot-net.nl Forums

Support Request Template

Welk spotX programma gebruik je?: SpotWeb
Wat is de versie van het spotX programma?: package MdeVries 20151109-1
Wat is je besturingssysteem?: Linux
Wat is de versie van het besturingssysteem?: 32bits
Welke Usenet Provider heb je?: Hitnews
Welke Internet Provider heb je?: KPN
Welk Anti-Virus/Firewall programma gebruik je?: Nee
Met welk programma download je?: SABnzbd
Wanneer begon je probleem?: Clean install
Geef een beschrijving van je probleem: Initi??le retrieve comments gaat tergend langzaam.

Na inmiddels 11 miljoen comments heb ik er nog 2 miljoen te gaan. Hij is nu echter zo vertraagt dat hij slechts 5001 records per minuut ophaalt. Dat zou dus nog 7 uur zijn.

Dus 2 vragen:

1) Is het mogelijk om de retrieve af te breken en later opnieuw op te starten?
Waarbij hij dan uiteraard verder zou moeten gaan bij de laatste comment, en niet weer vanaf 0 zou moeten starten.

2) Geeft het problemen als ik in de database via phpmyadmin de oudere regels weggooi?

Commentsxover is alweer 4 miljoen regels groot (1,2 GB) en heb al die oude comments echt niet nodig.
Wil echter wel een standaard retentie purge op spots zodat deze een beetje snel blijft, en dus eigenlijk een afwijkende retentie op commentsxover en commentsfull.

Vandaar de vraag of zonder problemen deze 2 tabellen deels gepurged mogen worden via SQL.
Wat heb je gedaan om het probleem te verhelpen?: Niks
Schone installatie: Ja
XML bestand.: Geen antwoord gegeven

*Edit* Inmiddels is de retrieve afgerond, dus vraag 1 is alleen voor toekomstige referentie.
Vraag 2 zou ik nog graag willen weten of iemand daar ervaring mee heeft.
Generated by Support Toolkit SRT Generator.

Antwoord :
1) Ja, comments worden per 5000 gecommit in de database, retrieve zal starten van de laatst gecommitte comment.
2) CommentsXover mag je wel de oudere uit schonen. Spots moet je aan spotweb (retentie periode) overlaten, er zijn meerdere gerelateerde tabellen.

Thanks,

Had de query gezien op de wiki om spots weg te gooien, vandaar mijn zorg dat ik misschien een andere tabel omver zou trekken.

Ga ik hem straks eens een stukje opschonen.

-- [bericht automatisch samengevoegd - 28 jan 2016, 16:13] --

Pfff, wat een goede. De combinatie Spotweb database, MariaDB, een Synolgoy NAS en 5,5 miljoen rijen is niet zo grappig.

Een simpele delete from doet over 1000 regels al 90 seconde.

Uiteindelijk maar:
- een export gedaan van de laatste 300.000 rijen
- de associatie met commentsfull verbroken (zit in foreign key waardoor truncate niet mag)
- truncate van commentsxover
- import van de 300.000 rijen
- herstel van de associatie