check_mysql_health

Posted on July 6th, 2009 by admin

Beschreibung

check_mysql_health ist ein Plugin, mit dem unterschiedliche Parameter einer MySQL-Datenbank überprüft werden können.

Kommandozeilenparameter

• –hostname <hostname>
  Der Datenbankserver, der überwacht werden soll. Im Falle von "localhost" kann dieser Parameter weggelassen werden.
• –username <username>
  Der Datenbankuser.
• –password <password>
  Dessen Passwort.
• –mode <modus>
  Mit dem mode-Parameter teilt man dem Plugin mit, was es tun soll. Siehe Liste der möglichen Werte weiter unten.
• –name <objektname>
  Hier kann die Prüfung auf ein einziges Objekt begrenzt werden. (Momentan wird dieser Parameter nur für mode=sql verwendet)
• –name2 <string>
  Verwendet man –mode=sql, dann erscheint das SQL-Statement in der Ausgabe und den Performancedaten. Mit dem Parameter name2 kann man dafür einen eigenen String vergeben.
• –warning <range>
  Ermittelte Werte außerhalb dieses Bereichs lösen ein WARNING aus.
• –critical <range>
  Ermittelte Werte außerhalb dieses Bereichs lösen ein CRITICAL aus.
• –environment <variable>=<wert>
  Damit kann man dem Script Environmentvariablen mitgeben. Mehrfachnennungen sind möglich.
• –method <connectmethode>
  Mit diesem Parameter teilt man dem Plugin mit, wie es sich zur Datenbank verbinden soll. (dbi für Verbindung per DBD::mysql (default), mysql für Verbindung per mysql-Aufruf).
• –units <%|KB|MB|GB>
  Die Angabe von Einheiten dient der "Verschönerung" von Ausgaben des mode=sql

Um dem Plugin mitzuteilen, welche Werte es ermitteln und prüfen soll, benutzt man die Option –mode mit verschiedenen Schlüsselwörtern.

Bei den Performancedaten tauchen je nach Modus zwei Labels auf.

<label>= und <label_now>=

Die ermittelten Werte beziehen sich dann auf die gesamte Laufzeit der Datenbank und auf die Zeit seit dem letzen Lauf von check_mysl_health.

Beispiel: qcache_hitrate=71.63%;90:;80: qcache_hitrate_now=8.25%

Die Hitrate des Query-Cache errechnet sich so aus Qcache_hits / ( Qcache_hits + Com_select ). Diese Werte werden kontinuierlich erhöht. Eine gravierende Änderung im Zugriffsverhalten wirkt sich nur langsam auf diese Hitrate aus. Damit man auch kurzfristige Schwankungen der Hitrate erkennen und z.b. einem Applikationsupdate zuordnen kann, wird zusätzlich der Wert qcache_hitrate_now ausgegeben. Dieser errechnet sich aus den Deltas von Qcache_hits und Com_select (aktueller Wert der Variablen minus Wert beim letzten Lauf von check_mysql_health).

Hier kommt der Kommandozeilenparameter –lookback ins Spiel.

• fehlt dieser, so errechnet sich qcache_hitrate_now aus den Deltas von Qcache_hits und Com_select seit dem letzten Aufruf von check_mysql_health. Maßgeblich für Exitcode des Plugins ist der langfristige Messwert qcache_hitrate (seit DB-Start). 
• wird –lookback mit einem Argument n angegeben, so wird qcache_hitrate_now aus den Deltas von Qcache_hits und Com_select in den vergangenen n Sekunden errechnet.
  Beispielsweise erhält man mit –lookback 3600 die mittlere Hitrate der vergangenen Stunde, zurückgerechnet vom aktuellen Pluginaufruf. Auch der Exitcode des Plugins richtet sich jetzt nach dem kurzfristigen Messwert.

Die Verwendung von –lookback wird empfohlen, jedoch sollte man mindestens eine halbe Stunde (–lookback 1800) angeben, da der now-Wert einer starken Schwankung unterliegen kann und damit häufige Alarme auslösen würde.

Es ist zu beachten, daß Schwellwerte entsprechend den Nagios Developer Guidelines anzugeben sind.

"10" bedeutet demzufolge "Alarm, wenn > 10" und

"90:" bedeutet "Alarm, wenn < 90"

Verbindung zur Datenbank

Anlegen eines Datenbankbenutzers

Damit sich das Plugin die benötigten Informationen aus der Datenbank holen kann, muss ein Benutzer angelegt werden, der über folgende Berechtigungen verfügt:

GRANT usage ON *.* TO 'nagios'@'nagiosserver' IDENTIFIED BY 'nagiospassword'

Connectionstring

Zur Anmeldung an der Datenbank benutzt man die Parameter –username und –password. Die zu kontaktierende Datenbank kann noch weiter spezifiziert werden durch Verwendung von –hostname und –socket oder –port.

Verwendung von Environmentvariablen

Man kann die Parameter –hostname, –username und –password sowie –socket und –port ganz weglassen, wenn man die entsprechenden Daten in Environmentvariablen bereitstellt. Seit der Version 3.x kann man Servicedefinitionen in Nagios um eigene Attribute (custom object variables) erweitern. Diese tauchen dann bei der Ausführung des Checkcommands im Environment auf.

Die Environmentvariablen heissen:

• NAGIOS__SERVICEMYSQL_HOST (_mysql_host in der Servicedefinition)
• NAGIOS__SERVICEMYSQL_USER (_mysql_user in der Servicedefinition)
• NAGIOS__SERVICEMYSQL_PASS (_mysql_pass in der Servicedefinition)
• NAGIOS__SERVICEMYSQL_PORT (_mysql_port in der Servicedefinition)
• NAGIOS__SERVICEMYSQL_SOCK (_mysql_sock in der Servicedefinition)

Beispiele

nagios$ check_mysql_health --hostname mydb3 --username nagios --password nagios \ 
--mode connection-time 
OK - 0.03 seconds to connect as nagios | connection_time=0.0337s;1;5
 
nagios$ check_oracle_health --mode=connection-time 
OK - 0.17 seconds to connect  | connection_time=0.1740;1;5
 
nagios$ check_mysql_health --mode querycache-hitrate 
CRITICAL - query cache hitrate 70.97% | qcache_hitrate=70.97%;90:;80: qcache_hitrate_now=72.25% selects_per_sec=270.00
 
nagios$ check_mysql_health --mode querycache-hitrate \ 
--warning 80: --critical 70: 
WARNING - query cache hitrate 70.82% | qcache_hitrate=70.82%;80:;70: qcache_hitrate_now=62.82% selects_per_sec=420.17
 
nagios$ check_mysql_health --mode sql \ 
--name 'select 111 from dual' 
CRITICAL - select 111 from dual: 111 | 'select 111 from dual'=111;1;5
 
nagios$ echo 'select 111 from dual' | \ 
check_mysql_health --mode encode 
select%20111%20from%20dual
 
nagios$ check_mysql_health --mode sql \ 
--name select%20111%20from%20dual 
CRITICAL - select 111 from dual: 111 | 'select 111 from dual'=111;1;5
 
nagios$ check_mysql_health --mode sql \ 
--name select%20111%20from%20dual --name2 myval 
CRITICAL - myval: 111 | 'myval'=111;1;5
 
nagios$ check_mysql_health --mode sql \ 
--name select%20111%20from%20dual --name2 myval --units GB 
CRITICAL - myval: 111GB | 'myval'=111GB;1;5
 
nagios$ check_mysql_health --mode sql \ 
--name select%20111%20from%20dual --name2 myval --units GB \ 
--warning 100 --critical 110 
CRITICAL - myval: 111GB | 'myval'=111GB;100;110

Installation

Dieses Plugin setzt die Installation eines MySQL-Client-Pakets voraus. Die Installation der Perl-Module DBI und DBD::mysql ist wünschenswert, aber nicht zwingend.

Nach dem Auspacken des Archivs wird ./configure aufgerufen. Mit ./configure –help können Optionen angezeigt werden, die für den Bau des Plugins einige Defaulteinstellungen liefern.

• –prefix=BASEDIRECTORY

  Geben Sie hier das Verzeichnis an, in dem check_mysql_health liegen soll. (default: /usr/local/nagios)

• –with-nagios-user=SOMEUSER

  Dieser User wird der Eigentümer der Datei check_mysql_health sein. (default: nagios)

• –with-nagios-group=SOMEGROUP

  Die Gruppe des check_mysql_health Plugins. (default: nagios)

• –with-perl=PATHTOPERL

  Geben sie hier den Pfad zum Perl-Interpreter an, den sie benutzen möchten. (default: perl im PATH)

Download

check_mysql_health-2.1.2.tar.gz

check_mysql_health-2.1.2.shar.gz

Manche tar-Versionen haben Probleme wegen der langen Dateinamen. In diesem Fall entpacken sie bitte das shar-Paket mit

cat check_mysql_health-xxx.shar.gz | gzip -d | sh

Changelog

• 2010-06-10 2.1.2 Changed some statements for better 4.x compatibility. (Thanks Florian)
• 2010-03-30 2.1.1 More tracing (touch /tmp/check_mysql_health.trace to watch), fixed a bug in master-slave modes, so it outputs a more meaningful error message (Thanks Will Oberman), fixed a typo (Thanks Larsen)
• 2009-10-02 2.1 New parameter –lookback
• 2009-09-20 2.0.5 Bugfix in master-slave modes. (Danke Thomas Mueller). Bugfix in bufferpool-wait-free. (Danke Matthias Flacke). Bugfix im PNP template. (Danke Matthias Flacke). Mode slave-lag bemerkt failed io threads. (Danke Greg)
• 2009-04-02 2.0.4 Bugfix bei mode cluster-ndb-running, Bugfix im Master/Slave-Code. (Danke Arkadiusz Miskiewicz)
• 2009-03-18 2.0.3 Bugfix wg. warning=0, Bugfix in long-running-procs (betr. MySQL < 5.1) (Danke Bodo Schulz)
• 2009-03-11 2.0.1 Störende Uninitialized-Meldungen beseitigt (Danke John Alberts & Thomas Borger). Passwortloses login an localhost ist jetzt möglich.
• 2009-03-06 2.0 erste öffentliche Version

Copyright

Gerhard Laußer

Check_mysql_health wird unter der GNU General Public License zur Verfügung gestellt. GPL

Autor

Gerhard Laußer (gerhard.lausser@consol.de) beantwortet gerne Fragen zu diesem Plugin.

Übersetzung

Tausend Dank an Christian Lauf, der die englische Übersetzung dieser Seite erstellt hat.

43 Responses to “check_mysql_health”

1. Jozef Fulop Says:
   November 12th, 2009 at 18:35

   To check replication related parameters (slave-lag, slave-io-running, etc.) you need also these privileges: grant super,replication client on . to nagios@foo

   [Reply]

   

   lausser Reply:
   November 12th, 2009 at 18:53

   Yes, that’s true. Thank you for pointing this out. And another common pitfall…you need to run check_mysql_health against the slave when checking replication.

   [Reply]

2. Larsen Says:
   December 3rd, 2009 at 14:02

   Hi,

   checking MySQL 4 servers doesn´t work with check_mysql_health: “CRITICAL – cannot connect to information_schema”. It used to work with check_mysql_perf 1.3.

   Is there a workaround?

   [Reply]

   

   lausser Reply:
   December 3rd, 2009 at 15:41

   Please try it with this testscript:

   use DBI;</p>
    
   <h1>please change these settings if necessary</h1>
    
   <p>$self->{hostname} = 'mydb3';
   $self->{username} = 'nagios';
   $self->{password} = 'nagios';
   $self->{port} = 3306;
   $self->{database} = 'information_schema';
   #
   $self->{dsn} = "DBI:mysql:";
   $self->{dsn} .= sprintf "database=%s", $self->{database};
   $self->{dsn} .= sprintf ";host=%s", $self->{hostname};
   $self->{dsn} .= sprintf ";port=%s", $self->{port};
   eval {
     if ($self->{handle} = DBI->connect(
         $self->{dsn},
         $self->{username},
         $self->{password},
         { RaiseError => 1, AutoCommit => 0, PrintError => 1 })) {
       printf "connected&#92;n";
       $self->{handle}->disconnect();
     } else {
       printf "%s&#92;n", DBI::errstr();
     }
   };
   if ($@) {
     printf "%s&#92;n%s&#92;n", $@, DBI::errstr();
   }

   [Reply]

   

   Jens Rantil Reply:
   January 26th, 2010 at 16:54

   @lausser,

   I am experiencing the same issue as Larsen. However, your script above works perfectly. Any hint?

   Jens

   [Reply]

   

   Jens Rantil Reply:
   January 26th, 2010 at 18:01

   It seems the error might be related to the fact that I am connecting with a user that has no password. Is anyone able to recreate this?

   [Reply]

   

   Jens Rantil Reply:
   January 26th, 2010 at 18:48

   Finally, I was able to fix it by applying a small patch: http://pastebin.com/m4067bf7e

   The script required a password. This should not be a requirement (unless the user has a password, of course).

   [Reply]

3. Andreas Says:
   December 16th, 2009 at 12:03

   Hallo. Erstmal: tolles plugin!!!

   Ich habe eine Frage zu: tmp-disk-tables.

   Es wird bei mir dieser Wert angezeigt: “WARNING – 32.07% of 1059 tables were created on disk”

   Aufruf mit: –method mysql –mode tmp-disk-tables

   Die DB sagt mir aber (show status) das hier: | Created_tmp_disk_tables 0 | Created_tmp_files 5 | Created_tmp_tables 1

   Wie kann hier dieser Wert dann zusammenkommen?

   Viele Grüße und Danke!

   Andreas

   [Reply]

   

   lausser Reply:
   December 16th, 2009 at 12:48

   Mit SHOW STATUS bekommst du nur die Werte deiner aktuellen Session. Das Plugin ruft aber SHOW GLOBAL STATUS auf. Damit bekommt man die Summe aller Sessions und dann sieht’s gleich ganz anders aus. Gerhard

   [Reply]

   

   Andreas Reply:
   December 16th, 2009 at 13:02

   @lausser, Hallo Gerhard. Besten Dank für die Antwort. Dann werde ich gleich mal die GLOBALE Sicht nehmen … :-)

   Schön, dass Du deiner Arbeit zur Verfügung stellst.

   Danke.

   Andreas.

   [Reply]

4. Mandy Says:
   December 24th, 2009 at 13:37

   Hey,

   Thanks for such a cool plugin.

   One thing that I couldn’t find here was to check for queries_per_second.

   Is it something that’s easily available through –mode ?

   Please let me know.

   -Mandy.

   [Reply]

   

   lausser Reply:
   December 27th, 2009 at 18:27

   queries (selects) per second are part of –mode querycache-hitrate

   [Reply]

5. Will Oberman Says:
   January 15th, 2010 at 16:32

   The “slave-lag” test was failing with the following error:

   Can’t locate object method “errstr” via package “DBD::MySQL::Server::Connection::Dbi” at /usr/local/nagios/libexec/check_mysql_health line 368.

   I’m 90% sure the bug is trying to use $self->{handle}->errstr() verses DBI::errstr(). I changed line 368 to:

   $self->add_nagios_critical(sprintf “unable to get replication info%s”, DBI::errstr());

   And now I get a meaningful error:

   you need the SUPER,REPLICATION CLIENT privilege for this operation

   Which lines up with the first comment above (though, it’s easier to figure that out with a good error message) ;-)

   [Reply]

   

   lausser Reply:
   January 15th, 2010 at 19:00

   Good catch! errstr is an attribute, not a method here. Can you please try $self->{handle}->{errstr} instead of DBI::errstr()?

   [Reply]

6. John McLear Says:
   January 19th, 2010 at 0:20

   Great plugin, using it on a few boxes :) good work!

   [Reply]

7. John McLear Says:
   January 19th, 2010 at 19:11

   ./check_mysql_health –hostname myhostname –username myuser –password mypass –warning=10 –critical=20 –mode slave-lag Can’t locate object method “errstr” via package “DBD::MySQL::Server::Connection::Dbi” at ./check_mysql_health line 368.

   Any idea on this? This check was working fine, it appears that maybe its returning NULL because there is no slave-lag?

   Plugin is working, see below:

   ./check_mysql_health –hostname myhostname –username myuser –password mypass –warning=10 –critical=20 –mode qcache-hitrate OK – query cache hitrate 9.45% | qcache_hitrate=9.45%;10;20 qcache_hitrate_now=9.45% selects_per_sec=0.00

   [Reply]

8. John McLear Says:
   January 19th, 2010 at 19:12

   oh I just read above, heh. weird how google didn’t pick up this page when i googled the error :/

   [Reply]

   

   lausser Reply:
   January 22nd, 2010 at 1:54

   i’ll release a buxfix-version soon. :-)

   [Reply]

9. Mark Reynolds Says:
   January 28th, 2010 at 12:35

   Hi,

   Thanks for a great plug in! I am monitoring thread cache hit rate and I would have thought having a high hit rate is a good thing, however the warning and critical values appear to be treated as a greater than threshold rather than a less than e.g.

   ./check_mysql_health –hostname server –username nagios –password “#BK79o6&” –mode threadcache-hitrate –warning 60 –critical 40

   Gives

   CRITICAL – thread cache hitrate 95.52% | thread_cache_hitrate=95.52%;60;40 thread_cache_hitrate_now=100.00% connections_per_sec=0.03

   I would have thought that should return OK not CRITICAL.

   Is there anyway to invert this?

   [Reply]

10. Mark Reynolds Says:
    January 28th, 2010 at 13:32

    Sorry to reply to my own post – I have just found the documentation that states adding a : to my value means it will do a less than rather than greater than.

    [Reply]

11. Tarak Ranjan Says:
    February 12th, 2010 at 8:49

    Hi ,

    I have used check_mysql_health in my nagios server. When i am running the checks from the command line , it works fine.

    but when it’s displaying the output on Nagios frontend , that time i’m getting the below error….

    ” **ePN failed to compile /usr/local/nagios/libexec/check_mysql_health: “Missing right curly or square bracket at (eval 23) line 3116, at end of line “

    Please help

    [Reply]

    

    Christian Reply:
    July 23rd, 2010 at 12:25

    @Tarak Ranjan, Hi Tarak, its a bit late to answer this but maybe it’ll help someone other.

    Your error message seems to indicate ePN has a Problem executing the plugin. Try to disable ePN in the nagios.cfg (Change: enable_embedded_perl=1 to enable_embedded_perl=0), restart Nagios an try again.

    [Reply]

12. Felipe Ferreira Says:
    March 15th, 2010 at 16:29

    Great Plugin! Thanks for the good work. Is there a simple way to check a table or a DB size? Also when deadlocks are a happening?

    thanks

    [Reply]

    

    lausser Reply:
    March 18th, 2010 at 23:23

    I’ll put deadlocks on my list. It’s surely not be done with a few lines of code, so it may take a while. The db/tablesize is something you should be able to implement yourself, if you can manage to get the size with a single sql statement (–mode sql). You can also look into the contrib subdirectory to see how more complicated statements can be used to add functionality.

    [Reply]

13. Larsen Says:
    March 30th, 2010 at 16:06

    Hi, the errstr problem also exists in other lines and there is a small typo in line 366 “…io thead is not…”

    [Reply]

    

    lausser Reply:
    March 30th, 2010 at 17:07

    Thanks, i forgot to publish the fixed version. You can now download 2.1.1 with the corrected errstr and typo.

    [Reply]

14. Pat Bastien Says:
    April 26th, 2010 at 18:20

    I am having the same issue with the Nagios embedded perl ePN compiler running the check_mysql_health plugin that Tarak Ranjan is having. [ **ePN failed to compile /usr/lib/nagios/plugins/check_mysql_health: Missing right curly or square bracket at (eval 12) line 3190, at end of line] I have to run the plugin using the external perl to get it to work. I’d like to use several of the measures in your great plugin but can’t if I have to load perl every measure/server. I tried determining why ePN is complaining by running the plugin with perl -c and using strict mode (which you already use) as recommended by Nagios group, but it doesn’t return any complaints. Note that I am running Nagios 2.7 — could that be the issue? Thanks.

    [Reply]

    

    lausser Reply:
    April 26th, 2010 at 19:35

    Hi, i don’t think check_mysql_health is running with ePN at all.

    [Reply]

15. kim Says:
    May 23rd, 2010 at 11:16

    thks a lot

    [Reply]

16. seteqsystems Says:
    June 3rd, 2010 at 13:32

    Hi,

    On line 864 you should replace SHOW VARIABLES WHERE Variable_name = ‘version’; with SHOW VARIABLES LIKE ‘version’;

    Because MySQL4 does not support WHERE with SHOW VARIABLES :)

    best regards Florian

    [Reply]

    

    lausser Reply:
    June 8th, 2010 at 11:47

    Ah, thx. Can you please confirm, that this patch also works correctly on MySQL 5.x?

    [Reply]

17. wangjun Says:
    June 6th, 2010 at 12:43

    Could you offer the explanation of English version for your plugin. All in German.

    Thank you

    [Reply]

    

    lausser Reply:
    June 8th, 2010 at 11:43

    Sorry, i didn’t have the time yet. In the meantime you might try google translate. The output is not too bad imho.

    [Reply]

18. Ed Says:
    June 18th, 2010 at 15:12

    Great plugin. One of the best I’ve seen for Nagios so far.

    [Reply]

19. Dennis Says:
    June 22nd, 2010 at 10:15

    Hi,

    a wrote a mysql-performance plugin in the past and queries/second has been a really useful indicator. It think, even if it is a part of the query-cachehit output, the data itself has its value.

    Far more important is the observation, that in mode “index-usage” as well as “querycache-hitrate” the critical value is assumed to be bigger, than the warning value, which may not be correct, in these to modes.

    I would appreciate any help.

    [Reply]

    

    lausser Reply:
    June 22nd, 2010 at 10:43

    Hi, did you notice the “:”? (according to the plugin developer guidelines where ‘:number’ is ‘less than number’) Default:

    nagios$ check_mysql_health --mode querycache-hitrate 
    CRITICAL - query cache hitrate 70.97% | qcache_hitrate=70.97%;90:;80:

    90: = less than 90, 80: = less than 80. So when you specify your own thresholds, you must use the ‘:’ too.

    nagios$ check_mysql_health --mode querycache-hitrate \ 
    --warning 80: --critical 70: 
    WARNING - query cache hitrate 70.82% | qcache_hitrate=70.82%;80:;70:

    [Reply]

    

    Dennis Reply:
    June 22nd, 2010 at 11:30

    Oh Sorry, actually i didnt. Sorry about that and thanks for your quick help.

    [Reply]

20. Tobias Says:
    July 5th, 2010 at 16:29

    Hallo!

    Ich muss mich anschließen: das Plugin ist super, tolle Arbeit, danke fürs freigeben!

    In den Zeilen 1244, 1937 und 2512 der Version 2.1.2 wird die open-Funktion verwendet ohne zu prüfen, ob diese erfolgreich war. Man bekommt als Fehlermeldung, falls was mit dem Schreiben nicht hinhaute ein “Could not write to closed filehandle” anstelle eines möglichen “Could not write to file xyz”. Meiner Meinung nach sollten Operationen auf dem dem Dateisystem, o.ä. immer kontrolliert werden. Das ist Geschmackssache, kein Fehler, klar.

    Viele Grüße nach München Tobias

    [Reply]

    

    lausser Reply:
    July 8th, 2010 at 13:03

    Ja, das könnte man verbessern. Üblicherweise krachts aber nur, wenn mal wieder so ein Spezialist das Plugin als root aufgerufen hat (pfui, pfui und nochmals pfui) und die erzeugte temporäre Datei somit root gehört. Wenn nachher der Nagios-Prozess die Plugin-Ausführung übernimmt, kann die Datei nicht mehr überschrieben werden und die fehlgeschlagene open-Funktion reisst den ganzen Prozess runter. Zur Strafe sollte es eigentlich den ganzen Rechner zerlegen :-) Das Blöde ist, daß es von der Programmierung her nicht leicht ist, einen Fehler im open “nach Oben” durchzureichen. Ich mag es gar nicht, mitten im Programm mit einem die oder exit rauszugehen, aber hier wird wohl nichts anderes übrig bleiben. Ich bin grad im Urlaub und schau es mir nächste Woche an.

    [Reply]

21. edvard.pohl Says:
    July 8th, 2010 at 11:26

    For all with mysql 4.x . I also had a problem with geting it work with 4.x mysql and it’s because this proggi use ” information_schema” as default db which don’t exists in 4.x mysql. There is a –database option which you could use.

    [Reply]

    

    lausser Reply:
    July 8th, 2010 at 13:14

    I don’t have a 4.x db at hand. Is there an equivalent to information_schema in 4.x?

    [Reply]

22. uvdevnull Says:
    July 15th, 2010 at 0:53

    Hi lausser, The english page (http://labs.consol.de/lang/en/nagios/check_mysql_health/) doesn’t actually show in english, still german. And for some reason, google is also unable to translate it. Any clues?

    [Reply]

    

    Christian Reply:
    July 22nd, 2010 at 9:42

    @uvdevnull, by now it should be translated :)

    [Reply]

Leave a Reply