Ergebnis 1 bis 11 von 11

Thema: Der selbstlernende Schachcomputer ist Realität

  1. #1
    Administrator
    Punkte: 108.434, Level: 100
    Level beendet: 0%, Punkte für Levelaufstieg benötigt: 0
    Aktivität: 100,0%
    Errungenschaften:
    Three FriendsRecommendation First ClassOverdriveYour first GroupCreated Album pictures
    Auszeichnungen:
    Posting AwardFrequent PosterDiscussion EnderUser with most referrersActivity Award
    Avatar von Kiffing
    Registriert seit
    06.07.2011
    Ort
    Wuppertal
    Rating
    1722/1854
    Verein
    SC Tornado Wuppertal
    Beiträge
    4.759
    Punkte
    108.434
    Level
    100

    Der selbstlernende Schachcomputer ist Realität

    Der selbstlernende Schachcomputer ist Realität. Der Schachcomputer AlphaZero von AlphaGo hat sich in nur vier Stunden Schach selbst beigebracht und konnte mit dem neuen Mechanismus gleich das laut Artikel stärkste Schachprogramm Stockfisch 8 deutlich bezwingen. Mit einem 64:36-Sieg wurde in einem Marathonkampf keine einzige Niederlage hingenommen. Die Entwicklungsfirma war bislang, wie der Name schon andeutet, auf das asiatische Strategiespiel Go spezialisiert. Da Go eine noch größere Komplexität als Schach aufweist und die Brute-Force-Methode damit an ihre Grenzen stößt, wurde mit den Monte-Carlo-Algorithmus ein neues Verfahren angewandt; mit den randomisierten Algorithmen kam das Programm der Spielstärke der stärksten Go-Spieler der Welt schon sehr nahe. Dieses System wandte AlphaZero nun im Schach an und übertrumpfte damit sämtliche Schachcomputer mit einem Schlag, die mit etablierten Verfahren arbeiteten. Das ist umso beeindruckender, als dass die Systeme der Schachcomputer über Dekaden immer ausgereifter geworden waren. Dieser Durchbruch führt zu neuen schachlichen Erkenntnissen wie auch im Bereich der KI, wo Schach zwar nicht mehr die dominante Stellung wie früher behauptet, sondern mit Go, asiatischen Schachvarianten und Poker um die Gunst der KI-Forscher konkurriert. Das ist keine Progression, sondern eine Revolution im Bereich der Schachcomputer.

    Das Wissenschaftsmagazin stellte in diesem Zusammenhang die rhetorische Frage, ob die Ära der "spezialisierten Schachcomputer" nun vorbei sei: http://www.spektrum.de/news/kuenstli...r-welt/1524575
    Alles wartet auf das Licht
    Oh, ihr Menschen, fürchtet euch nicht

  2. #2
    Linux-Enthusiast
    Punkte: 46.718, Level: 100
    Level beendet: 0%, Punkte für Levelaufstieg benötigt: 0
    Aktivität: 99,9%
    Errungenschaften:
    Your first GroupThree FriendsCreated Album picturesTagger First ClassVeteran
    Auszeichnungen:
    Community AwardDownloadsArm of LawMaster Tagger
    Avatar von ToBeFree
    Registriert seit
    05.08.2011
    Ort
    Wuppertal, NRW
    Rating
    1413 - 29
    Verein
    SC Tornado Wuppertal 1991
    Beiträge
    1.166
    Punkte
    46.718
    Level
    100

    AW: Der selbstlernende Schachcomputer ist Realität

    Das ist schwer zu verdauen.

    https://www.chess.com/news/view/goog...100-game-match

    Chess changed forever today. And maybe the rest of the world did, too.

    A little more than a year after AlphaGo sensationally won against the top Go player, the artificial-intelligence program AlphaZero has obliterated the highest-rated chess engine.

    Stockfish, which for most top players is their go-to preparation tool, and which won the 2016 TCEC Championship and the 2017 Chess.com Computer Chess Championship, didn't stand a chance. AlphaZero won the closed-door, 100-game match with 28 wins, 72 draws, and zero losses.
    Nun gut, AlphaZero läuft auf speziellen "TPU"-Prozessoren, die von Google genau für diese Art von Rechenoperationen entwickelt wurden. Diese Geräte können eine unvorstellbare Menge von Rechnungen mit vergleichsweise sehr geringer Genauigkeit durchführen. Da Rechengenauigkeit für diesen speziellen Anwendungsfall nicht so wichtig ist, kann man an dieser Stelle sparen (8 Bit statt 64 Bit).

    https://de.wikipedia.org/wiki/Tensor...ite_Generation
    Diese TPUs besitzen eine Rechenleistung von 180 TFLOPS und werden zu einem „Pod“ mit 11,5 PFLOPS zusammengeschaltet.
    Das erreicht kein Heimcomputer mit klassischen Prozessoren auch nur annähernd.

    180 Tera-FLOPS sind 180.000 Giga-FLOPS.
    11,5 Peta-FLOPS sind 11.500.000 Giga-FLOPS.

    https://de.wikipedia.org/wiki/Floati...ons_Per_Second
    Zwei-Sockel-Server mit Intel E5-2670 (2,6 GHz, 8 Kerne)

    2,6 × 8 × 8 × 2 = 332,8 GFLOPS
    332,8 ist ein bisschen weniger als 11500000.

    Auch wenn man Grafikkarten einsetzt, erreicht man diese Zahlen nicht. Eine Nvidia Titan Xp hat 12.150 GFLOPS und kostet über 1000 Euro. Man müsste fast eine Million Euro ausgeben, um die Rechenleistung eines TPU-Pods mit solchen Grafikkarten zu erreichen.


    Das Originaldokument erwähnt leider nicht, auf welchem Computer Stockfish überhaupt ausgeführt wurde:

    https://arxiv.org/pdf/1712.01815.pdf
    AlphaZero and the previous AlphaGo Zero used a single machine with 4 TPUs. Stockfish and Elmo played at their strongest skill level using 64 threads and a hash size of 1GB.
    Das ist merkwürdig nichtssagend. 64 Threads kann ich auch auf einem einzelnen 1-MHz-Prozessor ausführen. Sind 64 getrennte CPUs gemeint? Oder vielleicht 64 Kerne? Und wie sehen die aus?
    http://musescore.com/tobefree

    Zitat Zitat von derair
    also ich hab jetztd en internet explorer 9 und der ist toll
    der ist viel übersichtliger geworden und íst viel besser als fire fox
    "Alle aussteigen, wir klauen jetzt einen A380."

  3. #3
    Kistianer
    Punkte: 6.804, Level: 57
    Level beendet: 27%, Punkte für Levelaufstieg benötigt: 146
    Aktivität: 22,0%
    Errungenschaften:
    Veteran5000 Experience Points
    Avatar von Zapp Brannigan
    Registriert seit
    15.08.2011
    Rating
    ch-elo: 2021
    Beiträge
    485
    Punkte
    6.804
    Level
    57

    AW: Der selbstlernende Schachcomputer ist Realität

    hash size von 1GHz bei 64 threads ist sehr tief. Auch 1 minute pro zug ist merkwürdig, wie wurde die ausgewählt? Etwa weil genau da stockfish verliert?

    Ich habe ein wenig das gefühl, die Stockfish-einstellungen und die partie-bedingungen wurde so "getuned", damit das resultat auch stimmt.

    Um was wirklich aussagekräftiges zu haben hätte man den mach gegen stockfish unter TCEC-bedingungen laufen lassen sollen...
    Zitat Zitat von Sam Collins
    I think people need to emphasise skills over knowledge. It's no good playing 30 moves of Dragon theory if you blunder on move 31. The fact that modern tournaments can be watched with engines creates a false impression that chess is easy, and players often forget to work on basic skills like calculation.

  4. #4
    Administrator
    Punkte: 108.434, Level: 100
    Level beendet: 0%, Punkte für Levelaufstieg benötigt: 0
    Aktivität: 100,0%
    Errungenschaften:
    Three FriendsRecommendation First ClassOverdriveYour first GroupCreated Album pictures
    Auszeichnungen:
    Posting AwardFrequent PosterDiscussion EnderUser with most referrersActivity Award
    Themenstarter
    Avatar von Kiffing
    Registriert seit
    06.07.2011
    Ort
    Wuppertal
    Rating
    1722/1854
    Verein
    SC Tornado Wuppertal
    Beiträge
    4.759
    Punkte
    108.434
    Level
    100

    AW: Der selbstlernende Schachcomputer ist Realität

    Hier sind mal ein paar Spiele von AlphaZero. Das ist schon ein bisschen Schach von einem anderen Stern, und auch unsere Analyseprogramme wären hier überfordert:

    [Event "AlphaZero - Stockfish"]
    [Site "London ENG"]
    [Date "2017.12.04"]
    [EventDate "?"]
    [Round "?"]
    [Result "1-0"]
    [White "AlphaZero (Computer)"]
    [Black "Stockfish (Computer)"]
    [ECO "E15"]
    [WhiteElo "?"]
    [BlackElo "?"]
    [PlyCount "119"]

    1. Nf3 Nf6 2. c4 b6 3. d4 e6 4. g3 Ba6 5. Qc2 c5 6. d5 exd5
    7. cxd5 Bb7 8. Bg2 Nxd5 9. O-O Nc6 10. Rd1 Be7 11. Qf5 Nf6
    12. e4 g6 13. Qf4 O-O 14. e5 Nh5 15. Qg4 Re8 16. Nc3 Qb8
    17. Nd5 Bf8 18. Bf4 Qc8 19. h3 Ne7 20. Ne3 Bc6 21. Rd6 Ng7
    22. Rf6 Qb7 23. Bh6 Nd5 24. Nxd5 Bxd5 25. Rd1 Ne6 26. Bxf8
    Rxf8 27. Qh4 Bc6 28. Qh6 Rae8 29. Rd6 Bxf3 30. Bxf3 Qa6 31. h4
    Qa5 32. Rd1 c4 33. Rd5 Qe1+ 34. Kg2 c3 35. bxc3 Qxc3 36. h5
    Re7 37. Bd1 Qe1 38. Bb3 Rd8 39. Rf3 Qe4 40. Qd2 Qg4 41. Bd1
    Qe4 42. h6 Nc7 43. Rd6 Ne6 44. Bb3 Qxe5 45. Rd5 Qh8 46. Qb4
    Nc5 47. Rxc5 bxc5 48. Qh4 Rde8 49. Rf6 Rf8 50. Qf4 a5 51. g4
    d5 52. Bxd5 Rd7 53. Bc4 a4 54. g5 a3 55. Qf3 Rc7 56. Qxa3 Qxf6
    57. gxf6 Rfc8 58. Qd3 Rf8 59. Qd6 Rfc8 60. a4 1-0

    [Event "AlphaZero - Stockfish"]
    [Site "London ENG"]
    [Date "2017.12.04"]
    [EventDate "?"]
    [Round "?"]
    [Result "0-1"]
    [White "Stockfish (Computer)"]
    [Black "AlphaZero (Computer)"]
    [ECO "C65"]
    [WhiteElo "?"]
    [BlackElo "?"]
    [PlyCount "134"]

    1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. Bxc6 dxc6 6. O-O
    Nd7 7. Nbd2 O-O 8. Qe1 f6 9. Nc4 Rf7 10. a4 Bf8 11. Kh1 Nc5
    12. a5 Ne6 13. Ncxe5 fxe5 14. Nxe5 Rf6 15. Ng4 Rf7 16. Ne5 Re7
    17. a6 c5 18. f4 Qe8 19. axb7 Bxb7 20. Qa5 Nd4 21. Qc3 Re6
    22. Be3 Rb6 23. Nc4 Rb4 24. b3 a5 25. Rxa5 Rxa5 26. Nxa5 Ba6
    27. Bxd4 Rxd4 28. Nc4 Rd8 29. g3 h6 30. Qa5 Bc8 31. Qxc7 Bh3
    32. Rg1 Rd7 33. Qe5 Qxe5 34. Nxe5 Ra7 35. Nc4 g5 36. Rc1 Bg7
    37. Ne5 Ra8 38. Nf3 Bb2 39. Rb1 Bc3 40. Ng1 Bd7 41. Ne2 Bd2
    42. Rd1 Be3 43. Kg2 Bg4 44. Re1 Bd2 45. Rf1 Ra2 46. h3 Bxe2
    47. Rf2 Bxf4 48. Rxe2 Be5 49. Rf2 Kg7 50. g4 Bd4 51. Re2 Kf6
    52. e5+ Bxe5 53. Kf3 Ra1 54. Rf2 Re1 55. Kg2+ Bf4 56. c3 Rc1
    57. d4 Rxc3 58. dxc5 Rxc5 59. b4 Rc3 60. h4 Ke5 61. hxg5 hxg5
    62. Re2+ Kf6 63. Kf2 Be5 64. Ra2 Rc4 65. Ra6+ Ke7 66. Ra5 Ke6
    67. Ra6+ Bd6 0-1

    [Event "AlphaZero - Stockfish"]
    [Site "London ENG"]
    [Date "2017.12.04"]
    [EventDate "?"]
    [Round "?"]
    [Result "1-0"]
    [White "AlphaZero (Computer)"]
    [Black "Stockfish (Computer)"]
    [ECO "C11"]
    [WhiteElo "?"]
    [BlackElo "?"]
    [PlyCount "103"]

    1. d4 e6 2. e4 d5 3. Nc3 Nf6 4. e5 Nfd7 5. f4 c5 6. Nf3 cxd4
    7. Nb5 Bb4+ 8. Bd2 Bc5 9. b4 Be7 10. Nbxd4 Nc6 11. c3 a5
    12. b5 Nxd4 13. cxd4 Nb6 14. a4 Nc4 15. Bd3 Nxd2 16. Kxd2 Bd7
    17. Ke3 b6 18. g4 h5 19. Qg1 hxg4 20. Qxg4 Bf8 21. h4 Qe7
    22. Rhc1 g6 23. Rc2 Kd8 24. Rac1 Qe8 25. Rc7 Rc8 26. Rxc8+
    Bxc8 27. Rc6 Bb7 28. Rc2 Kd7 29. Ng5 Be7 30. Bxg6 Bxg5
    31. Qxg5 fxg6 32. f5 Rg8 33. Qh6 Qf7 34. f6 Kd8 35. Kd2 Kd7
    36. Rc1 Kd8 37. Qe3 Qf8 38. Qc3 Qb4 39. Qxb4 axb4 40. Rg1 b3
    41. Kc3 Bc8 42. Kxb3 Bd7 43. Kb4 Be8 44. Ra1 Kc7 45. a5 Bd7
    46. axb6+ Kxb6 47. Ra6+ Kb7 48. Kc5 Rd8 49. Ra2 Rc8+ 50. Kd6
    Be8 51. Ke7 g5 52. hxg5 1-0
    Alles wartet auf das Licht
    Oh, ihr Menschen, fürchtet euch nicht

  5. #5
    Linux-Enthusiast
    Punkte: 46.718, Level: 100
    Level beendet: 0%, Punkte für Levelaufstieg benötigt: 0
    Aktivität: 99,9%
    Errungenschaften:
    Your first GroupThree FriendsCreated Album picturesTagger First ClassVeteran
    Auszeichnungen:
    Community AwardDownloadsArm of LawMaster Tagger
    Avatar von ToBeFree
    Registriert seit
    05.08.2011
    Ort
    Wuppertal, NRW
    Rating
    1413 - 29
    Verein
    SC Tornado Wuppertal 1991
    Beiträge
    1.166
    Punkte
    46.718
    Level
    100

    AW: Der selbstlernende Schachcomputer ist Realität

    Man muss dazu sagen, dass die Eröffnungen vorgegeben wurden. Es wurden einige verschiedene ausprobiert; man hat nicht die beiden Computer zeigen lassen, was sie ohne jedes menschliches Zutun aus der Grundstellung machen.

    Das ist aber wohl auch so üblich. Warum eigentlich? Weil sonst immer die gleiche Partie zwischen zwei Computern aufs Brett käme? Oder weil man den Computern nicht zutraut, die Eröffnungstheorie mit ihren Algorithmen selbst in einem Spiel zu erarbeiten? Gerade bei AlphaZero vs. Stockfish würde ich gerne einmal eine vollständig selbst gespielte Partie sehen. Zwei Stunden pro Zug, oder auch mehrere Tage.
    http://musescore.com/tobefree

    Zitat Zitat von derair
    also ich hab jetztd en internet explorer 9 und der ist toll
    der ist viel übersichtliger geworden und íst viel besser als fire fox
    "Alle aussteigen, wir klauen jetzt einen A380."

  6. #6
    Klarer Fixpunkt
    Punkte: 7.355, Level: 60
    Level beendet: 3%, Punkte für Levelaufstieg benötigt: 195
    Aktivität: 44,0%
    Errungenschaften:
    Veteran5000 Experience PointsOverdrive
    Avatar von Kampfkeks
    Registriert seit
    03.08.2012
    Beiträge
    503
    Punkte
    7.355
    Level
    60

    AW: Der selbstlernende Schachcomputer ist Realität

    Kritik an den Turnierbedingungen gibt es u.a. von Hikaru Nakamura, der vor allem bemängelt, dass Stockfish ohne Eröffnungsbuch gespielt hat:

    https://www.chess.com/de/news/view/g...vergleich-3971

    Ich persönlich finde die Sache faszinierend, aber auch etwas unheimlich, wenn man da an Filme wie "Terminator" denkt...

  7. #7
    Linux-Enthusiast
    Punkte: 46.718, Level: 100
    Level beendet: 0%, Punkte für Levelaufstieg benötigt: 0
    Aktivität: 99,9%
    Errungenschaften:
    Your first GroupThree FriendsCreated Album picturesTagger First ClassVeteran
    Auszeichnungen:
    Community AwardDownloadsArm of LawMaster Tagger
    Avatar von ToBeFree
    Registriert seit
    05.08.2011
    Ort
    Wuppertal, NRW
    Rating
    1413 - 29
    Verein
    SC Tornado Wuppertal 1991
    Beiträge
    1.166
    Punkte
    46.718
    Level
    100

    AW: Der selbstlernende Schachcomputer ist Realität

    Einer der Hauptentwickler von Stockfish, Tord Romstad, hat einen Kommentar bei chess.com veröffentlicht.

    https://www.chess.com/news/view/alph...ockfish-author

    Zitat Zitat von Tord Romstad
    The match results by themselves are not particularly meaningful because of the rather strange choice of time controls and Stockfish parameter settings: The games were played at a fixed time of 1 minute/move, which means that Stockfish has no use of its time management heuristics (lot of effort has been put into making Stockfish identify critical points in the game and decide when to spend some extra time on a move; at a fixed time per move, the strength will suffer significantly). The version of Stockfish used is one year old, was playing with far more search threads than has ever received any significant amount of testing, and had way too small hash tables for the number of threads. I believe the percentage of draws would have been much higher in a match with more normal conditions.

    On the other hand, there is no doubt that AlphaZero could have played better if more work had been put into the project (although the "4 hours of learning" mentioned in the paper is highly misleading when you take into account the massive hardware resources used during those 4 hours). But in any case, Stockfish vs AlphaZero is very much a comparison of apples to orangutans. One is a conventional chess program running on ordinary computers, the other uses fundamentally different techniques and is running on custom designed hardware that is not available for purchase (and would be way out of the budget of ordinary users if it were).

    From another perspective, the apples vs orangutans angle is the most exciting thing about this: We now have two extremely different (both on the hardware and the software side) man-made entities that both display super-human chess playing abilities. That's much more interesting than yet another chess program that does the same thing as existing chess programs, just a little better. Furthermore, the adaptability of the AlphaZero approach to new domains opens exciting possibilities for the future.

    For chess players using computer chess programs as a tool, this breakthrough is unlikely to have a great impact, at least in the short term, because of the lack of suitable hardware for affordable prices.

    For chess engine programmers -- and for programmers in many other interesting domains -- the emergence of machine learning techniques that require massive hardware resources in order to be effective is a little disheartening. In a few years, it is quite possible that an AlphaZero like chess program can be made to run on ordinary computers, but the hardware resources required to _create_ them will still be way beyond the budget of hobbyists or average sized companies. It is possible that an open source project with a large distributed network of computers run by volunteers could work, but the days of hundreds of unique chess engines, each with their own individual quirks and personalities, will be gone.
    Im Wikipedia-Artikel zu AlphaZero wurde der erste Absatz auf Deutsch übersetzt:

    https://de.wikipedia.org/wiki/AlphaZero

    Die Spielergebnisse an sich sind nicht besonders aussagekräftig, da die Wahl der Zeitsteuerung und der Parametereinstellungen von Stockfish ziemlich merkwürdig ist: Die Spiele wurden mit einer festen Zugdauer von einer Minute pro Zug gespielt, was bedeutet, dass Stockfish seine Heuristiken zum Zeitmanagement nicht nutzen konnte (es wurde viel Mühe darauf verwendet, Stockfish beizubringen, kritische Situationen im Spiel zu identifizieren und zu entscheiden, wie viel Zeit es für einen Zug benötigt; bei festgesetzter Dauer pro Zug leidet die Spielstärke erheblich). Die verwendete Version von Stockfish ist bereits ein Jahr alt und spielte mit weit mehr Such-Threads, als jemals signifikant getestet wurde. Die Hashtabellen waren viel zu klein für die Anzahl der Threads. Ich glaube, dass der Prozentsatz an Unentschieden in einem Spiel mit gewöhnlichen Bedingungen viel höher gewesen wäre.
    http://musescore.com/tobefree

    Zitat Zitat von derair
    also ich hab jetztd en internet explorer 9 und der ist toll
    der ist viel übersichtliger geworden und íst viel besser als fire fox
    "Alle aussteigen, wir klauen jetzt einen A380."

  8. #8
    Klarer Fixpunkt
    Punkte: 5.675, Level: 51
    Level beendet: 63%, Punkte für Levelaufstieg benötigt: 75
    Aktivität: 0%
    Errungenschaften:
    Veteran5000 Experience Points
    Avatar von Birliban
    Registriert seit
    06.02.2014
    Ort
    Erde
    Rating
    DWZ 1920
    Verein
    ja
    Beiträge
    421
    Punkte
    5.675
    Level
    51

    AW: Der selbstlernende Schachcomputer ist Realität

    Das relativiert doch ein wenig die Übermacht von Alpha Zero. Und wer sich mal die Mühe macht, die Züge von Stockfish in den gespielten Partien gg. AlphaZero auf seinem eigenen Computer zu überprüfen, wird auf manche Merkwürdigkeiten stoßen.

    Hier noch die vollständige Übersetzung des obigen Artikels:

    "
    Zitat von Tord Romstad

    Die Spielergebnisse an sich sind nicht besonders aussagekräftig, da die Wahl der Zeitsteuerung und der Parametereinstellungen von Stockfish ziemlich merkwürdig ist: Die Spiele wurden mit einer festen Zugdauer von einer Minute pro Zug gespielt, was bedeutet, dass Stockfish seine Heuristiken zum Zeitmanagement nicht nutzen konnte (es wurde viel Mühe darauf verwendet, Stockfish beizubringen, kritische Situationen im Spiel zu identifizieren und zu entscheiden, wie viel Zeit es für einen Zug benötigt; bei festgesetzter Dauer pro Zug leidet die Spielstärke erheblich). Die verwendete Version von Stockfish ist bereits ein Jahr alt und spielte mit weit mehr Such-Threads, als jemals signifikant getestet wurde. Die Hashtabellen waren viel zu klein für die Anzahl der Threads. Ich glaube, dass der Prozentsatz an Unentschieden in einem Spiel mit gewöhnlichen Bedingungen viel höher gewesen wäre.

    Auf der anderen Seite besteht kein Zweifel, dass AlphaZero besser hätte funktionieren können, wenn mehr Arbeit in das Projekt investiert worden wäre (obwohl die "4 Stunden des Lernens", die in dem Papier erwähnt werden, sehr irreführend sind, wenn man die massiven Hardware-Ressourcen berücksichtigt während dieser 4 Stunden). Aber in jedem Fall ist Stockfish vs AlphaZero ein Vergleich von Äpfeln mit Orang-Utans. Eines ist ein herkömmliches Schachprogramm, das auf gewöhnlichen Computern läuft, das andere verwendet grundlegend verschiedene Techniken und läuft auf kundenspezifischer Hardware, die nicht zum Kauf verfügbar ist (und wäre weit entfernt von dem Budget gewöhnlicher Benutzer, wenn dies der Fall wäre).

    Aus einer anderen Perspektive ist der Vergleich zwischen Äpfeln und Orang-Utans das aufregendste an dieser Sache: Wir haben jetzt zwei extrem unterschiedliche (sowohl auf der Hardware- als auch auf der Softwareseite) von Menschen gemachte Entitäten, die beide übermenschliche Schachspielfähigkeiten zeigen. Das ist viel interessanter als noch ein anderes Schachprogramm, das das gleiche wie existierende Schachprogramme tut, nur ein bisschen besser. Darüber hinaus eröffnet die Anpassungsfähigkeit des AlphaZero-Ansatzes neue Domänen und spannende Möglichkeiten für die Zukunft.

    Für Schachspieler, die Computerschachprogramme als ein Werkzeug verwenden, wird dieser Durchbruch, zumindest auf kurze Sicht, wegen des Mangels an geeigneter Hardware für erschwingliche Preise wahrscheinlich keine großen Auswirkungen haben.

    Für Programmierer von Schach-Engines - und für Programmierer in vielen anderen interessanten Bereichen - ist das Aufkommen von maschinellen Lerntechniken, die massive Hardware-Ressourcen benötigen, um effektiv zu sein, ein wenig entmutigend. In ein paar Jahren ist es durchaus möglich, dass ein AlphaZero-ähnliches Schachprogramm auf normalen Computern ausgeführt werden kann, aber die Hardware-Ressourcen, die zum Erstellen erforderlich sind, werden immer noch weit über das Budget von Hobbyisten oder durchschnittlichen Unternehmen hinausgehen. Es ist möglich, dass ein Open-Source-Projekt mit einem großen verteilten Netzwerk von Computern, die von Freiwilligen betrieben werden, funktionieren könnte, aber die Tage von Hunderten von einzigartigen Schach-Engines mit ihren individuellen Eigenheiten und Persönlichkeiten werden gezählt sein."
    „Wenn die Sonne der Kultur niedrig steht, werfen auch Zwerge lange Schatten.“ Karl Kraus

  9. #9
    Linux-Enthusiast
    Punkte: 46.718, Level: 100
    Level beendet: 0%, Punkte für Levelaufstieg benötigt: 0
    Aktivität: 99,9%
    Errungenschaften:
    Your first GroupThree FriendsCreated Album picturesTagger First ClassVeteran
    Auszeichnungen:
    Community AwardDownloadsArm of LawMaster Tagger
    Avatar von ToBeFree
    Registriert seit
    05.08.2011
    Ort
    Wuppertal, NRW
    Rating
    1413 - 29
    Verein
    SC Tornado Wuppertal 1991
    Beiträge
    1.166
    Punkte
    46.718
    Level
    100

    AW: Der selbstlernende Schachcomputer ist Realität

    Ach, daher haben die Wikipedia-Leute ihre Übersetzung.
    http://musescore.com/tobefree

    Zitat Zitat von derair
    also ich hab jetztd en internet explorer 9 und der ist toll
    der ist viel übersichtliger geworden und íst viel besser als fire fox
    "Alle aussteigen, wir klauen jetzt einen A380."

  10. #10
    Klarer Fixpunkt
    Punkte: 5.675, Level: 51
    Level beendet: 63%, Punkte für Levelaufstieg benötigt: 75
    Aktivität: 0%
    Errungenschaften:
    Veteran5000 Experience Points
    Avatar von Birliban
    Registriert seit
    06.02.2014
    Ort
    Erde
    Rating
    DWZ 1920
    Verein
    ja
    Beiträge
    421
    Punkte
    5.675
    Level
    51

    AW: Der selbstlernende Schachcomputer ist Realität

    https://de.chessbase.com/post/alpha-...ns-mit-aepfeln

    Das Für und Wider im Vergleich von AlphaZero gg. Stockfish 8 hatte Renè Schulz in seinem ChessBase-Artikel vom Dezember ja auch schon treffend dargelegt. Habe es damals aber nicht weiter verfolgt. Aber schade finde ich doch: Letztlich war AlphaZero gg. Stockfish eher ein Vergleich mit Handicap-Bedingungen. Spannender und interessanter wäre es gewesen, wenn AlphaZero und Stockfish mit beiderseits optimalen Bedingungen gespielt hätten. Das war leider nicht der Fall. Und das ergibt eben nur ein verzerrtes Endergebnis. Zapp Brannigan hatte es auch schon angesprochen.
    „Wenn die Sonne der Kultur niedrig steht, werfen auch Zwerge lange Schatten.“ Karl Kraus

  11. #11
    Klarer Fixpunkt
    Punkte: 5.675, Level: 51
    Level beendet: 63%, Punkte für Levelaufstieg benötigt: 75
    Aktivität: 0%
    Errungenschaften:
    Veteran5000 Experience Points
    Avatar von Birliban
    Registriert seit
    06.02.2014
    Ort
    Erde
    Rating
    DWZ 1920
    Verein
    ja
    Beiträge
    421
    Punkte
    5.675
    Level
    51

    AW: Der selbstlernende Schachcomputer ist Realität

    In SCHACH 2/2018 nahm Johannes Zwanzger in einem langen Artikel „Planet >Alpha Zero< oder Schach aus einer anderen Galaxie“ eine Einordnung des Matches zwischen AlphaZero und Stockfish 8 vor.

    Zwanzger ist Computerweltmeister 2015, mit dem von ihm programmierten „Jonny“. Ist also geradezu prädestiniert, sich des Themas anzunehmen. Ausführlicher wird Zwanzger auch noch mal in den „Schach-Fragen“ im selben Heft vorgestellt.

    Ich möchte hier nur das letzte Drittel des erwähnten Artikels zitieren. Es fehlen also der Anfang, sowie der Mittelteil mit ausführlich kommentierten Partien des Matches. Wer Interesse hat, kann sich das Heft noch im Handel erwerben, also die aktuelle Ausgabe von SCHACH.

    Die Matchbedingungen

    Trotz aller Begeisterung wurden auch kritische Töne betreffs der Durchführung des Matches laut. Tord Romstad, einer der Gründungsväter des Stockfish-Projektes, verwies darauf, dass nicht die aktuellste Version (*12) zum Einsatz kam und eine absolut unübliche Zeitkontrolle (exakt 60 Sekunden pro Zug, ohne Möglichkeit zur freien Einteilung) Stockfish Spielstärke gekostet habe. Ferner sei das Programm nie ausführlich mit 64 parallel rechnenden Prozessorkernen getestet worden und die Größe der Hashtabellen von 1 GB hierfür viel zu klein.

    Romstad ist nicht als schlechter Verlierer bekannt und seine Einwände sind durchaus fundiert. Allerdings kann man die genannten Faktoren auch leicht überbewerten, daher versuche ich mich mit einer Schätzung. Die größte Spielstärkesteigerung hätte vermutlich die Verwendung der neuesten Stockfish-Version bewirkt (ca. +50 Elo gegenüber Version 8). Der Einfluss der fixierten Zugzeit ist schwer zu quantifizieren, daher habe ich ein Experiment durchgeführt. Auf jeweils einem Prozessorkern gewann Stockfish 8 dabei mit zwei Minuten Startbedenkzeit und einem Inkrement von 60 sek/Zug mit 246 : 222 gegen ein auf fixe 60 sek/Zug eingestelltes Pedant (ca. +18 Elo). Der potentielle Elogewinn durch größere Hashtabellen ist selbst experimentell nur schwer auszumachen, er steigt (vermutlich) mit der Zahl der eingesetzten Prozessoren. Ein statistisch aussagefähiger Test dauert dann sehr lange, da immer weniger Partien gleichzeitig auf demselben Rechner gespielt werden können. Nach meinen bisherigen Erfahrungen und ein paar Tests halte ich es für relativ „großzügig“, eine Steigerung von +5 Elo pro Verdoppelung der Hashgröße anzusetzen. Bei sinnvoll erscheinenden 32 GB (fünf Verdoppelungen) käme man also auf +25 Elo.

    Das Argument von zu wenig Testerfahrung auf derartiger Hardware kann ich nicht gänzlich nachvollziehen: In den späteren Runden bei TCEC spielen die Engines auch auf 44 Kernen, da ist es nicht mehr weit zu den 64 bei Google.

    Ein weiterer – unter anderem von Hikaru Nakamura sowie Komodo-Mitentwickler Larry Kaufmann – geäußerter Kritikpunkt ist, dass beide Programme ohne Eröffnungsbuch angetreten sind. Stockfish sei auf die Verfügbarkeit eines solchen angelegt, während AlphaZero durch das eigenständige Lernen im Laufe der Zeit quasi selbst eine Art „Buch“ entwickelt habe. Vielleicht hätte Stockfish mit einer guten Eröffnungsbibliothek etwas besser abgeschnitten.(*13) Mir ist aber nicht klar, warum das Lernen von AlphaZero in der Trainingsphase (das höchstwahrscheinlich keine explizit nachschlagbare Bibliothek erzeugt, sondern nur ein allgemein besseres Spielverhalten in der Eröffnungsphase) etwas anderes sein soll als das in Form hunderter Patches in den Stockfishcode eingeflossene Tuning von Bewertungstermen, die sich auch (teilweise sogar explizit) auf die Eröffnungsbehandlung auswirken. Nebenbei: Bei TCEC kommen phasenweise ebenfalls nur ganz kleine Bücher zum Einsatz, was dort nach meinem Eindruck mehrheitlich akzeptiert ist. Ich sehe allenfalls ein Problem in der möglicherweise verminderten statistischen Aussagekraft des Matches aufgrund einer gewissen „Eröffnungsmonotonie“ (trotz des prinzipiellen Nichtdeterminismus wiederholt ein buchloser Stockfish noch mit hoher Wahrscheinlichkeit dieselben Varianten, und AlphaZero vermutlich auch).

    Unter dem Strich würde ich sagen, dass ein aktueller Stockfish unter günstigeren Bedingungen knapp 100 Elo stärker und damit auf Augenhöhe mit AlphaZero hätte agieren können (das Matchergebnis legt eine Spielstärkedifferenz in genau dieser Größenordnung nahe).

    Noch schwieriger wird es, wenn man die von beiden Programmen verwendete Hardware vergleichen will: Das 64-Prozessorsystem von Stockfish ist eindrucksvoll, die vier sog. Tensor Processing Units (TPUs), die AlphaZero während des Matches nutzte, sind jedoch in dieser Form wohl nicht einmal frei erhältlich. Da ich mich auf dem Gebiet selbst (noch) nicht wirklich auskenne, zitiere ich mit Remi Coulom einen Experten (und ehemaligen Computerschächer): Er schätzt, dass die Leistung einer solchen TPU ungefähr der einer „V100“ von Nvidia entspricht (Stückpreis ca. 10.000 EUR).(*14) Die Hardware von AlphaZero wäre also kein Schnäppchen, andererseits aber auch nichts, was sich Carlsen & Co. nicht leisten könnten.

    Darüber hinaus hält Coulom es für möglich, dass das fertig trainierte AlphaZero Stockfish auch auf gewöhnlicher Hardware hätte schlagen können. Vielleicht ist ein Äquivalent für den Privatanwender also näher, als wir denken?


    Aus technischer Sicht

    Was macht AlphaZero anders als die etablierten Programme? Für eine Klärung dieser Frage muss man zunächst die unterschiedlichen Arbeitsweisen betrachten.

    Stockfish & Co. suchen, ausgehend von der aktuellen Position, jeweils bis zu einer gewissen Tiefe in die einzelnen Variantenäste hinein (*15) und schätzen die am Ende entstehenden Stellungen mithilfe statischer Bewertungskriterien ab (Materialverhältnis, Königssicherheit, Freibauern, Figurenmobilität etc.). Genau eine solche Bewertung (die zur Hauptvariante) schafft es nach abwechselndem Maxi- und Minimieren über die Züge (je nachdem, wer am Zug ist) bis zur Wurzel zurück. Im Unterschied dazu verwendet der Algorithmus von AlphaZero – eine „Monte-Carlo Tree Search“ (MCTS) – gar keine Bewertung im obigen Sinne mehr. Eine Stellung wird vielmehr anhand der Resultate bei mehrfachem Ausspielen („Rollouts“) bewertet. Hierfür kommen in der Regel (im Vergleich mit einer tiefen Suche) einfach zu berechnende Heuristiken zum Einsatz. Im Extremfall wird jeweils mit reinen Zufallszügen zu Ende gespielt, was dem Algorithmus auch den Namen gab.(*16) Bei den Positionen nahe an der Ausgangsstellung wird die Suche zusätzlich durch die bis zu diesem Zeitpunkt vorliegenden Ausspielergebnisse geführt: Züge mit einem hohen Score werden im Mittel häufiger betrachtet. Diese Strategie wird als „Exploitation“ bezeichnet. Trotzdem wird auch immer wieder mal ein Zug angeschaut, der nicht so gut abgeschnitten hat, wenn er bislang nur sehr selten getestet wurde („Exploration“).

    Ein sinnvolles Verhältnis zwischen Exploitation und Exploration ist der eigentliche Clou der MCTS.(*17) Deren Durchbruch kam, als damit vor rund einem Jahrzehnt im Computer-Go erstmals bessere Ergebnisse erzielt wurden als mit der zuvor üblichen Suchtechnik. Dennoch war bis vor wenigen Jahren noch nicht daran zu denken, dass die Menschheit bald auch im Go entthront werden würde. Und selbst dann glaubten die meisten Schachprogrammierer - inklusive Ihres Autors – nicht an einen größeren Erfolg dieser Ansätze im Schach, weil es als äußerst taktisches Spiel mit klaren „Etappenzielen“ (Materialgewinn, Schaffung von Bauernschwächen usw.) dem traditionellen Suchverfahren stark entgegen kommt. So kann man sich täuschen!

    Das Ausspielen der Stellungen bis zum Ende dürfte AlphaZero vor allem in Positionen bevorteilen, die einer konkreten Analyse nur schwer zugänglich sind; solche, wo Menschen schreiben würden: „Die Praxis wird zeigen ...“ Als greifbaren Beleg für diese These sehe ich unter anderem die korrekte Einschätzung der Überlegenheit des Läuferpaares in Partie Nr. 1, den Übergang ins Endspiel mit ungleichfarbenen Läufern in Partie Nr. 2 sowie die extrem langfristigen Bauer- bzw. sogar Figurenopfer in einigen anderen Partien. Auch tiefe Zugzwänge, die Stockfish erst sehr spät erkennt, während AlphaZero damit (der Natur von MCTS gemäß) keine besonderen Probleme hat, gehen auf die unterschiedlichen Suchsysteme zurück – was vor allem am Versagen der von fast allen Engines eingesetzten „Nullzug-Heuristik“ liegt. Sie glauben, sie in Zugzwang bringende Züge durch ein nicht legales Aussetzen widerlegen zu können.

    Eine weitere Neuerung des AlphaZeroschen Ansatzes ist (zumindest für ein Programm auf diesem Niveau), dass sog. „künstliche neurale Netze“ zum Einsatz kommen. Grob umschrieben dienen diese dem Zweck, vorteilhafte Methoden der Informationsverarbeitung, die sich bei der Entwicklung der Vernetzung von Nervenzellen im Gehirn beobachten lassen, abstrakt nachzubilden (eine echte 1:1-Simulation wird nicht zwingend angestrebt). Ein Computer kann damit anhand von Trainingstests, die Paare aus Inputmustern („Aufgaben“) und gewünschten Outputs („Musterlösungen“) enthalten, lernen, auch neuartige Inputs im Sinne der absolvierten Übungsbeispiele zu beantworten. Konkret wurde bei AlphaZero ein solches Netz offenbar vor allem darauf trainiert, zu einer beliebigen Brettstellung sinnvolle Ausspielwahrscheinlichkeiten für die einzelnen Züge zu generieren. Das Beste aber ist und bleibt: Für das Training wurden nicht etwa menschliche Partien zugrunde gelegt, sondern AlphaZero lernte, als blutiger Anfänger startend, allein durch das Spiel gegen sich selbst!(*18) Das ist für mich, Diskussionen um 100 Elopunkte mehr oder weniger der eigentliche „Schocker“. Heutige Technik kann innerhalb von Stunden selbstständig das Wissen aus Jahrhunderten von Schach- und einigen Jahrzehnten Computerschachforschung aufholen! Hält man sich diesen Fakt in Ruhe vor Augen, fragt man sich, was noch alles unserer harrt …

    Ob AlphaZero aufgrund der MCTS oder der neuronalen Netze so stark spielt, vermag ich aktuell nicht zu sagen. Vermutlich ist es gerade die Kombination aus beidem. Jedenfalls sind meines Wissens alle bisherigen Versuche, die jeweils nur eines von beidem involvierten, nicht annähernd an das Level der Topengines herangekommen. Das mag aber auch an dem Trainingsaufwand liegen: Zwar spricht (die Marketingabteilung von) Google von vier Stunden,(*19) setzte in dieser Zeit aber stolze 5.000 TPU ein! Mit nur einer TPU bräuchte man also über zwei Jahre. Andererseits: Die Rechenzeit, die für die Tests im Stockfish-Framework aufgewendet wurde (aktuell über 900 CPU-Jahre), liegt auch nach der Umrechnung CPU-TPU (Faktor 50 zugunsten der TPU?) weit darüber.

    Mit Zahlen muss man also vorsichtig sein. Das gilt auch für die 80.000 Stellungen pro Sekunde, die AlphaZero laut Paper untersuchte (gegenüber den 70 Millionen von Stockfish). Solange man nicht weiß, was sich hinter „eine Stellung untersuchen“ verbirgt – eine rein statistische Bewertung oder das komplette Ausspielen einer Partie? -, sollte man keine voreiligen Schlüsse ziehen.

    Im Paper wird auch die Vermutung angestellt, dass die Spielstärke durch den Einbau einiger Techniken aus der klassischen Schachprogrammierung noch weiter gesteigert werden könnte. Das deckt sich mit meinem Eindruck, dass für DeepMind bei AlphaZero vor allem die generelle Anwendbarkeit auf verschiedene Spiele im Fokus stand (*20) und auf schachspezifische Optimierungen verzichtet wurde. Auch ein längeres Training hätte die Elokurve sicher weiter nach oben getrieben.


    Fazit und Prognose

    Was bedeutet dieser Durchbruch für die Zukunft unseres Spiels? An die Tatsache, dass die Engines in einer anderen Liga agieren, haben wir uns längst gewöhnt, und trotzdem wird weiter munter „Menschenschach“ gespielt. Daran würde auch ein für jeden erhältliches AlphaZero nichts ändern. Welche Engine mir den verpassten Figurengewinn zeigt, ist letztlich egal. Für Amateurspieler sehe ich daher abseits der Faszination keine größeren Auswirkungen.(*21)

    Profis dagegen könnte durch den Zugriff auf ein AlphaZero-Äquivalent ein temporärer Vorteil bei der Eröffnungsvorbereitung winken. Einige von der Elite spontan geäußerte Meinungen sollte man nicht überbewerten, lesenswert ist auf jeden Fall, was Peter Swidler zu sagen hatte.(*22) Dass AlphaZero auch ohne Buch das Potential zu spannenden Eröffnungsneuerungen hat, ist jedenfalls mindestens anhand des Damenindisch-Komplexes deutlich geworden.

    Wie hoch ist die Wahrscheinlichkeit, dass in absehbarer Zeit eine vergleichbare Engine auf unseren Rechnern läuft? Sehr hoch! Die Programmierer sind alarmiert, im Stockfish-Lager werden bereits die ersten MCTS-Experimente aufgesetzt. Auch die Rechenpower dieser Community für das eventuelle Trainieren eines neuralen Netzes sollte man nicht unterschätzen. Schach war für AlphaZero zudem nur eines von mehreren Spielen – nicht unwahrscheinlich also, dass sich mit spezifischen Optimierungen Ansätze finden lassen, die auch mit Standarthardware schon gut funktionieren. Da neuronale Netze jüngst auch auf anderen Gebieten (Bilderkennung, autonomes Fahren) spektakuläre Durchbrüche ermöglicht haben, rechne ich ohnehin damit, dass bald jeder eine TPU im Rechner stecken hat.

    Eine letzte Beobachtung. Zwischen den Weiß- und Schwarzergebnissen von AlphaZero gibt es eine auffallend hohe Diskrepanz: +190 Elo gegenüber Stockfish mit Weiß, nur +20 mit Schwarz, also 170 Punkte Unterschied. Normalerweise sollte die Differenz um die 60 Zähler betragen. Sehen wir hier schon eine Art Sättigungseffekt, der AlphaZeros Überlegenheit infolge der hohen Remisbreite in den Schwarzpartien abschwächt? Das könnte umgekehrt bedeuten, dass Stockfish bereits heute gut genug ist, um mit Weiß (fast) nie zu verlieren, egal gegen wen …


    *12
    Stockfish 8 wird zwar auf stockfish.org immer noch prominent zum Download angeboten, unter „Development build“ finden sich jedoch bereits verbesserte Programmversionen. (Inzwischen gibt es brandaktuell auch Stockfish 9)

    *13
    Was direkte Eröffnungsfehler angeht, ist mir allerdings nur Partie 4 ins Auge gestochen, wo Stockfish als Schwarzer in einem Franzosen mit 9...c4? Zu früh das Zentrum abriegelte.

    *14
    http://talkchess.com/forum/viewtopic...741302&t=65909

    *15
    Die Tiefe ist aber heute längst nicht mehr für alle Varianten gleich (was man als sog. „Shannon-A-Strategie“ bezeichnen würde). Vielmehr kommen ausgefeilte Heuristiken zum Einsatz, um wichtige von unwichtigen Varianten zu unterscheiden und entsprechend tiefer oder flacher zu suchen. Jedes Programm, das so agiert, folgt der „Shannon-B-Strategie“. Daher ist die Aussage, AlphaZero habe sich Letzterer „angenähert“ (mit der Kasparow zitiert wird), so nicht richtig. AlphaZero setzte sie allenfalls noch stärker um als bisher üblich.

    *16
    Laut Wikipedia wurde der Begriff „Monte-Carlo-Simulation“ (für eine auf Zufallsergebnissen basierende Simulation) durch John von Neumann in Anlehnung an den Namen einer Spielbank in Monaco geprägt.

    *17
    Ein anschauliches Problem (vgl. https://en.wikipedia.org/wiki/Multi-armed_bandit), dessen Lösung sogar Einfluss auf MCTS hatte, ist folgendes: Stellen Sie sich vor, Sie bekommen einen festen Betrag und dürfen damit an einigen Spielautomaten mit unterschiedlichen, Ihnen unbekannten Gewinnwahrscheinlichkeiten zocken, Wie gehen Sie vor? Wählen Sie einfach einen Automaten und werfen all Ihr Geld hinein (0% Exploration, 100% Exploitation)? Oder füttern Sie die Automaten gleichmäßig, womit Sie im Laufe der Zeit immer bessere Statistiken zu Ihren Gewinnwahrscheinlichkeiten bekommen, aber natürlich auch immer wieder Geld in diejenigen stecken, die in dieser Hinsicht nicht sehr attraktiv erscheinen (100% Exploitation, 0% Exploitation)? Beides ist suboptimal.

    *18
    Obwohl DeepMind-Gründer Demis Hassabis – mit 13 Jahren weltweite Nr. 2 in der U14 hinter Judith Polgar – sicher bis zu einem gewissen Punkt hätte helfen können.

    *19
    Dass diese Zeit auch benötigt wurde, kann man einer Grafik des Papers entnehmen: Nach 100.000 Partien gegen sich selbst (statt der finalen 700.000) spielte AlphaZero erst auf Großmeister- statt auf 3500er-Niveau.

    *20
    „Nebenbei“ wurde mit den gleichen Methoden auch noch das beste Shogi-Programm und mit AlphaZero sogar ein hauseigener Vorläufer im Go geschlagen, der seinerseits AlphaGo mit 100 : 0 (!) besiegt hatte.

    *21
    Nicht ausschließen würde ich jedoch, dass sich bei Verbreitung von MCTS und neuronalen Netzen in Standardprogrammen neue Analyse- und Trainingsmöglichkeiten auftun könnten. Ein einfaches Beispiel wäre, die Ergebnisse der Rollouts zu nutzen, um die Remistendenz einer Eröffnungsvariante abzuschätzen oder – durch gezieltes Verschieben der Gewichtung von Remis und Sieg – die Engine bei den Kalkulationen von vornherein nur die Gewinnchance maximieren zu lassen.

    *22
    https://www.chess.com/blog/Spektrows...uss-alpha-zero
    Ende des Auszuges aus SCHACH 2/2018
    Geändert von Birliban (07.02.2018 um 17:29 Uhr) Grund: Korrektur Tippfehler
    „Wenn die Sonne der Kultur niedrig steht, werfen auch Zwerge lange Schatten.“ Karl Kraus

Ähnliche Themen

  1. Vollautomatisierte Schachbücher - SF oder bald Realität?
    Von Kiffing im Forum Computerschach und Schachsoftware
    Antworten: 3
    Letzter Beitrag: 02.02.2017, 22:35
  2. Schachcomputer kaufen-wen?
    Von Holger74 im Forum Computerschach und Schachsoftware
    Antworten: 3
    Letzter Beitrag: 19.11.2013, 21:44
  3. Updates für Schachcomputer?
    Von cherry im Forum Computerschach und Schachsoftware
    Antworten: 2
    Letzter Beitrag: 31.08.2012, 17:49

Stichworte

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
. . . .