*BUM* *PENG*
Heute hat’s wieder geknallt. Diesmal aber nicht in London, sondern im Netz:
Tja… Offenbar kam MySQL mit meiner Suchmaschine an seine Grenzen. Mit mir haben die MySQL-Entwickler wohl nicht gerechnet. Wer wird denn auch schon 420MB nach 6Mio Keywords in 100’000 Datensätzen durchsuchen wollen…
Doch es gab vorher schon Explosionen: Als ich den Crawler zum 1. Mal im Coop Intranet rattern liess, generierte dies durch falsche Seitenaufrufe über 3’000 Fehlermeldungen, die dann in der Mailbox des entsprechenden Teams landeten, was denen sogar einen Eintrag im Wochenbericht Wert war!
Wie immer: Longneck exceeding Limits… Vielleicht sollte ich das nächste Mal ein bisschen, ein bisschen vorsichtiger sein. Oder Pausen hinzufügen, damit der Crawler weniger Aggressiv nach neuen Sites sucht. Es ist ja zum Glück nichts passiert.
Was mir persönlich aber an der ganzen Sache super gefällt, ist die Reaktion des Providers: Vorbildlich haben sie nur soviel deaktiviert, wie nötig war. Nach der Crawlersperrung konnte ich immer noch weiterarbeiten, als ob nichts gewesen wäre. Auch der Rest der Site funkionierte tadellos – super! Ein grosses Lob an euch, liebe Hoststars! Ich kenne andere Provider, die bei solchen Unfällen gleich den ganzen Account sperren. Aber ihr behandelt auch „böse“ Kunden auf eine wirklich angenehme Art. Euch kann man wärmstens weiterempfehlen –> www.hoststar.ch
Capt. Crakkstuh
du bisch doch eifach sone jääse alte
respeeeeeged
Longneck
;->>
GPH
/* Ich bin Kuckuck und darf mir den Account von admin@synack für diesen Comment ausleihen 🙂 */
Also wir, als hoster, hätten Dir eine saftige Rechnung geschrieben.
Zudem bestätigt dies meinen lieblings Satz:
„PHP is ready for Enterprise, but the most php programmers arn’t even ready for small business“
Aber Du rumspielen ist immer lustig. Such Dir doch ein par Referenzmodelle für Suchmaschienen und lies über mögliche Konzepte oder versuche wenigstens die Komponenten irgendwo abzugucken. Ein guter Programmierer weiss wann es sinnvoll ist bestehende und funktionierende Lösungen zu verwenden. Und auch wenn Dus unbedingt selber hacken willst, kannst Du viel lernen wenn Du guten/sauberen/erfahrenen Code betrachtest…
Longneck
saftige rechnung: tja, das beweist halt wieder, dass hoststar ihre kunden behalten will, und nicht umgekehrt…
php & enterprise: will ich das? nööö…. das heisst ich habe auch scho excel tabellen mit php etwas besser dargestellt.
php is just for fun!
sicher ist rumspielen lustich 😉
naja, ich möchte eigentlich mein eigenes ding schreiben. ich wollte wissen, wie eine suchmaschine funktioniert, und das geht am besten, wenn man selber eine programmiert 😉
ich schaue, ob es irgend ein feature gibt (in diesem fall PageRank), und versuche es möglichst einfach nachzubauen. macht jedenfalls spass, und funkioniert auch im gewissen sinn… natürlich nicht so perfekt wie bei google 😉
allerdings: wenn man ständig ideen von irgendo abguckt, bremst das innovationen…
„guter/sauberer“ code ist – soviel ich weiss – meistens objektorientiert. und das ist zu hoch für mich, viel zu kompliziert! und: fremden code liest sich viel schwerer als eigenen.
allerdings kommt der kalender „von extern“; im grundprinzip jedenfalls…
ich will kein guter programmierer sein (schliesslich bin ich systemtechniker!), aber gutes schaffen. und wenn es funkioniert, ist es ok – egal was für ein chaos dahinter steckt. klar würde ich heute einige dinge anders als früher machen, aber das ist halt der lernprozess – man kann nie alles von anfang an perfekt machen!
Longneck
Nur noch zur Info, wenn du etwas mehr über meinen crawler erfahren möchtest (falls nicht schon gesehen): [Link]
GPH
fördert denn selbstebastelter code die innovation? mit 95% cpu-last? hmmm…. es geht dabei ja nicht ums abschreiben, sondern um das aneignen von gewissen denkstrukturen.
–> [Link]
Longneck
aber sicher doch! und naja, wenn es halt 95% last gibt – das sind unix-systeme, die sollen ruhig ein bisschen gefordert werden!
ich liebe es, maschinen zuzuschauen, wie sie sich an meinem code einen abkrampfen ;-PPP
tja, das mit den denkstrukturen hat vor- und nachteile. ich persönlich bin nicht so fan vom gleich-denken. jemand, der sich an die regeln hält, die ihm ein system vorgibt, sagt schnell einmal „das ist nicht möglich“.
wenn man nicht völlig übergeschnappt ist, ist eigentlich alles möglich…
ich schwimme lieber mal gegen den strom, damit ich gewisse dinge anders als andere machen kann. dafür knallt’s dann halt auch mal ab und zu – macht das leben aber abwechslungsreich ;-P
GPH
ich kann deine haltung sehr gut verstehen 🙂 ich habe auch eine zeitlang gedacht, dass ich so schneller ans ziel komme. irgendwann habe ich jedoch festgestellt, dass man unmöglich alle wege im kopf durchdenken kann und somit ca 90% aller programmiertechnischen lösungen den bach ab gehen. mit der zeit übt man sich darin, den code anderer zu lesen und als denkanstoss zu verwenden. wenn jeder seine eigenen brötchen backt, endet dies meistens darin, dass eine gute idee mangels angemessener lösungsmöglichkeiten scheitert. das ist sehr schade.
dass du gegen den strom schwimmst, ist auf jeden fall besser, als dass du mit dem strom schwimmst, aber was du dann vorallem spürst, ist der widerstand. hast du dir schonmal überlegt, was geschieht wenn du zwar mit dem strom schimmst, jedoch viel schneller? in dieser situation wirst du es viel leichter haben zu entscheiden ob du die eigene lösung bevorzugst oder nicht.
ps. wegen der cpu-last. was ich noch viel spannender finde ist, wenn ich zusehen kann, wie ich mit meinen scripts meine eigenen systeme in die knie zwinge. Da lasse ich die finger gerne von produktiven systemen auf denen die auswirkungen meiner versuche auch andere betreffen.
Longneck
ok das ist ein gutes argument! ich hätte da vorsichtiger sein sollen mit dem produktiven system. aber: der provider hat eben den dicken schlauch, der für das crawling benötigt wird 😉
jetzt bau ich timer und sleeps ein, so dass man das experiment doch noch „in action“ sehen kann.
schade ja, dass man code nicht 100% selber durchdenken kann. aber ist ja im grunde genommen das opensource-prinzip: jemand erstellt eine routine, und die anderen dürfen sie verwenden/modifizieren/erweitern, was wiederum andere weiterbringt etc.
Wi!!iam Wa!!ace
@topic
es isch nur e frog vo de zyt gsi bi dir longneck 😉
ich errinere dich nur an „mailbo….“
Longneck
genau, mailbomber, sags nur!
jo, das isch mis erste php-projekt gsi; mail() durch e for-schleife 😉
UrBaN 4102
hehe
danke claude schon lange nicht mehr so gelacht