Common Crawl: Freier Crawler als Basis für freie Suchmaschinen?

Ich habe oft genug darauf herumgeritten: Ich halte das Suchmonopol von Google für sehr gefährlich.

Und diese “theoretische Gefahr” scheint sich in immer mehr Aktivitäten zu manifestieren, die Google außerhalb des Suchmarktes unternimmt und mit seiner Suche verschmilzt.

Genau deshalb halte ich es für unerlässlich, dass es eine Art Firefox oder Wikipedia der Suche gibt. Und ich freue mich über jeden Schritt in diese Richtung.

Common Crawl: Basis für neue Suchmaschinen?

In der aktuellen Sendung von “This Week in Startups” wird “CommonCrawl” vorgestellt. Diese non-profit Organisation crawlt das Web und stellt die Ergebnisse (den Crawl) Allen zur Verfügung.

Das kann sich zu einer tollen Basis für neue Suchmaschinen entwickeln. Gerade das ressourcenaufwändige Crawling stellt eine große Markteintrittsbarriere für neue Anbieter da.

Like it!

Die Sendung ist auch sonst ganz interessant. Die Suche wird ausführlich diskutiert. Auch die aktuellen Änderungen bei Google und deren Sinnhaftigkeit.