Re: open source alternatives for google search engine

[Jama Poulsen <jama@xxxxxxxxxxxxxxx>]

On Sun, Feb 05, 2006 at 01:16:36PM +0100, Joost van Baal wrote:
> Een dingetje van mij in de categorie: "hrm, daar zou ik toch echt eens
> een keer iets moeten doen als ik meer tijd had...": Help Enosig het
> Google monopolie te overwinnen.

Google heeft geen monopolie (in geen enkel service segment: search, online ads,
webmail, mapping, etc.). Google is buitengewoon populair, en nu ook zeer
winstgevend door webvertising strategieen.

Google was de eerste die wat orde schepte in het booleaanse doolhof van
AltaVista en andere ineffectieve search portals. Daarnaast vind ik ook dat
Google redelijk veel doet voor de free software gemeenschap en oog heeft voor
open standaarden:
  http://code.google.com/summerofcode.html
  http://code.google.com/apis/talk/about.html

Tuurlijk hebben ze daar ook zelf ook baat bij (zowel in technische als sociale
zin), maar als ik kijk wat een Philips, Atos Origin, Alcatel, SAP, Siemens of
Nokia doet dan verdient Google aanzienlijk meer lof.

De vraag of die verworven macht gevaarlijk is wordt al onderkend door diverse
de europese regeringen en de (immer corrupte) Europese commissie.

Zie bijv. het Frans/Duitse Quaero project:
http://en.wikipedia.org/wiki/Quaero
http://www.sci-tech-today.com/story.xhtml?story_id=41066
http://www.google.com/search?q=Quaero (Ja, lang leve de ironie!)

Nmm heeft Europa momenteel echter te veel belemmeringen om te kunnen
concurreren op de markten van Google en Yahoo!. Het algehele IT ondernemings-
klimaat is hier dermate anders, dat het opstarten van een Google in bijv.
Nederland veel lastiger zou zijn. Een onderzoek naar het soort van ontbrekende
elementen zou zeer interessant zijn, ipv een zak geld geven aan gevestigde 'IT
instituten' waar mensen met een comfortable salaris en een 32-urige werkweek
de opdracht krijgen te gaan concurreren met bedrijven als Google en Yahoo!.

> Dat kan, als iedereen dingen als
> 
>  http://hyperestraier.sourceforge.net/
>  http://www.mnogosearch.org/
>  http://lucene.apache.org/
>  http://www.egothor.org/
>  http://www.yacy.net/yacy/
> 
> gaat gebruiken.  Dat zijn (bijna allemaal) vrije software zoek-machines
> waarvan je de database zelf kunt voeden in een P2P netwerk.  Ik geloof
> dat yacy er het meest veelbelovend uitziet.  (Er is helaas nog geen
> Debian package van.) lucene heeft een niet-vrije java backend nodig.
> egothor en yacy hebben ook java nodig, maar werken misschien ook met
> vrije java implementaties.

De algehele theorie van het indexen van het WWW op P2P basis is zo
incompleet als wat. De complexiteit van de indexing op die manier is
vele malen groter dan een meer centrale vorm van indexeren.

Doe daar nog een complexe client-side software requirement bij (de JVM en
libraries), en je hebt een bij voorbaat gedoemd experiment (zie ook de
"Grub" case: http://grub.looksmart.com).

> Het lijkt mij heel mooi als er een werkbaar alternatief is voor
> monopolist Google; en t zou natuurlijk helemaal fantastisch zijn als dit
> op P2P technologie zou werken, zodat het _nooit_ uit de lucht gaat, of
> onder controle van centrale partijen komt die er mogelijk dingen mee zou
> kunnen gaan willen doen die jij niet wil.

P2P kun je op heel veel manieren implementeren (platte structuur, gelaagde
structuur, adaptieve structuur, combinaties daarvan), maar de betrouwbaarheid,
robuustheid, veiligheid, snelheid, ed. van zo'n web dienst zijn minstens net
zo belangrijk.

Ik kijk naar het semantische web en RSS/Atom/... content syndicatie, als het
gaat om nieuwe kansen in de web search markt voor Europa en ook free software.

Jama Poulsen
http://wikicompany.org
http://debianlinux.net