Yandex, su arquitectura y Django.

Dado mi gran interés por los buscadores (y todo lo que tenga que ver con la búsqueda / organización / etc de grandes cantidades de datos) y también con su arquitectura, como funcionan, que utilizan, ... me encontré con la de Yandex. Yandex es el Google Ruso.

Leyendo la sección Real Life Architectures del sitio highscalability, hay una breve descripción de la arquitectura de este. Desde que supe de su existencia había estado buscando información, pero lo único que sabía de él era que:

• su cuota de mercado en Rusia superaba por lejos a Google,
• la empresa no era muy grande, pero con muchos ingenieros (al mejor estilo Google) y matemáticos (creo que abundan por los lares de Rusia).
• y técnicamente, lo poco que encontré, usaban Unix y mucho Perl, no más.
  

Bien, ahora lo que encontré el sitio de highscalability fue un poco más interesante:

• Several data centers around Russia.
• Two-layer architecture.
  
• The database is split in pieces and when a search is requested, it pulls the bits from the different database servers and brings it together for the user.
  
• Languages used: c++, perl, some java.
  
• FreeBSD is used as their server OS

Muy Interesante! En la sección de comentarios hay más información pero muchos están en ruso (todavía no lo hablo / leo =( ).

Pero algo que me llamo un poco más la atención fue que desde el año pasado están comenzando a utilizar Django, para crear una red social (al mejor estilo facebook / stambleupon ). El siguiente link habla sobre temas muy interesantes a la hora de escalar Django con MySql.

http://softwaremaniacs.org/blog/2008/02/24/why-offline-crashed-en/

Lo que más me alegra de toda esta investigación, es la enorme expansión de las tecnologías open source, que desde hace ya unos cuantos años vienen en un elevado crecimiento, dentro de los sistemas más Grandes del mundo! Y sobre todo de Python (mi lenguaje preferido).