E como foi bacana participar de um “go live” sem participar do “go live”. E como eu vi problemas e desculpas conhecidas, viu?

Acho que o problema mais clássico que aconteceu foi que um login deles não funcionava. Caracas. Nem sei quantas migrações participei que deram problema durante o processo porquê algum login não funcionava, alguma credencial não tinha permissão suficiente pra fazer alguma coisa ou simplesmente alguém digitava a senha errada tantas vezes que travava a conta.

Fora as clássicas “cara-de-bunda”, né? Nego dá o comando, todo mundo segura a respiração e…. nada. Já vi isso acontecer várias vezes também quando, por exemplo, o cara que vai subir o sistema esquece que não está no ambiente de teste, onde ele setou um monte de atalhos e scripts. Ai na máquina de produção ele digita o alias ao invés do comando, mas esse não vem configurado por padrão. Ou então falta alguma variável de ambiente e outras falhas simples do tipo… mas que geram um puta stress.

E fora coisas que ninguém nunca pensa antes da migração. Um dos problemas que aconteceu é que alguém setou o TTL do DNS muito alto, então quando o sistema foi pro ar um monte de gente que já tinha tentado acessar antes não conseguia entrar por causa de cache.

Também não podia deixar de faltar os espertinhos (eu incluso) que estavam usando uma URL que dava bypass na restrição de acesso antes do lançamento e conseguiam fazer queries no sistema, causando load antes do esperado.

Por outro lado foi muito esperto da parte deles fazerem o lançamento via webcast. Além do imenso hype que geraram (#wolframalpha foi trend topic por mais de 3 horas no twitter.) eles conseguiram troubleshoot e feedback global gratuito e imediato.

O problema do DNS que falei, por exemplo, foi alguém que gritou no chat do Justin.tv, que estava fazendo o broadcast do vídeo.

Logo depois de ativar o sistema eles observaram na sala de controle que o número de queries estava muito baixo. O Stephen Wolfram então perguntou se alguém sabia porquê tinha tão pouco acesso. E a pessoa que estava acompanhando o Twitter do @Wolfram_Alpha gritou: “Ninguém tá conseguindo acessar”. Eles jogaram mais um pó de pirilim-pimpim e o sistema subiu.

As pessoas começaram a entrar e o Stephen foi pra frente do computador e perguntou no chat de onde as pessoas estavam conseguindo acessar. Em poucos segundos centenas de pessoas de tudo quanto é canto no mundo começaram a responder de onde funcionava e de onde ainda estava indisponível. Algumas pessoas reportavam um erro que foi diagnosticado por outros usuários no chat como sendo cache no IE e um usuário já dava a dica pra outro de como acessar.

Em aproximadamente um hora eles conseguiram uma resposta maciça de todos os cantos do mundo. Com certeza economizaram uma boa grana em mão-de-obra pra isso.

E quanto ao sistema de busca é interessante, mas ainda tem que comer muito arroz-com-feijão. A base de dados parece pequena e muitas pesquisas não são entendidas ou não tem resultados. Mas se você quer ver algumas respostas interessantes, ta ai uma lista de coisas que pode perguntar:

What’s the meaning of life?
What is the airspeed velocity of an unladen swallow?
Where am I?
Where are you from?

Não vou entrar no aspecto do sistema em si, mas o Google pode te ajudar nisso se estiver curioso. Vou falar do respeito que eles acabaram de ganhar, pelo menos de mim, com o que vão fazer:

Hoje eles vão transmitir ao vivo a ativação do sistema hoje às 17:00 PST. No vídeo abaixo eles dão mais detalhes, como por exemplo, que um dos data-centers tem 3800 CPUs entrando live hoje.

Qualquer um que já se envolveu num projeto grande sabe o tanto de caca que acontece no go live. Os nervos ficam à flor da pele, um monte de coisa que não deveria falhar acaba falhando, a performance sempre fica a dever no primeiro momento e, pior ainda no caso deles, com certeza às 17:00:01 vai ter MILHARES de negos empilhando nos servidores deles pra testar o novo sistema.

Não sei no que vai dar, mas vai ser interessante assistir a dor alheia, pra variar um pouco…

Mais detalhes: http://www.wolfram.com/broadcast/wolframalpha/

www.youtube.com/watch?v=30_Tmd8ziLQ