Movendo-nos antes de sermos forçados a
Acabamos mudando a configuração antes do banco entrar no ar, enquanto ainda tínhamos buffer suficiente para fazer isso com cuidado. Saímos do serviço Elasticsearch hospedado e entramos no OpenSearch de código aberto e trouxemos o NetApp Instaclustr para executar o OpenSearch e o Postgres, que sustentou nossa plataforma de observabilidade. Esse relacionamento se estendeu aos nossos clusters analíticos ClickHouse pouco depois, que é onde realmente reside a maior parte do nosso processamento. É importante ressaltar que todas essas tecnologias são 100% de código aberto, o que poderia garantir a portabilidade sem aprisionamento. O princípio por trás da mudança, no entanto, foi tão importante quanto a própria tecnologia. Eu queria que meus engenheiros saíssem do negócio de migração das 2 da manhã e do negócio de patches de emergência, e queria que esse tempo fosse direcionado diretamente para o produto.
Uma condição importava mais do que as outras, aquela em que muitos desses movimentos morrem silenciosamente. Vendemos para setores regulamentados (como aquele grande banco) e não podemos simplesmente despejar nossos dados na nuvem de outra pessoa e abrir mão do controle de onde eles ficam fisicamente. Nenhuma margem de manobra, então tudo o que escolhemos nos permitiu manter os dados dentro de nosso próprio ambiente. Nenhuma quantidade de “mais estável” nos teria salvado se fôssemos reprovados no teste.
A recompensa acabou sendo fácil de definir, e vou lhe dar o nosso porque realmente mudou a forma como penso sobre tudo isso. Voltamos a algo em torno de 6.200 horas de engenharia por ano. Essa era uma época que costumava desaparecer no buraco negro da manutenção de back-end e no tipo de treinamento de incêndio que consome uma corrida (e qualquer fim de semana que você esperava ter). Desde então, ultrapassamos 500 milhões de interações e os trilhões de insights que nossa camada analítica do ClickHouse analisa, e os sustos de desempenho para os quais costumávamos nos preparar pararam de acontecer. Os failovers se tornaram enfadonhos, enquanto as atualizações pelas quais eu ficava acordado se tornaram apenas uma tarde de terça-feira.
