Vale a pena ter um computador de IA no escritório?

Nesta aula você decide quais tarefas saem da nuvem, calcula a memória que o modelo de cada uma pede e escolhe a máquina por essa conta, e não pelo preço da etiqueta. Com a agenda ligada ao assistente, as fichas dos clientes ainda saem pela internet a cada pergunta; um computador de IA no escritório vale a pena quando você quer que elas fiquem dentro de casa.

Hoje toda pergunta vai para a nuvem (computador de outra empresa, que você usa pela internet). Com isso, três coisas ficam nas mãos da outra empresa: a demora da resposta, o caminho da ficha e o dia em que o serviço cai. A divisão que funciona é simples. O que é repetitivo e traz dado pessoal roda na máquina do escritório; o que pede modelo grande continua na nuvem.

O desenho das quatro peças volta com uma só em destaque. Um computador assim é um servidor local, isto é, uma máquina ligada no escritório que atende os outros aparelhos. O trabalho dele é a inferência (o momento em que o modelo pensa e escreve a resposta).

Quanta memória a máquina precisa ter?

A memória precisa guardar o modelo inteiro e ainda sobrar espaço para a conversa, e a conta cabe numa linha. O tamanho de um modelo se mede em parâmetros (os números que ele aprendeu; mais parâmetros pedem mais memória), contados em bilhões. A quantização compacta cada parâmetro para caber na máquina, como uma foto salva em qualidade menor.

Pela regra publicada pela Hugging Face, site onde os modelos abertos são distribuídos, os pesos ocupam perto de parâmetros vezes bits dividido por oito, em bytes. Um modelo de 8 bilhões ocupa cerca de 16 GB em 16 bits, 8 GB em 8 bits e 4 GB em 4 bits. Para rodar, some até 20%, pela estimativa do grupo de pesquisa EleutherAI que a Hugging Face cita, mais o espaço da conversa, que cresce com o tamanho do texto.

Compactar tem um preço que a nota final esconde. Na maior comparação publicada, da Red Hat com o Instituto de Ciência e Tecnologia da Áustria, apresentada na ACL 2025 e revista em maio de 2026, 8 bits em ponto flutuante não perdeu acerto em nenhum tamanho da família Llama 3.1, e 4 bits só nos pesos ficou perto de 8 bits. Os autores distribuem modelos compactados, e o teste mede resposta, não uso de ferramenta.

O uso de ferramenta é onde o dano aparece. Pesquisadores da VAIV Company, da Universidade Nacional de Seul e da Universidade da Coreia, em julho de 2026, rodaram agentes de atendimento em 16, 8 e 4 bits: o placar empatou, mas em 4 bits a chamada a uma ferramenta que não existe cresceu até 2,5 vezes. Por isso a tarefa que consulta planilha ou preenche ficha se testa pelo registro das chamadas antes de fechar a compra.

O teto de 64 GB pesa na escolha: modelos de 30 a 35 bilhões compactados em 4 bits são o caso típico dessa memória, e o de 70 bilhões fica no limite. À venda desde 22 de setembro de 2026, o Mac mini vem com chip M6, até 32 GB, ou M5 Pro, até 64 GB; 128 GB ou mais só no Mac Studio, que chega a 512 GB. A Apple anuncia o M5 Pro para servir agentes dia e noite; quem decide a compra é a memória.

Os dois últimos números fazem a conta de luz de uma máquina ligada dia e noite: multiplique os watts pelas horas do mês e pela tarifa da sua distribuidora. Num teste de agosto de 2026 com um computador da Apple de chip M4 Pro, a máquina inteira gastou de 8 a 12 W respondendo com modelos de 3 a 9 bilhões de parâmetros; só um medidor na tomada diz o número da sua.

No Mac, vale a memória unificada (uma só memória para todas as partes do chip, como a bancada comum de uma cozinha), e o limite passa a ser a largura de banda de memória (a velocidade com que o chip lê essa memória, como a vazão de um cano). No PC, a placa de vídeo tem memória própria, mais rápida e menor: a GeForce RTX 5090, da NVIDIA, tem 32 GB e consome até 575 W, e quando o modelo não cabe nela a velocidade cai.

Como dimensionar a memória pela tarefa e pela compactação

Antes de pedir cotação, tenha a lista das duas ou três tarefas que vão sair da nuvem e o modelo candidato de cada uma. O número de parâmetros aparece na página do modelo no Ollama (programa que baixa e roda modelos no seu computador).

Três decisões saem da conta. Se a tarefa é conversa sem ferramenta, 4 bits basta. Se a tarefa chama ferramenta, prefira 8 bits ou um modelo menor em 8 bits. Se nem assim cabe, a tarefa fica na nuvem. Na pousada de exemplo, as tarefas se dividiram assim.

Com duas tarefas dentro de casa, um modelo de 30 a 35 bilhões compactado cabia em 64 GB, e o Mac mini com M5 Pro bastava; o Mac Studio ficou para o dia em que a pousada quiser modelos maiores. Tirar a tarefa da nuvem impede que a ficha viaje pela internet; o que o programa grava no próprio Mac se confere na escolha do programa, na próxima aula.

Para comparar as opções pelo custo de cada tarefa, o curso "Software e IA para executivos" tem o capítulo como escolher entre buscar, treinar ou rotear antes de pagar a conta. Ele mostra quando vale mandar cada pedido a um modelo diferente.

Decidir a compra na sua semana

A decisão tem três caminhos, e esperar também é um deles, com custo por mês.

Esperar parece de graça, mas cada mês sem decidir é mais um mês de fichas saindo do escritório e de assinaturas pagas. Some o que você paga hoje por mês nos assistentes: esse é o seu ponto de partida para comparar com a cotação.

A escolha está pronta quando a tabela do guia tem cada tarefa com modelo, bits e memória somada, a maior soma cabe na máquina com sobra e a tarefa que chama ferramenta passou no teste do registro das chamadas. Para a conta completa de construir contra comprar, com energia, técnico e tempo, o curso "LLM FinOps" traz o capítulo modelo aberto não é modelo grátis. Com a máquina escolhida, abra "Qual programa escolher para rodar a IA no Mac" e decida com o técnico o que instalar primeiro.