Carreira em Engenharia de IA
O mercado de IA muda depressa, mas o que contrata e promove engenheiros muda devagar: resolver problemas reais, medir o que faz e explicar as decisões. Este módulo transforma o que você construiu no curso em evidência de carreira e treina a entrevista que mais diferencia nessa área, a de system design de sistemas com IA.
cd o-arco/curso-ia/codigo/modulo-15/python
pip install -r requirements.txt
python 01_mapa_de_competencias.py # sem API
python 02_simulador_system_design.py suporte-rag # com API: entrevista simulada15.1 O que o mercado espera de cada nível
| Nível | Escopo típico | Sinal de que está pronto para o próximo |
|---|---|---|
| Júnior | Tarefas bem definidas: integrar uma API, um endpoint, um ajuste de prompt com eval existente | Entrega sem retrabalho e já pergunta "como vamos medir isso?" |
| Pleno | Uma funcionalidade inteira: RAG de um domínio, um agente com ferramentas, com evals e custos | Decide entre alternativas com dados e antecipa falhas em produção |
| Sênior | Um sistema: arquitetura, operação, segurança e qualidade de um produto com IA | Outras pessoas e times passam a usar o que você definiu |
| Staff / principal | Vários times: plataforma de LLM, padrões de avaliação e governança, estratégia de modelos | Muda a forma como a organização constrói, não só o que constrói |
O lab compara uma autoavaliação com essas expectativas e sugere, para cada lacuna, um módulo do curso e uma peça de portfólio:
área nota esperado (pleno)
avaliacao 1 3 ▼ 2
rag 2 3 ▼ 1
producao_e_llmops 1 2 ▼ 1
...
Nível estimado hoje: junior · alvo: pleno
Plano (maiores lacunas primeiro):
1. avaliacao (+2): revisar Módulo 3; peça de portfólio: suíte de evals com IC 95% rodando no CI
2. rag (+1): revisar Módulo 4; peça de portfólio: RAG com busca híbrida, citações e métricas de recuperaçãoCopie dados/autoavaliacao_exemplo.json, dê suas notas e rode python 01_mapa_de_competencias.py sua.json senior. As expectativas são uma referência para conversar com sua liderança, não uma régua oficial; cada empresa tem a sua.
15.2 Portfólio no GitHub e marca pessoal
- Dois ou três projetos profundos valem mais que vinte tutoriais. O Projeto Integrador é a peça principal; escolha mais um ou dois projetos de módulo e leve-os ao nível de produção.
- O README é a entrevista antes da entrevista: problema, arquitetura, como rodar, números de qualidade e custo, decisões e limitações (modelo no Módulo 14). Recrutadores leem os primeiros parágrafos; engenheiros procuram os testes e as evals.
- Mostre o processo: issues e PRs com descrições claras, histórico de commits legível, um relatório de evals antes e depois de uma mudança.
- Escreva: um texto curto por projeto ("como reduzi o custo por chamado em 70% com destilação, e onde ela falhou") no LinkedIn ou num blog. Conteúdo com números e erros honestos se destaca no meio de muito entusiasmo genérico.
- Contribua: correções em bibliotecas que você usou (SDKs, servidores MCP, ferramentas de evals) são evidência pública de que você lê e melhora código alheio.
15.3 Entrevista técnica: live coding e perguntas específicas de IA
Muitas empresas ainda fazem live coding tradicional; pratique estruturas de dados e leitura de código. Em vagas de IA aparecem também exercícios como "implemente a chamada com ferramentas e trate erros" ou "escreva uma eval para esta função". Pense em voz alta, escreva testes e trate o caso de erro antes de ser perguntado.
Perguntas frequentes e o que uma boa resposta inclui
"Como você sabe que um prompt novo é melhor que o antigo?"
Dataset com gabarito, várias repetições por caso, intervalo de confiança e teste pareado; olhar as regressões caso a caso, não só a média; rodar no CI (Módulo 3).
"RAG ou fine-tuning?"
RAG para conhecimento que muda e precisa de citação; fine-tuning ou destilação para formato, estilo ou uma tarefa estreita em volume alto. Muitas vezes, nenhum dos dois: um prompt melhor com exemplos resolve. Decida com eval e custo (Módulos 4 e 11).
"O que é prompt injection e como você se defende?"
Instruções vindas de conteúdo não confiável. Não existe filtro perfeito: delimitar o conteúdo, limitar ferramentas, exigir aprovação em ações irreversíveis, limpar a saída e quebrar a tríade letal (Módulo 12).
"Quando usar um agente e quando um workflow?"
Workflow quando os passos são conhecidos: mais barato, previsível e testável. Agente quando o caminho depende do que for descoberto, com orçamento, detecção de laço e avaliação de trajetória (Módulo 6).
"Como reduzir o custo de um sistema com LLM?"
Medir primeiro (custo por tarefa, por rota); depois cache de prompt, modelo menor por rota, batch para o que não é interativo, cortar contexto desnecessário e, em volume alto, destilação. Cada alavanca validada com eval (Módulos 2, 9 e 11).
Quiz rápido
O entrevistador pergunta algo que você não sabe. Qual é a melhor resposta?
Em engenharia de IA, separar o medido do suposto é exatamente a competência que está sendo avaliada.
15.4 System design de sistemas com IA
Um roteiro para 45 minutos, adaptado do system design clássico:
- Requisitos (5 min): usuários, volume, latência, o que pode dar errado e qual erro é pior (falso positivo ou falso negativo).
- Estimativas (5 min): requisições por segundo, tokens por requisição, custo por dia, limites de taxa (Módulo 9.1).
- Desenho de alto nível (10 min): onde entra o modelo, onde entra código determinístico, RAG, ferramentas, filas.
- Qualidade (10 min): como avaliar antes e depois do lançamento; dataset, métricas, revisão humana, deriva.
- Falhas, segurança e custos (10 min): provedor fora, injeção, dados pessoais, orçamento, aprovação humana.
- Evolução (5 min): o que muda com 10 vezes mais volume; quando destilar ou trocar de modelo.
LAB 15.4 — Entrevista simulada com avaliação verificável
O modelo faz o papel de entrevistador: responde às suas perguntas de esclarecimento com números consistentes e aprofunda onde a resposta foi rasa, sem entregar a solução. Digite fim para receber a avaliação contra os pontos esperados da questão. Cada ponto marcado como coberto precisa citar uma frase sua, e o código confere que a frase existe. Elogio sem evidência é descartado, a mesma regra das atas do Módulo 13.
python 02_simulador_system_design.py # questão aleatória
python 02_simulador_system_design.py moderacao # suporte-rag, agente-financeiro ou moderacao
python 02_simulador_system_design.py moderacao --respostas respostas.txt # repetir com as mesmas respostasUma simulação típica custa alguns centavos de dólar; o script mostra o custo real no final. Treine a mesma questão duas vezes e compare a cobertura. Depois, escreva uma questão nova no JSON a partir de um sistema que você conhece.
15.5 Negociação, aumento e promoção
- Pesquise a faixa antes: pesquisas salariais de mercado, comunidades da área, vagas que publicam faixa e conversas com pessoas do nível desejado. Faixas mudam rápido em IA; use dados do ano corrente e da sua região ou modalidade (CLT, PJ, remoto internacional).
- Compare o pacote inteiro: salário, bônus, participação, benefícios, regime de contratação e impostos, flexibilidade e tempo para estudar.
- Negocie com evidência, não com necessidade: "liderei a redução de 40% no custo por atendimento mantendo a qualidade dentro do intervalo de confiança" é melhor que "o custo de vida subiu".
- Promoção é escopo demonstrado: combine com sua liderança o que precisa estar visível para o próximo nível (use o mapa da aula 15.1), registre entregas com números ao longo do ciclo e peça feedback cedo, não só na avaliação.
- Diga o número primeiro só quando ele for bom para você. Se perguntarem a pretensão, uma faixa baseada em dados de mercado, ancorada no topo do que é razoável, funciona melhor que um número único.
Projeto do módulo: portfólio publicado e entrevista simulada
- Rode o mapa de competências para o nível desejado e escolha duas lacunas para trabalhar.
- Publique o Projeto Integrador e mais um projeto com README no padrão do Módulo 14, passando no
verificar_projeto.py. - Escreva um texto curto sobre uma decisão técnica de um dos projetos, com números.
- Faça três simulações de system design, uma de cada questão, e registre a cobertura de cada uma. Repita a pior.
Critérios de avaliação
| Critério | Peso |
|---|---|
| Projetos publicados com README completo e números reproduzíveis | 40% |
| Texto técnico com decisão e evidência | 20% |
| Simulações registradas e evolução na repetição | 25% |
| Plano de desenvolvimento a partir do mapa de competências | 15% |
Recursos para aprofundar
- System Design Primer · fundamentos de system design clássico
- StaffEng guides · como funcionam os níveis staff e principal
- Anthropic Engineering · textos técnicos sobre agentes, evals e ferramentas