Evaluación de IA y Proyectos de Expertos
Ingeniero de software, evaluador de agentes de codificación y autor de tareas de IA
Utilice un juicio real de ingeniería de software para crear, resolver y evaluar tareas realistas para agentes de codificación y herramientas de desarrollo de IA.
Sobre esta trayectoria
Este es un trabajo de evaluación experto para ingenieros experimentados. Puede incluir la creación de tareas basadas en repositorios, comportamiento estándar de oro, comparación de soluciones, análisis de modos de falla y justificaciones técnicas defendibles. No es un etiquetado genérico de datos.
Utilizará su genuina experiencia en ingeniería de software para crear y evaluar tareas realistas para agentes de codificación, incluidos problemas basados en repositorios, soluciones estándar de oro y análisis de modos de falla. Este es un trabajo de evaluación experto, no un etiquetado genérico de datos, y recompensa a los ingenieros que pueden escribir una justificación defendible de por qué una solución es mejor que otra.
De qué se encargaría
- Creación de tareas de codificación realistas basadas en repositorios para la evaluación de agentes
- Autoría de soluciones de referencia y comportamiento esperado
- Comparación y puntuación de soluciones candidatas según criterios definidos
- Análisis de modos de falla de las salidas del agente de codificación
- Justificaciones técnicas escritas y defendibles para las decisiones de evaluación
- Colaboración con los líderes de evaluación en preguntas de rúbrica y calibración
Es probable que usted sea un buen candidato si
- Tiene experiencia profesional en ingeniería de software
- Puede escribir y razonar sobre bases de código no triviales y realistas
- Puede explicar claramente por qué una solución técnica es mejor que otra
- Se siente cómodo con el trabajo de evaluación detallado, a veces repetitivo
- Tiene experiencia con los lenguajes o frameworks relevantes para el proyecto
- Toma en serio la rúbrica y el seguimiento de instrucciones
Útil, no obligatorio
- Experiencia con pruebas automatizadas y pipelines de CI
- Familiaridad con asistentes o agentes de codificación de AI
- Historial de contribuciones de código abierto
- Experiencia asesorando o revisando el código de otros ingenieros
Qué significa el éxito
- Las tareas que elabora son realistas y exponen fallas significativas del agente
- Sus justificaciones de evaluación son lo suficientemente claras para que otros las auditen
- La calibración con otros evaluadores se mantiene constante a lo largo del tiempo
- Los clientes confían en el nivel de calidad de su trabajo presentado
Prueba práctica que ayuda
- Enlaces a repositorios de código públicos o un portafolio de trabajos de ingeniería anteriores
- Una muestra de escritura que demuestre razonamiento técnico sobre una compensación de codificación
- Experiencia previa con revisión de código o evaluación técnica
Lo que le ofrece estar en la red
- Trabajo 100% remoto con clientes en Estados Unidos, Canadá y Latinoamérica.
- Revisión humana de su perfil, la automatización organiza la información, las personas deciden.
- Un perfil considerado para oportunidades actuales y futuras.
- Recompensas por referencias cuando alguien que refieres directamente es colocado con éxito.
- Control total sobre la disponibilidad, la compatibilidad y tus datos en cualquier momento.
Un perfil, muchas oportunidades
Postularte aquí crea un perfil único y reutilizable. Si este camino no es el adecuado, seguirás siendo elegible para otras oportunidades adecuadas en toda la red.
Postúlate y únete a la red
Gratis para unirse • Comience en aproximadamente 60 segundos • Un perfil para múltiples oportunidades • No se requiere experiencia avanzada en IA para muchos roles
Unirse a la red no garantiza trabajo o colocación inmediata. Las oportunidades dependen de la adecuación profesional, la ubicación, la disponibilidad y la demanda del cliente.