Benchmark de precisión de extracción
Syncanix convierte tu API en capacidades para agentes leyendo tu código fuente. Eso solo funciona si la extracción es precisa: por eso la medimos, publicamos los resultados y fijamos con tests cada número de esta página a la batería de evaluación versionada. Si un extractor empeora, la build falla antes de que esta página pueda exagerar nada.
Resultados principales
Última verificación: 2026-06-11 · 9c09e59f2
Metodología
- Verdad de referencia derivada a mano
Para cada repo evaluado leemos a mano sus definiciones de rutas y listamos cada endpoint real como un par método + ruta. El extractor se puntúa contra esa lista: el recall es la proporción de endpoints reales encontrados; la precisión, la proporción de endpoints extraídos que son reales.
- Coincidencia estructural
Una coincidencia significa el método HTTP más la ruta completa compuesta, prefijos montados incluidos. Los parámetros de ruta se comparan por estructura, no por nombre: :id y {slug} en la misma posición son iguales.
- Solo análisis estático
El descubrimiento lee código fuente; nunca ejecuta tu aplicación, inspecciona tu tráfico ni llama a tus endpoints. Cada número aquí lo produjo la misma ruta de detección y extracción que ejecuta npx syncanix init.
- Probado en CI, fijado con tests
La batería determinista de fixtures bloquea la CI en cada cambio de extractor, y los números de esta página están fijados a la salida de la batería mediante tests: una regresión hace fallar la build antes de poder publicarse.
Repos públicos reales, evaluados
Doce implementaciones de referencia —en su mayoría apps RealWorld— con verdad de referencia derivada a mano. Los repos son públicos: puedes leer los mismos archivos de rutas que leímos nosotros.
| Framework | Repositorio | Endpoints reales | Exhaustividad (recall) | Precisión |
|---|---|---|---|---|
| Express | gothinkster/node-express-realworld-example-app | 20 | 100% | 100% |
| NestJS | lujakob/nestjs-realworld-example-app | 21 | 100% | 100% |
| FastAPI | nsidnev/fastapi-realworld-example-app | 19 | 100% | 100% |
| Flask | gothinkster/flask-realworld-example-app | 19 | 100% | 100% |
| Django | gothinkster/django-realworld-example-app | 23 | 100% | 100% |
| Rails | gothinkster/rails-realworld-example-app | 20 | 100% | 100% |
| Laravel | f1amy/laravel-realworld-example-app | 19 | 100% | 100% |
| Gin | gothinkster/golang-gin-realworld-example-app | 20 | 100% | 100% |
| Spring Boot | gothinkster/spring-boot-realworld-example-app | 19 | 100% | 100% |
| Actix | snamiki1212/realworld-v1-rust-actix-web-diesel | 20 | 100% | 100% |
| ASP.NET Core | gothinkster/aspnetcore-realworld-example-app | 19 | 100% | 100% |
| GraphQL | howtographql/graphql-js | 8 | 100% | 100% |
Batería determinista de fixtures
Proyectos fixture versionados por framework, puntuados con F1 contra umbrales por framework. Esta es la batería que bloquea la CI en cada cambio de extractor.
| Framework | Fixtures | F1 | Umbral de corte |
|---|---|---|---|
| nestjs | 5 | 1.000 | 0.92 |
| express | 3 | 1.000 | 0.85 |
| fastapi | 8 | 1.000 | 0.92 |
| nextjs | 8 | 1.000 | 0.92 |
| graphql | 5 | 1.000 | 1.00 |
| grpc | 1 | 1.000 | 0.92 |
| trpc | 2 | 1.000 | 0.92 |
| websocket | 2 | 1.000 | 0.85 |
| springboot | 1 | 1.000 | 0.85 |
| phoenix | 1 | 1.000 | 0.85 |
| gin | 2 | 1.000 | 0.85 |
| actix | 1 | 1.000 | 0.85 |
| axum | 2 | 1.000 | 0.85 |
| laravel | 1 | 1.000 | 0.85 |
| aspnet | 1 | 1.000 | 0.85 |
| vapor | 1 | 1.000 | 0.75 |
| play | 1 | 1.000 | 0.75 |
| compojure | 1 | 1.000 | 0.75 |
| dream | 1 | 1.000 | 0.75 |
| servant | 1 | 1.000 | 0.75 |
| cowboy | 1 | 1.000 | 0.75 |
| plumber | 1 | 1.000 | 0.75 |
| lapis | 1 | 1.000 | 0.75 |
Frameworks cubiertos por los repos reales evaluados en lugar de fixtures sintéticos: django, flask, rails
Fixtures reales incorporados
Repositorios reales completos incorporados en un commit fijado y puntuados contra un oráculo derivado de la especificación o etiquetado a mano. La métrica con umbral es el F1 estructural (método + ruta).
| Framework | Fixture | F1 estructural | Verdad de referencia |
|---|---|---|---|
| FastAPI | fastapi-realworld@029eb77 | 1.000 | openapi |
| Hono | hono-open-api-starter@0d5f3bf | 1.000 | hand-labelled |
| Symfony | symfony-realworld@5ad39de | 1.000 | openapi |
Lo que estos números no afirman
- El conjunto evaluado son apps de referencia seleccionadas, no una muestra aleatoria de todos los códigos. Tu repo puede diferir; por eso la CLI escribe un catálogo revisable en lugar de pedir confianza.
- Este benchmark mide la extracción estructural (métodos y rutas). La calidad de las descripciones de capacidades escritas por el LLM se evalúa por separado y no forma parte de estas cifras.
- El etiquetado de requisitos de autenticación es deliberadamente conservador en algunos extractores y puede discrepar de un oráculo derivado de la especificación en endpoints públicos; la métrica con umbral es la precisión estructural.
Verifícalo tú mismo
La comprobación más significativa es tu propio código: ejecuta la CLI de descubrimiento y revisa el catálogo que escribe — cada capacidad extraída cita su ubicación en el código, así que puedes comparar el catálogo con tus archivos de rutas en minutos. Por transparencia, estos son los comandos internos de la batería tras los números de arriba (los extractores son source-available; el corpus de evaluación no es público):
pnpm --filter syncanix test:f1
pnpm --filter syncanix scan:realCompatibilidad de frameworks lista cada framework y lenguaje que lee la CLI, y qué hacer si el tuyo no está cubierto.