La OCDE ha llevado a cabo un gran esfuerzo en una serie de estudios conocidos como The Programme for International Student Assessment (PISA). Probablemente, PISA-2003 es uno de los más amplios y complejos estudios internacionales de rendimiento educativo. Este artículo describe los aspectos metodológicos de PISA-2003 y resume las principales actividades en el desarrollo de los instrumentos de recogida de datos, traducción de los instrumentos de evaluación, diseño muestral, análisis de datos y la presentación de los resultados. Se evalúa la calidad metodológica del estudio desde los criterios establecidos por el National Research Council. Se concluye destacando los esfuerzos realizados para obtener buenas tasas de respuesta y en el diseño de los instrumentos, así como la atención prestada a las lecciones aprendidas de estudios anteriores. Aunque PISA es metodológicamente correcto en todos los frentes, quedan algunas cuestiones no resueltas, como la falta de motivación de los alumnos en las evaluaciones sin consecuencias, el rigor en el control de las tasas de respuesta y exclusiones, la equidad y neutralidad en la investigación y el uso e impacto de los resultados.