La viabilidad del «procedimiento casero» ASQ-3 se evaluó en un ensayo de campo en un entorno urbano del norte de la India. Antes de los cinco meses de recolección de datos, hubo una capacitación de 11 días, que incluyó traducción, ajustes culturales y estandarización de los examinadores. En el proceso traslacional, se modificaron cuatro ítems para que fueran apropiados para la población del estudio. La retroalimentación general, tanto durante la capacitación de los examinadores como durante el ensayo clínico, indicó que los niños, cuidadores y examinadores generalmente encontraron agradable asistir al «procedimiento en casa» ASQ-3. Los examinadores experimentaron el «procedimiento casero» ASQ-3 como un instrumento razonable y factible para administrar en el ensayo clínico actual. Durante el estudio, se completaron todas las sesiones iniciadas y con muy pocas observaciones perdidas. Los valores de ICC muestran un alto grado de concordancia entre observadores tanto durante la estandarización como en el estudio principal, indicando la factibilidad del ASQ-3 en términos de recolección de datos confiables.

Además, los puntajes totales de la ASQ se encontraban en todo el rango de valores posibles, sin embargo, algunos ítems no mostraron ninguna variabilidad. Los coeficientes de correlación mostraron una concurrencia satisfactoria entre las cinco subescalas y la escala total, pero los valores de alfa estandarizados variaron en las diferentes subescalas y niveles de edad, indicando alguna debilidad de la consistencia interna.

Para los ajustes culturales de los formularios ASQ-3, cuatro ítems de los 11 formularios relevantes fueron identificados como inadecuados en un contexto del norte de la India, y fueron cambiados. Esto está de acuerdo con otros estudios sobre la traducción y ajustes del ASQ a nuevos contextos culturales que reportan cambios similares a nivel de ítem . Puede parecer que algunos artículos son más difíciles de usar en otras culturas. Por ejemplo, el ítem relativo a una horquilla fue cambiado en el presente estudio, de la misma manera un estudio en Ecuador reportó que los ítems que involucraban el uso de una horquilla fueron removidos ya que no son de uso común . En el estudio de la India mencionado anteriormente, los ítems con horquillas también fueron en su mayoría dejados sin respuesta, indicando que los ítems eran irrelevantes para los niños de la muestra . Además, se encontró que los espejos eran poco comunes para la población del presente estudio, también demostrado en adaptaciones previas . En el manual de ASQ-3, los elementos espejo se resaltan como posibles elementos problemáticos para muchas culturas . Esto podría sugerir que hay algunos ítems que son más específicos de la cultura que otros, y que deben ser considerados con especial cuidado al interpretar los resultados de los estudios, así como cuando se hagan los ajustes necesarios en estudios futuros.

En el presente estudio, dieciocho ítems no mostraron variabilidad, ya que todos los niños en las categorías de edad específicas habían desarrollado la habilidad relevante para el ítem, por ejemplo, la habilidad de caminar en la subescala Motora Gruesa. Esto podría haber sido incidental, ya que los grupos de cada nivel de edad eran pequeños (entre 16 y 52 participantes en cada categoría de edad). Sin embargo, el número de elementos constantes también puede ser una expresión de las diferencias culturales en las prácticas de crianza de los niños y las expectativas para el desarrollo de los niños entre el norte de la India y los Estados Unidos. Esta última suposición da lugar a la idea de que los 18 elementos constantes no son apropiados para el desarrollo de esta muestra de bebés y niños pequeños del norte de la India, y deben ajustarse y/o reagruparse adecuadamente antes de seguir utilizándolos.

La consistencia interna del ASQ-3 cuando se transfirió a un entorno del Norte de la India se expresó por correlaciones entre los puntajes totales y los puntajes de subescala, y por alfas estandarizados. Los coeficientes de correlación fuertes y consistentes entre las cinco subescalas y la escala total ASQ-3 indican concurrencia. Se esperan coeficientes de correlación moderados entre las cinco subescalas, lo que indica un cierto grado de concurrencia entre las subescalas, pero al mismo tiempo subraya que las subescalas miden diferentes habilidades de desarrollo. Estos resultados están de acuerdo con las correlaciones entre las diferentes subescalas y los puntajes totales descritos en el manual ASQ-3 . Sin embargo, para los alfas estandarizados, la imagen no es tan clara. Los valores alfa de 66 varían de altamente consistentes internamente a insatisfactorios y, en dos casos, valores negativos. Los alfas estandarizados para la escala total en los diferentes grupos de edad generalmente indican que la escala es altamente coherente internamente y mide las mismas áreas temáticas. Sin embargo, para las subescalas, los valores varían. Por lo tanto, los cálculos de los alfas estandarizados despliegan elementos problemáticos adicionales que causan valores alfa insatisfactorios e incluso covarianza negativa de elementos. Estos ítems son inconsistentes con los otros ítems de la subescala y, por lo tanto, es posible que no evalúen la misma área de desarrollo en este entorno. El análisis de subescalas relevantes al eliminar ítems adaptados no conduce consistentemente a una mejor consistencia interna, lo que indica que estas no son la causa principal de las consistencias internas deficientes. Los elementos problemáticos deben examinarse más a fondo para comprender por qué ciertos elementos en este entorno cultural muestran inconsistencia. Con nuevos ajustes en ciertos ítems, podría haber una posibilidad de mejorar la consistencia interna de las escalas y luego aumentar el nivel de confiabilidad.

Los cálculos de los alfas estandarizados son sensibles al número de elementos que se incluyen en el análisis . En los cálculos alfa de la escala total, se incluyen 30 ítems, mientras que solo se incluyen seis ítems en los cálculos de los alfas de subescala. Los ítems constantes se excluyen del análisis de alfas estandarizados y, por lo tanto, el número de ítems puede ser incluso menor a seis en ciertos niveles de edad en este estudio, ya que un total de 18 ítems son constantes. Esto puede reducir aún más los valores de alfa en las subescalas y los niveles de edad pertinentes. Dos valores alfa son particularmente problemáticos en nuestros cálculos. Estos se encuentran en la escala Social Personal a los 24 y 36 meses, donde los ítems causan covarianza media negativa y, por lo tanto, violan los supuestos de los cálculos, lo que resulta en que no se muestren valores alfa en los resultados.

En el informe técnico del manual ASQ-3, se enumeran los valores de alfa estandarizados de su muestra de 18 000 niños. Se concluyó que la consistencia interna general de las subescalas era de buena a aceptable. Sin embargo, la tabla de los alfas para todos los intervalos de edad tiene valores de 0,51 a 0,87. La subescala Social Personal es la escala con los valores más pobres. En un estudio sobre la adaptación transcultural del ASQ-2 a un entorno coreano, los valores de alfa estandarizados de todas las subescalas variaron de 0,30 a 0,91, nuevamente con los valores más pobres en la subescala Social Personal . En su discusión del estudio, Heo, Squires y Yovanoff argumentan que los artículos sociales personales, como las habilidades para comer y vestirse, darán lugar a diferencias entre la muestra coreana y la estadounidense. Gladestone et al. argumentan de manera similar en su informe sobre la modificación de las herramientas de detección occidentales a un entorno malauí que las diferencias culturales a menudo aparecen en el área del desarrollo social. Estos supuestos están de acuerdo con el presente estudio, donde las subescalas Sociales Personales ofrecen los valores globales de alfa más pobres. En el proceso de ajustar aún más el ASQ-3 a un entorno del norte de la India, la subescala Social Personal debe manejarse con especial cuidado.

Administramos el ASQ – 3 como «procedimiento domiciliario». La retroalimentación y las observaciones durante las sesiones indican que el «procedimiento en el hogar» de ASQ-3 en general fue un momento agradable tanto para los niños como para los cuidadores. Los examinadores consideraron que el ASQ-3 ajustado era razonable para evaluar a los niños del área. Esto indica que la validez facial del ASQ-3 ajustado fue satisfactoria. Las sesiones fueron breves y los 422 niños completaron su sesión una vez que se inició. Se dio tiempo a los niños durante las sesiones para practicar con posible material desconocido y se les calificó en función de sus logros durante las sesiones. Con base en la posibilidad de recolectar información tanto de la observación como del informe del cuidador, los datos faltantes fueron escasos. Estos factores apoyan la viabilidad del «procedimiento casero» ASQ-3 en estudios poblacionales grandes. Además, la evaluación del desarrollo se realizó a bajo costo. Los examinadores no eran psicólogos, el kit ASQ-3 se compró en línea y solo se requirió un kit para el sitio del estudio. Los materiales y equipos necesarios para el «procedimiento en el hogar» se adquirieron en los mercados locales o se descargaron de Internet. Las herramientas accesibles a bajo costo, que son fáciles de usar y que son agradables para los niños en una cultura determinada están de acuerdo con las recomendaciones de Fernald, Kariger, Engle y Raikes en su conjunto de herramientas para la evaluación del desarrollo infantil en países de ingresos bajos y medianos.

Sin embargo, el enfoque de «procedimiento en el hogar» requiere cierta capacitación de los examinadores, además de sesiones de práctica después de la capacitación inicial. En nuestro estudio realizamos una capacitación de 11 días, que también incluyó discusiones sobre ajustes culturales. Los ICCs, tanto de los ejercicios de normalización durante la capacitación como de los controles de calidad durante el período de estudio, muestran que los examinadores, a través de la capacitación intensiva y la práctica posterior, lograron obtener un alto grado de coincidencia en sus calificaciones. Los ICC satisfactorios sirven de apoyo adicional para que el «procedimiento en el hogar» ASQ-3 pueda ser un enfoque beneficioso para obtener de manera eficiente datos confiables sobre el estado del desarrollo infantil con fines de investigación.

Un desafío del «procedimiento en el hogar» del ASQ-3 para fines de investigación es que, aunque la intención de los examinadores era observar la mayor cantidad posible de habilidades de los niños durante las sesiones, algunos elementos del ASQ no proporcionan esta posibilidad debido a su estructura inherente. El análisis muestra que las escalas Motoras y las escalas de Resolución de problemas incluyen la mayoría de los elementos que los examinadores pueden observar durante una sesión de evaluación. Las dos escalas restantes, Comunicación y Personal Social, incluyen más elementos que requieren información del cuidador para puntuar. Por lo tanto, se puede percibir que las escalas proporcionan datos de diferente calidad, tres de las escalas proporcionan información objetiva puntuada por examinadores capacitados y dos de las escalas dependen más del informe subjetivo de los cuidadores.

El informe de los padres proporciona un riesgo de inexactitud y/o exageraciones en el informe del desarrollo del niño debido a factores como la conveniencia social, la inexperiencia de los cuidadores en la interpretación de las habilidades de su hijo y/o su incapacidad para informar con precisión el comportamiento del niño . Sin embargo, el sistema ASQ se desarrolla y se basa en la convicción de que los cuidadores pueden proporcionar información para una evaluación adecuada de sus hijos. Por ejemplo, un estudio en el que se comparó la finalización del ASQ de padres de ingresos bajos y medios en los Estados Unidos con la evaluación posterior de la Escala de Bayley para el Desarrollo de bebés y Niños Pequeños, no muestra diferencias en la precisión de la puntuación en los dos grupos de padres, lo que respalda la idea de que la finalización por parte de los padres de los cuestionarios de desarrollo infantil proporciona datos confiables también en los grupos de alto riesgo . Por ahora, al utilizar el «procedimiento casero» ASQ-3 con fines de investigación en este entorno cultural, los datos deben interpretarse cuidadosamente teniendo en cuenta la diferencia en la calidad de la información.

Las puntuaciones totales de ASQ-3 oscilan entre cero (sin puntuaciones) y 300 (puntuación completa), en nuestro estudio las puntuaciones oscilaron entre 30 y 300. Las cinco subescalas variaron de cero a 60 (puntuación de subescala completa). Nuestros resultados implican que, aunque los datos no están distribuidos de forma perfectamente normal, el ASQ-3 logró identificar a los niños en ambos extremos de la escala. Los puntajes ASQ totales tienen un promedio de 231,9 y DE DE 50, mientras que para las subescalas los puntajes promedios varían de 44,8 a 47,8. Un estudio de Kerstjens et al. compara los valores medios de subescala entre muestras holandesas, estadounidenses, noruegas y coreanas. Los valores medios de nuestro estudio son generalmente más bajos en todas las subescalas, excepto en la subescala motora fina, donde los valores medios de nuestros estudios son ligeramente mayores que en la muestra holandesa y estadounidense, pero aún más bajos que en la muestra noruega y coreana. La intención de este estudio no ha sido validar formalmente el ASQ-3 para un entorno del norte de la India y establecer puntajes de corte para el retraso del desarrollo en los niños. Por lo tanto, las diferencias de los valores medios de las subescalas deben interpretarse con cuidado. Fernald, Kariger, Engle y Raikes enfatizan que cuando no se establecen puntajes de corte para el cultivo dado donde se utiliza la herramienta de detección, su uso debe limitarse al de comparar grupos. Las diferencias entre los valores medios de nuestro estudio y los de otros estudios subrayan esta afirmación. Hasta que se haya llevado a cabo una validación adicional en el ASQ-3 para esta población en particular, no hay puntajes de corte factibles para esta muestra del norte de la India, y los datos deben limitarse a la comparación de grupos.

Al evaluar la transferencia de una herramienta de evaluación a un nuevo contexto cultural, la confiabilidad de la prueba-repetición de prueba es importante. En el marco de este estudio, dicha evaluación no fue posible. Esta es una debilidad definitiva del estudio. Además, sería preferible poner a prueba el cuestionario traducido antes del estudio, y dar margen para nuevos ajustes antes del inicio del estudio sobre la base de cálculos preliminares de consistencias internas, variabilidad y elementos constantes. Estas limitaciones del estudio, junto con otras observaciones en la sección de Discusión, deberían sentar las bases para futuros intentos de transferir el ASQ-3 a nuevos entornos culturales.