Table S-2 (supplementary)Quality appraisal of selected studies (Supplementary material)
Qualitative studies/qualitative component of mixed methods studies / 0.1 Are there clear qualitative & quantitative research questions (or objectives), or a clear mixed methods question (or objectives)? / 0.2 Do the collected data allow address the research question (objective)? / 1.1 Are the sources of qualitative data (archives, documents, informants, observations) relevant to address the research question (objective)? / 1.2 Is the process for analysing qualitative data relevant to address the research question (objective)? / 1.3 Is appropriate consideration given to how findings relate to the context? / 1.4 Is appropriate consideration given to how findings relate to researchers’ influence? / ScoreAuthor, year, country
Baker LM, 2005 / Y / Y / Y / Y / Y / Y / ****
Dodge M, et al., 2004 / Y / Y / Y / Y / Y / UC / ***
Giacopassi DJ, et al., 1991 / Y / Y / Y / UC / Y / Y / ***
Lai Y-y, et al., 2015 / Y / Y / Y / Y / Y / UC / ***
Maguire M, et al., 2011 / Y / Y / Y / Y / Y / UC / ***
Peled E, et al., 2013 / Y / Y / Y / Y / Y / Y / ****
Peled E, et al., 2015 / Y / Y / Y / Y / Y / Y / ****
Peracca S, 1998 / Y / Y / Y / Y / Y / UC / ***
Wamoyi J, et al., 2011 / Y / Y / Y / Y / Y / UC / ***
Zheng W, et al., 2011 / Y / Y / Y / Y / Y / Y / ****
Mixed methods (qualitative component)
Chan KY, et al, 2007 / Y / Y / Y / Y / Y / N / ***
Farley M, 2011 / Y / Y / Y / UC / Y / N / **
Guinto-Adviento MLM, 1988 / Y / Y / Y / Y / Y / N / ***
Sagar T, et al., 2013 / Y / Y / Y / Y / Y / N / ***
Shdaimah CS, 2012 / Y / Y / Y / Y / Y / Y / ****
Quantitative studies/quantitative component of mixed-method studies / 0.1 Are there clear qualitative & quantitative research questions (or objectives), or a clear mixed methods question (or objectives)? / 0.2 Do the collected data allow address the research question (objective)? / 4.1 Is the sampling strategy relevant to address the quantitative research question (quantitative aspect of the mixed methods question)? / 4.2 Is the sample representative of the population understudy? / 4.3 Are measurements appropriate (clear origin, or validity known, or standard instrument)? / 4.4 Is there an acceptable response rate (60% or above)? / Score
Alikhadzhieva I, 2010 / Y / Y / Y / Y / UC / N / **
Basow SA, et al., 1990 / Y / Y / Y / Y / Y / Y / ****
Bellis MA, et al., 2007 / Y / Y / Y / Y / UC / UC / **
Cao L, et al., 2010 / Y / Y / Y / Y / UC / N / **
Cao L, et al., 2013 / Y / Y / Y / Y / UC / N / **
Chon DS, ET AL., 2015 / Y / Y / Y / Y / UC / N / **
Cotton A, et al., 2002 / Y / Y / Y / Y / Y / N / ***
Jakobsson N, 2011 / Y / Y / Y / Y / UC / Y / ***
Kennedy MA, 2008 / Y / Y / Y / Y / Y / Y / ****
Kotsadam A, et al., 2011 / Y / Y / Y / Y / UC / Y / ***
Kotsadam A, et al., 2014 / Y / Y / Y / Y / UC / Y / ***
Kuosmanen J, 2010 / Y / Y / Y / Y / UC / N / **
Long SL, et al., 2012 / Y / Y / Y / Y / Y / Y / ****
May DC, 1998 / Y / Y / Y / Y / Y / Y / ****
Mentzer H, 2010 / Y / Y / Y / Y / Y / N / ***
Moore S, 1999 / Y / Y / Y / Y / Y / N / ***
Morton H, et al., 2010 / Y / Y / Y / Y / UC / N / **
NakagawaJT, et al., 2014 / Y / Y / Y / Y / UC / Y / ***
Otsuki N, et al., 2009 / Y / Y / Y / Y / UC / N / **
Preston P, et al., 2005 / Y / Y / Y / Y / Y / Y / ****
Phrasisombath K, 2012 / Y / Y / Y / Y / UC / Y / ***
Potgieter C, 2012 / Y / Y / Y / Y / UC / N / **
Pudifin S, et al., 2012 / Y / Y / Y / Y / UC / N / **
Räsänen P, et al., 2007 / Y / Y / Y / Y / Y / N / ***
Roberts R, et al., 2010 / Y / Y / Y / Y / UC / Y / ***
Sawyer S, 1998 / Y / Y / Y / Y / Y / N / ***
Sawyer S, et al., 2001 / Y / Y / Y / Y / Y / N / ***
Smith M, et al., 2015 / Y / Y / Y / Y / Y / N / ***
Stack S, et al., 2010 / Y / Y / Y / Y / UC / N / **
Valor-Segura I, 2011 / Y / Y / Y / Y / UC / Y / ***
Wortley S, et al.,
2002 / Y / Y / Y / Y / UC / Y / ***
Mixed methods (quantitative component)
Chan KY, et al, 2007 / Y / Y / Y / Y / Y / UC / ***
Farley M, 2011 / Y / Y / Y / Y / Y / Y / ****
Guinto-Adviento MLM, 1988 / Y / Y / Y / Y / Y / UC / ***
Sagar T, et al., 2013 / Y / Y / Y / Y / UC / UC / **
Shdaimah CS, 2012 / Y / Y / Y / Y / Y / UC / ***
Mixed method(mixed methods component) / 5.1 Is the mixed methods research design relevant to address the qualitative & quantitative research questions (or objectives), or the qualitative & quantitative aspects of the mixed methods question (or objective)? / 5.2 Is the integration of qualitative & quantitative data (or results) relevant to address the research question (objective)? / 5.3 Is appropriate consideration given to the limitations associated with this integration?
Chan KY, et al, 2007 / Y / Y / Y / ***
Farley M, 2011 / Y / Y / N / **
Guinto-Adviento MLM, 1988 / Y / Y / N / ***
Sagar T, et al., 2013 / Y / Y / Y / **
Shdaimah CS, 2012 / Y / Y / Y / ***
Note: key: Y = Yes; N = No; UC = Unclear; QL = Qualitative study; NR: Quantitative Non-randomized controlled trial; DS: Quantitative descriptive study; MM: Mixed method study. For score, the higher number of * indicates the better of the research quality. The lowest score is *, while the highest score is ****.
1