Statistical Analysis With Latent Variables Technical Appendices Bengt O. Muthén
Following is the correct citation for this document: Muthén, B.O. (1998-2004). Mplus Technical Appendices. Los Angeles, CA: Muthén Muthén Copyright 1998-2004 Muthén Muthén Program Copyright 1998-2004 Muthén Muthén Version 3 March 2004 The development of this software has been funded in whole or in part with Federal funds from the National Institute on Alcohol Abuse and Alcoholism, National Institutes of Health, under Contract No. N44AA52008 and Contract No. N44AA92009. Muthén Muthén 3463 Stoner Avenue Los Angeles, CA 90066 Tel: (310) 391-9971 Fax: (310) 391-8971 Web: www.statmodel.com Support@StatModel.com
TABLE OF CONTENTS Appendix 1: Regression with a categorical dependent variable 1 Appendix 2: The general modeling framework 7 Appendix 3: Standardized parameters 15 Appendix 4: Estimators 17 Appendix 5: Model tests of fit and model modification 21 Appendix 6: Missing data 25 Appendix 7: Growth modeling 27 Appendix 8: Latent variable mixture modeling 29 Appendix 9: Aggregated analysis under complex sampling 39 Appendix 10: Two-level (disaggregated) analysis under complex sampling 41 Appendix 11: Estimation of factor scores 47 Appendix 12: Monte Carlo simulations 49
# $ % '(') # ) * #) +, #) * * #-) #) ##)) #). / /. % # ) * #0) # ) * * #1) / 2 # ) # ) 3 # ) # ) #4) # ) 5 # 67 5 5 ). 7 8 # ) 9# * * ) #:)
88;6.< 9 = 9 #-),. 9 #) * * #>) 2 9 #9 ) 9 #9 ) #() 9 9 #:) 9 6 9 #() =? #4) # )#*) #') @.? #') @, * #) 6 ##)) #')? 9 # ) # )# )92#)#) 3 #) AB #) 2C 03 #) #-) -
#* ) #') @. D? # ) #') @ 6 B #) #) # ) #) # ) #)*#) #0) #1) 7 B + 2 #)32 #)*#)3 #4) 5 #) 6 E @?, #'( 40@4>) # #:) - B E 0
88;6.< $. * #>) # #)) #) B? #:) # )9# ) # )9# )9# ) # -)9# ) 9# * ) #() #') #-) # -) # )*# -) #-) 9# ) #--) 9# * ) #-0) # ) #-1) # -) 9# * ) #-4) # -)9# * ) #-:) @ 5 % #-4) #-:) # -) * #->) # -) * #-() # '' 0--@0-1) 2# -)3 2# -)## -)3 * 2# -)3 2# -)## -)3 * #-') #0) 1
2# -)3 2# - )3 #0) 2# - )3 2# - )3 #0-) 5 4
88;6.< :
F D E?.?. =G F A D? @ % # -$) # ) %#% -) #% -) #% -) #00) ' #01) #% -) - # #04), D? H # I '(') D DJ #'>' '(0 '(1 '(') @ * * * #0:) >
88;6.< - (@ # ) )@ #?) @ @ ( ) = B @B K )@ * * * #0>) $ (@ (( B @ E () (@ G IL G 76 D? + *# ) 2*#) *#) * 3 #0() # ) 2#) #) *3 #0') #1) # ) E @ @ @ (
F D E?.?. / B B # ) #) #) * #1). + 2 3+ 2# )3 + 2#) #) *3 #1-) $ B @ # ) B I @ B B. + 23+ 2#) #) 3 #10). B 5 5@ # ) #10) + 23 + 2#) #) 3 #11) # ) + 2# )3+ 2#) #) *#) #) *3 #14) @ '
88;6.< - B #) #) * #1:) # ). B = #0:) #0>) *#) *#) *#) * * #1>) * * #1() B $ # ) ##) * )#) #) * #1'). #0() #0') @ *# ) 2 *3 #) #4) # ) #4) F # ), # ) #4-) # ), # ) #40)
F D E? %,, B + - - 5@ 5@ #0:) #0>) * * #41) # ) * #44). ( # ) (??.D< 87D< # % M D '>). 5 H. 8. #4-) #40) 8 2 2*#) 33 #4:) $ B #1() E # )
88;6.< -? 8 -. #4-) #40) 8-8 -.2 #) 3 #4>).23? @ 8 0 #4) 8 0.2 2#) #) *3 3 #4(), ( ( (( (. B () ( ) (( 7 -
F D E?. @ 5 $ 8 8-8 0. #0:) #0>), * * #4') * * $ # ) # ) #4') #:) (( (( #:) 0
88;6.< -. @ #0() #0'). B /.. D 1
AB 8 @ B * * * #:) * * * #:-) *# ) 2*#) *#) * 3 #:0) # ) 2#) #) *3 #:1) B % + 2#) #) *#) #) 3 #:4) 6 #) 2#) 3 2 # )3 # ) #::) B #:>) #:() #:') #>) #>) #>-) #>0) #>1) #>4) #>:) #>>) #>() #>') 4
88;6.< 0 B % + 2 2#) #) *#) #) *3 3 #() #14), AB #() #(-) #(0) #(1) #(4) #(:) #(>) #(() #(') B E #') #') #'-) #'0) :
; ; @?, @ @ @? /, @ 0# -0) @? # ) *# ) # ) #'1) #'4) $ D% D%B #)- $ 2 * +# ) #*))3 $ #':) $ B $ B *# )# ) #'>) # NO? M AO '>'C AO '(-C I M ''4) = NO?#'>0-) @, D% 4 @, F%A #B,) E F%A >
88;6.< 1 #':) #) ##$ ) +2#) 3 *$ +2 # )# ) 3)$ #'(),. #)- # ) # ) #'') E #I '(- '(1) DJ#'(') B E D/ #'(4) #'') DJ #'(0 '(1) DJ DJ A #''4) E @ DJ 5 #'(), #'') E *# ) # ) #)- #4-) #40) $ A B @, 1#)1 #) #)$ # ) #) @ @ @, - $ #) (
; P #)$ # ) # ) #-). Q.. E DJ#'(') @ @ #0) 2 - # ) #1) # I M ''4) E @? DJ #'(1) # DJ M A ''>) E # A M I '(( ''1C A ''-) @@ @/, 0 -$#) #4) 23 #:) # # ) ) #>) @ @/ @@ 0 -$#) #() '
88;6.< 1 2#) 3 #') ##)) ##) ) #) @, 5 @@ 4, B.,@6, E @ B @ 4,@6 B -
D 7 E D D /,. D% # ) $ # ) 3$- - #) $- #-) # ) # ) #-) +2 # )# ) 3 #0) $ +2 #*#)#) )3 #1) 4 = @? 3 $- $-#*)) #4) D% 0 #) #)- $ 2 * +# ) #*))3 $ #:) $ B $ B *# )# ) #>) 6 #) 3$* 3 $ #() % P D% 4?@ / @ 4 4 - $ #P). $ $ 5 / $ # I M ''4) -
88;6.< 4 $. #1) #4) #:) $ $ D% #4) $ - $ #P) D $. D% D $ @@ 1 @, 5 5 @, @, #A -) @, 5 A #-) @/, A I #''') #:) D @, 5 5 @/ 5 5 @/ @, 5 5 5 #5 5 ) #') #5 5 ) #-) # )# ) #-) @ @? D @?? #.) 26-3*- #--) #?? '(>) I #AB '>() 76-3* $ $ #-0) A #'(>) @B / I. $ $ #$*-)-1 #-1) D, #DA;) # I M? ''0C A M % '() DA; 89*2 (+2#- #P)$)3 0 #-4) --
D 7 E D D 0 A #''() I? #''0) 4 @ @ D DA; E, 4 D #-4) 23 #:) 7 %. E. 536 #/ # #/ )#/ # #) #-:) 6 (+#/ )(+#/ / # #) #->) # 4 %. E. R @ B B D @ DA AD D AD #B, ) 98 #-() $ #*)- P- #-') P- P- P- @ P- P- $ I #''') AD #-') E DA : # % D #, ) ;8 # P- ) #0). P-. -0
88;6.< 4 D 5 R D @ DD%DD%D.? # 1) D @ @, %AD %AD D - $ #)#'') A D FB @B AD D $ I #''') 5 H %. '4 E. '4 DA; # : AD # ( A L DJ #-) 5 AD 5 (? B #-4) L DJ #-) D # ' E AO #'(') D. @ @ %. E, D.? @, #;8) #A AMAO'(>) ;8D. @ 8 D. ;8 D. @ E@ @, -1
D D # () D@? % #'(>) #D) D D @? D # ) *# ) # ) #0) #0-) 4 D@? 4 ;D % #'(>) 4. 4 D% 4. D% 1 4 #) 2 *# ) # ) 3 #00) $ B E D 5 #% M '(>) 5 4. #00) P @, 4 4 - $ #P) 4 4. 4 / 4 4 %?@ / -4
88;6.< : 4? 4 @ + + D. 5@ + 4 K 4 D B A B + B / 4 ;D % #'(>) 4? E, - $ 3 0 - $ 3 + @, 4 4. - $ 3 - $ 3 -:
F D 5# +) D @? - 5 @? @ @ E? DJ S #''() E @? B DJ #''>) F? @ DJ #''>) F DJ #'':) E / DJ #-) @ % #) # -5) 3.H * + * 3.-+H *< * 3.-H *< * #01) #04) #0:) + - + 5. - -, #01) @ @ - < # ) 5, B @ @ = #01), B # ) ->
88;6.< > % % 3.+#(+ >($ +)H = *? * 3.H * + * 3.-+H *< * 3.-H *< * #0>) #0() #0') #1) D @ H = = = $ = #1)??? $? #1-)? @-, B # ) # ) A 5 *# ) # ) @ B, #01) 3.H * + * #10).? @ - @ $ #11) @-, B @ B @ 5? - DJ #'':) -(
% D D D 5 @ 5 D @ DJ A #''') DJ A A #''') D 7 DJ #- -) DJ DJ #-) B DJ I D N S L S % #-) N #-) N DJ #- -) @ DJ D #-) ) ( @ # % ) : B H C C @ @ #@)) : -@ # ) % #14) + B B K E #> > > ) #> ) #> )#> ) #1:) > #% -) 9 @ # ) -'
88;6.< ( -9 > # > #1>) #> ) #> ) #> ) #1() #> ) * ' #1') #> > > ) ' # ' ' ' ) : ' ' * ' ' ' * ' #4) #4) ' @ ' ) @ ' @ ' ) @? #9 ) @. #4) E > #4) > # '' 0--@0-1) E > #1() #> ) * ' #4-) * () #40) *> E > > #4) #4) 5 /. ' 5 ' B B % F D : * * * #41) * * * #44) # ) # ) - B @ @ 0
% D D D @? @? 3 2 3 #4:) 2 3 % # )2 3 2 3 #4>) 2 3 # ) * # ) # * )* # ) # ) * #4() #4') @? ;D # DJ A M A ''') @? # 2 3* 2 3* 2 3) #:). ; @? : # )# )2 32 32 3 #:) E I DB @? D H C C B B % # ) #:-) B B #> ) #:0) 0
88;6.< ( E 2 3 2 3 2 3 2 3 2 3 % #:1) 2 3 #4() #4'). #:) 2 3 B *# 2 3 ) % 2 3 #:4) % 2 3 #::) @ @ @ D @ #DC % M '(>) A # '(4 1 D% M 8 - -) @? 3 3 #:>) D%E E 1 3 6 * 1 1 3 1 D% E 1 3 6 1 1 D% E 6 + 6 6 * 6 #:() #:') #>) 6 +? % D? B D% D% D% D%E. + 7? 0-
% D D D 5? @ @?.? # D% M I '((C $ '>0) D@ 5 ;5 % L #''() N DJ #- -) G S? =? #:) E?, E G, = G? D D? I? @,. 5 @ B E. I. @B 00
88;6.< ( / I. 4 L #''() #:) I R? #6 ''') $ 5@, @ # A ''0) * % #P $P ) $ $@ #>) P : ; B B # % M 6 ''') D ;$> 8 E? / / @ / #I@ ''>C DJ -) 8? @, /, (( # ) #>-) / - (( #>0),,, %, >? @, # '') B, @B,, @B,, / ;D 01
% D D % #'(>C '0 (@(4),. D #% M '(> '-@'0) D D?? @. 5 B 5 A? D @ E D @ E D @? @ @ B. D F ; $ #'() D% I #'(() D% 8 #-) A D? #'(4) D 6@,@6 $ D,@6 D #D% M S ''>) - 6@,@6 @? E? A @? @? $ E # ). D > B > + * ) #>1) # ' ) @ 4 *4 # 04
88;6.< ( 0 ''''''>) + @ @. ' ' >G >G 5 ' ' > > ' >G ' ' @ #4) >G ' > # ) #4) #4) - F DJ A #''') DJ #-) DJ #-) @ % : #-5) * + * *< * *< * #>4) #>:) #>>) # ) # ) I = #>4) % 6 #''') 5 ' #4) ' B #> > > > $ ) #4) 3. H > * + #>() 0:
% D D + ' > - : -9 @ @ $ % $% #>'). @-, #4) B DJ #-) @ # A M ''0) B # DJ M D -) > % - > @ % % B % %? ' # ) ' ) B * #() #() @ % 9 # ) #(-) @? #() @ >G %- ' #4) > % E # 4) ''' 0>
88;6.< ( ''' ''' DJ D #-) @ 5 5 B E % C% - #(0) K B > #(1) B 0(
= A D B @, D DJ A#''4).. #':) A @, @ 1 @ @, #) # ) #-) '. ' Q Q.. #. Q. ) #. Q. ) #. Q. ) #. Q. ) $ $ $ Q $ # ) # ) #DJ M A ''4) 0'
88;6.< ' 1
@% #) = A # $ %? D E DJ #'(' '' ''1) DJ A #''4) DJ #'(') DJ #'') @ DJ #''>) @ DJ S F #''() D @ @ @ @. D @ # * # # # ) # # # # # ) # # # ) # * # # ) # ) * #(4) #(:) #(>) E @ @ @ # -) # # -) @ # ) # ) # * * *# )*# )* # ) # )*# ) # * #(() #(') 1
88;6.< # # # # # = @ # -) # * # # * # # # * # # * # #') #') @ # ) * #'-) * #'0) #(4) #(:) #(>)? A - @ @ @ # DJ '') - #'1) # # # # * # #'4) B B,B#)@? $ # * 2 # # # * #)#) )3 * #$)$ * 2 3 #':) # #'4) $ B., @? B, # ) D=D% D. @, @, D #':) @,. @ 1- # #) $ #Q Q)#Q Q) #'>)
@% #) = A #$) # Q )# Q ) #'() $ B #'>) #':) @? = *# # ) * # *# ) #'') #-) # A D ''- >) 2$ $ 32$#)3 #-) #':). B. P # # P # # # ) #--) B B 2P # 3 #2P # 3 *2P 3 ) #-0) @ - ## # ) # # # @- #'1) #'4) E @ # # # # # # ) # @#-) @#) # # # @ @ C C # @ @ @ @ E -. - G G,, 10
88;6.< % 5-11 # )#-1) #-4) (( #-:) # # # # # ## ## # ## # # ## # ## ## ## ## # ## ## # ## (( ## # ## ## # ## ## ## # ## ## ## ## # #->) #-() #-') #-)
@% #) = A E (( # ) (( #-) #--) #-0) #-1) #-4) #-:) #->) E @,@6 @ 14
88;6.< 1:
; 7 E A? - * * * * * * #-() #-') % #) #) E *# ) #) *#) # )#) #) #--) #--) I # ),# )# ) #---),# ) D H C C. # ) #-() #-') #4') #:) *# ) # ) #--0) # ) # ) # ) #--1). B # % M D '>) P * # ) #--4) + # * ) #--:), P 1>
88;6.<. @. # ) # ) #-->) E + 2#) #) 3 #--(), @ # ) B -9 # )92# ) D 392# ) D 3 #--') # ) / #-0) % % D % P #---) B. - # ) # ) $ # ) #-0) B, D,@6, @ E *# )* 2*# )3 #-0-) *# ) @ $ * @ E #-0-) @ *# ) 1(
D A D. B ; * (( # ) +$- 8?? E #''- ->-) I D #'4()? S F #'( -'1@0) A '4T B G I, +$- D D A # ), + #P Q P) *# Q P) #-00) '4T '4T '4T / 1'
88;6.< - ': 4
;E;;6;A #'') 6 L?H N M A?? $ #'(>) E. 0>@00- #'() U H 1(0@40: #'(4) DH $ = 8 I@ S D % V A% M B 8N #''>) % 0>4@0(: I S '(' 6 L?H N I D #'(-). D $? #) #$ $$ % = 8 I D #'(1) @ @ % ' () :-@(0 I D M F#''4) A @ @. F M D; A#;)* %' # 0@04') 6 L?H 8 8 I D M? #''0). S I M NA % #) #' % # 0:@:-) 6 8?H A 8 I F;8 M D D; #'4() % + :@: ; IA M $ N #'(), %-./ %H M $ $ #'>0)? 5 >:@>> $ M % A #'(') $$ ' 0' 6 L?H N M A $ % M I 8D #''') 5 H %' 1 @ 44 N I #-) ; 5 H 4
;E;;6;A = N I M DJ I #-) % H ; 5 6 M A #;) % %'2 %' 3 $$ D I? A % ; N I M DJ I #-) D 5 H B. F D M ; A? #) %'2 4.$ # % ; 4>@(> NO? SF #'>0), @. % A F 7 #;) 6 L?H A 8 (4@- NO? SF M AO #'>'), %/ DH I? S N M F N; #'() 5 $'/ 6 L?H D??. % 6 M D ; #'>), %/ %H I % N M I #'(>) %'./ 6 L?H M A % N M L%$L#''() A, B H @ G ' % ( 1>@4' D% FN M I S; #'(() %- %/ 3 $$ 5'/ 6 L?H D?? D% FN M S #''>) # % ' -/ 6 L?H N M A D% FN M 8 #-), %- %/ 6 L?H M A D/ #'(4) + @ % ' (+ -@4 DJ I #'>') )6 (>@( DJ I #'(0) %, 1(@:4 DJ I #'(1), @ 6 4@0-4-
;E;;6;A DJ I #'(') D@ @ @ % ' 6 44@:- DJ I #'(') % 8 8 A N '(' 6 44>@4(4 DJ I #'') D 8 8 A 8 6N N '' 75 1 DJ I#'') D % + '' 00(@041 DJ I #''1) D. N $ M. S #;) D D ' % 8 0 0>:@0'( DJ I #'':) F. ; M #;) 5'.$ 02 % # 0>@ 41) A H 8 DJ I #''>) %. #;) ' %' ) # 140@1() IH I? 8 DJ I #-) A@, H 6 R %D M A #;) 4 % 5' H 8 DJ I #-) %. F D M ; A? #) %'2 4.$ # % ; @00 DJ I I $ D S N I S A L 8 S A N M % N #-) F B = DJ I M 5 #'() A 61 1>@1' DJ I M 8 #''>) F 5 H? ' % 0>@1- DJ I A$ M A #''>),,, DJ I M S A #''() % ' 3.9 A H 40
;E;;6;A >0@ DJ I S A M F N; #''() D = DJ I M D S #-) D @ DJ I M DJ % #-). @ @ @ H F / 2 5 -$ 0 6 ((-@(' DJ I M A #''4) DJG %.A7D8 1: 1('@40 DJ I M A #''4),. 8 D#;) '%'# -:>@0:) H A DJ I M A S #''') E ;D 1:0@1:' DJ I A S M A #''') F 6 A #''') B /H @ @ ' % 6 0'@4> 8 $?? A M E I8#''-) 4 0$,;0#04/# < 5 $' A ;H = 8 A M #''0)? 8.DA %' 0@-1 S % SF M 6 A #''') D @ H 6 >::@>>: A ; A M AO #'(>),. #;) '%' +) # 4@-') H A A #''-). 8 D#;) '%' # -1'@>() 7 ;H I? 8 A #-) A / @. $/ $ 8? AF M A #) 3 % /, *= 4 #-00@-1>) 41
;E;;6;A %H S 8 A M I 8D#'(() A @, ++ ' 0(@00 A M I 8D #''1). ; #) 2 $$.$ 0 # 0''@1') 6 8?H AF; 8 A M I 8D #''') 5 @, = % AB F #'>() ; # 1 1:@1:1 A%A#'(>) @ 000@010 A A F M D ;#''-) 5 $/ 6 L?H M A A N M NI#''0).G H @ + 44@'4 A N$ #''() DA; %' >6? 1@1' A N$ M % ND #'() A 8 8 A.. AO #'(-) A,. SF NO? M $ #;) 3 ;2 5 / H 6 $ AO #'(') D 6 0>@0(1 D A ED M D? =; #'(4), %-./ =SH N M A L #''() E =@ = % L @L M DJ I #-) ; 44
;E;;6;A 4:
INDEX INDEX AIC, 22, 33 aggregated analysis, 39 between covariance matrix, 42 BIC, 22, 33 CACE, 33 categorical dependent variable, 1-5 categorical growth, 28 CFI, 23 chi square, 21-23, 33-34 chi-square difference testing, 22 clustered data, 39 complete-data loglikelihood, 31 complex sample, 39 convergence criteria, 20, 26, 35, 45 covariance matrix between, 42 within, 43 degrees of freedom, 19, 22-23 disaggregated analysis, 41-45 discrete-time survival analysis, see survival analysis EM algorithm, 26, 31 entropy, 34 estimators, 17-20, 31-32 exploratory factor analysis, 11 factor scores, 47-48 factor score coefficients, 47 factor score determinacy, 47 Fisher information matrix, 32, 35 fit indices, 21-24, 33-35 general model, 7-14, 29-30 growth mixture modeling, 36 growth modeling, 27-28 hierarchical data, see two-level models information matrix, see Fisher information matrix intraclass correlation, 43 latent class growth analysis, 36-37 latent response variable, 2-3 latent variable mixture model, 29-38 latent variable continuous, 29-30 categorical, 29 local maxima, 35 logit, 1-2 maximum-likelihood estimation missing data, 25-26 mixture modeling, 31-32 structural equation modeling, 17 measurement part of the model, 17 missing data, 25-26, 32, 35 model modification indices, 24 model tests, 21-24, 33-35 Monte Carlo, 49-50 multilevel models, see two-level models multinomial logistic regression, 29 multiple group analysis, 17, 18, 21, 25 27 multiple-indicator growth, 28 multiple-population growth, 27 numerical techniques estimators, 20 latent variable mixture, 35-36 missing data, 26 observed-data loglikelihood, 31 57
INDEX odds, odds ratios, 1-2, 4-5 ordered polytomous dependent variable, 3-5 polychoric correlation, 8 polyserial correlation, 8 posterior probabilities, 31 probit, 1-2 proportional-odds model, 4, 29 references, 51-55 RMSEA, 22 RMSR, 23 robust estimation, 19-20 scaling correction factor, 22 scaling parameters of Delta, 9-10 SRMR, 23 standard errors, 17, 18-19, 32 standardized parameters, 15-16 structural part of the model, 8 survival analysis, 37-38 tests of fit, see model tests tetrachoric correlation, see polychoric correlation threshold parameters, 10-11 TLI, 23 training data, 33 two-level models, 41-45 weight matrix, 18-19 weighted least-squares estimation, 17-18 within covariance matrix, 43 WRMR, 23 58