Adatelemzés II. [SST35]

Transcription

1 Adatelemzés II. [SST35] Idősorok 0. Lőw András október 26. Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

2 Vázlat 1 Honnan tudja a summary, hogy éppen mi a dolga? 2 lubridate Dátumok és idők könnyedén 3 Objektumorientáltság az R-ben 4 Egy apró példa S4-ben Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

3 Mellékelt adatok: Orange Így alakult az öt narancsfa átmérője: > summary(orange Tree age circumference 3:7 Min. : Min. : :7 1st Qu.: st Qu.: :7 Median : Median : :7 Mean : Mean : :7 3rd Qu.: rd Qu.:161.5 Max. : Max. :214.0 > str(orange Classes nfngroupeddata, nfgroupeddata, groupeddata and 'data.frame': 35 obs. of 3 variables: $ Tree : Ord.factor w/ 5 levels "3"<"1"<"5"<"2"<..: $ age : num $ circumference: num attr(*, "formula"=class 'formula' length 3 circumference ~ age Tree....- attr(*, ".Environment"=<environment: R_EmptyEnv> - attr(*, "labels"=list of 2..$ x: chr "Time since December 31, 1968"..$ y: chr "Trunk circumference" - attr(*, "units"=list of 2..$ x: chr "(days"..$ y: chr "(mm" Forrás: Draper, N. R. and Smith, H. (1998, Applied Regression Analysis (3rd ed, Wiley (exercise 24.N. Pinheiro, J. C. and Bates, D. M. (2000 Mixed-e ects Models in S and S-PLUS, Springer. Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

4 Így gyarapodtak a narancsfák: 3 Orange dataset by Trees circumference [mm] age [days] Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

5 Az 5 fa 7 alkalommal megmért kerülete: Orange dataset 4 5 count count age circumference age Tree 3 4 count 2 count circumference age Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

6 Mellékelt adatok: Loblolly Ez pedig néhány fenyőfa magasságáról szól: > summary(loblolly height age Seed Min. : 3.46 Min. : : 6 1st Qu.: st Qu.: : 6 Median :34.00 Median : : 6 Mean :32.36 Mean : : 6 3rd Qu.: rd Qu.: : 6 Max. :64.10 Max. : : 6 (Other:48 > str(loblolly Classes nfngroupeddata, nfgroupeddata, groupeddata and 'data.frame': 84 obs. of 3 variables: $ height: num $ age : num $ Seed : Ord.factor w/ 14 levels "329"<"327"<"325"<..: attr(*, "formula"=class 'formula' length 3 height ~ age Seed....- attr(*, ".Environment"=<environment: R_EmptyEnv> - attr(*, "labels"=list of 2..$ x: chr "Age of tree"..$ y: chr "Height of tree" - attr(*, "units"=list of 2..$ x: chr "(yr"..$ y: chr "(ft" Forrás: Kung, F. H. (1986, Fitting logistic growth curve with predetermined carrying capacity, in Proceedings of the Statistical Computing Section, American Statistical Association, Pinheiro, J. C. and Bates, D. M. (2000 Mixed-e ects Models in S and S-PLUS, Springer. Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

7 Így nőttek a fenyőfák: Loblolly dataset Seed height [ft] age [years] Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

8 További summary: Linear Model(1 > summary(swiss Fertility Agriculture Examination Education Catholic Min. :35.00 Min. : 1.20 Min. : 3.00 Min. : 1.00 Min. : st Qu.: st Qu.: st Qu.: st Qu.: st Qu.: Median :70.40 Median :54.10 Median :16.00 Median : 8.00 Median : Mean :70.14 Mean :50.66 Mean :16.49 Mean :10.98 Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.: rd Qu.: Max. :92.50 Max. :89.70 Max. :37.00 Max. :53.00 Max. : Infant.Mortality Min. : st Qu.:18.15 Median :20.00 Mean : rd Qu.:21.70 Max. :26.60 > summary(lm(fertility ~., data = swiss Call: lm(formula = Fertility ~., data = swiss Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t (Intercept e-07 *** Agriculture * Examination Education e-05 *** Catholic ** Infant.Mortality ** --- Signif. codes: 0 *** ** 0.01 * Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

9 További summary: Generalized Linear Model(2 Treat Prewt Postwt CBT :29 Min. :70.00 Min. : Cont:26 1st Qu.: st Qu.: FT :17 Median :82.30 Median : Mean :82.41 Mean : rd Qu.: rd Qu.: Max. :94.90 Max. : > summary(glm(postwt ~ Prewt + Treat + offset(prewt, family = gaussian, data = anorexia Call: glm(formula = Postwt ~ Prewt + Treat + offset(prewt, family = gaussian, data = anorexia Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t (Intercept *** Prewt *** TreatCont * TreatFT * --- Signif. codes: 0 *** ** 0.01 * (Dispersion parameter for gaussian family taken to be Null deviance: on 71 degrees of freedom Residual deviance: on 68 degrees of freedom AIC: Number of Fisher Scoring iterations: 2 Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

10 További summary: table (3 > apply(ucbadmissions, c(1, 2, sum Gender Admit Male Female Admitted Rejected > UCBAdmissions,, Dept = A Gender Admit Male Female Admitted Rejected ,, Dept = B Gender Admit Male Female Admitted Rejected 207 8,, Dept = C Gender Admit Male Female Admitted Rejected > summary(ucbadmissions Number of cases in table: 4526 Number of factors: 3 Test for independence of all factors: Chisq = , df = 16, p-value = 0 > apply(ucbadmissions, 3, function(u summary(as.table(u $A Number of cases in table: 933 Number of factors: 2 Test for independence of all factors: Chisq = , df = 1, p-value = 3.28e-05 $B Number of cases in table: 585 Number of factors: 2 Test for independence of all factors: Chisq = , df = 1, p-value = $C Number of cases in table: 918 Number of factors: 2 Test for independence of all factors: Chisq = , df = 1, p-value = $D Number of cases in table: 792 Number of factors: 2,, Dept = D Test for independence of all factors: Chisq = , df = 1, p-value = Gender Admit Male Female $E Admitted Number of cases in table: 584 Rejected Lőw A (low.andras@gmail.com Number Adatelemzés of factors: II. [SST35] október / 24

11 Vázlat 1 Honnan tudja a summary, hogy éppen mi a dolga? 2 lubridate Dátumok és idők könnyedén 3 Objektumorientáltság az R-ben 4 Egy apró példa S4-ben Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

12 Mire jó a lubridate csomag? Az alap R: > ( r.date <- as.posixct(' ', format = '%d-%m-%y', tz = 'UTC' [1] " UTC" > as.numeric(format(r.date, '%m' [1] 1 > r.date <- as.posixct(format(r.date, '%Y-2-%d', tz = 'UTC' > r.date [1] " UTC" > seq(r.date, length = 2, by = '-1 day'[2] [1] " UTC" > as.posixct(format(as.posixct(r.date, tz = 'UTC', tz = 'GMT' [1] " GMT" A lubridate csomag: > ( l.date <- dmy(' ' [1] " UTC" > month(l.date [1] 1 > month(l.date <- 2 > l.date [1] " UTC" > l.date - days(1 [1] " UTC" > with_tz(l.date, 'GMT' [1] " GMT" Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

13 Vázlat 1 Honnan tudja a summary, hogy éppen mi a dolga? 2 lubridate Dátumok és idők könnyedén 3 Objektumorientáltság az R-ben 4 Egy apró példa S4-ben Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

14 Rövid történelem Az első megoldás 1990 körül jelent meg az S 3-as verziójában, ezért S3. A következő verzióban vezették be a többszörös argumentumokat, javítottak az öröklődésen és absztraktabb lett: S4. Tavaly lépett tovább ezen is az R: R5. Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

15 Vázlat 1 Honnan tudja a summary, hogy éppen mi a dolga? 2 lubridate Dátumok és idők könnyedén 3 Objektumorientáltság az R-ben 4 Egy apró példa S4-ben Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

16 Fogyókúra-napló (1 Először készítsünk házilag idősort! Kell hozzá: kezdő időpont, záró időpont, adat (természetesen. > setclass('timeseries', representation( data = 'numeric', start = 'POSIXct', end = 'POSIXct' [1] "TimeSeries" > my.timeseries <- new('timeseries', data = c(1, 2, 3, 4, 5, 6, start = as.posixct('10/01/2011 0:00:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S', end = as.posixct('10/01/2011 0:05:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S' > my.timeseries An object of class "TimeSeries" Slot "data": [1] Slot "start": [1] " UTC" Slot Lőw"end": A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

17 Fogyókúra-napló (2 Mikor érvényes egy idősor? van kezdő időpontja, van záró időpontja, akezdetazárásnálkorábbi(természetesen. > setvalidity('timeseries', function(object { object@start <= object@end && length(object@start == 1 && length(object@end == 1 } Class "TimeSeries" [in ".GlobalEnv"] Slots: Name: data start end Class: numeric POSIXct POSIXct > validobject(my.timeseries [1] TRUE Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

18 Fogyókúra-napló (3 Most már minden újabb elem felvételekor automatikusan lefut az érvényesség ellenőrzése is. Nem lehetünk ezért elég hálásak! > good.timeseries <- new('timeseries', data = c(7, 8, 9, 10, 11, 12, start = as.posixct('10/01/2011 0:06:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S', end = as.posixct('10/01/2011 0:11:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S' > bad.timeseries <- new('timeseries', data = c(7, 8, 9, 10, 11, 12, start = as.posixct('10/01/2011 0:06:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S', end = as.posixct('10/01/2008 0:11:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S' Error in validobject(.object : invalid class "TimeSeries" object: FALSE Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

19 Fogyókúra-napló (4 Mekkora időszakot fog át az idősorunk? Mik az adatok? Az első függvényeink [method] az új osztályhoz. > period.timeseries <- function(object { if (length(object@data > 1 { (object@end - object@start / (length(object@data - 1 } else { Inf } } > series <- function(object {object@data} > setgeneric('series' [1] "series" > series(my.timeseries [1] > showmethods('series' Function: series (package.globalenv object="any" object="timeseries" (inherited from: object="any" Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

20 Fogyókúra-napló (5 Kössük a period.timeseries-t, a TimeSeries osztályhoz! > period <- function(object {object@period} > setgeneric('period' [1] "period" > setmethod(period, signature = 'TimeSeries', definition = period.timeseries [1] "period" attr(,"package" [1] ".GlobalEnv" > showmethods('period' Function: period (package.globalenv object="any" object="timeseries" > period(my.timeseries [1] :01:00 Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

21 Fogyókúra-napló (6 A summary és a darabolás [ nem maradhat ki! > setmethod('summary', signature = 'TimeSeries', definition = function(object { print(paste(object@start, ' to ', object@end, sep = '', collapse = '' print(paste(object@data, sep = '', collapse = ', ' } [1] "summary" > summary(my.timeseries [1] " to :05:00" [1] "1, 2, 3, 4, 5, 6" > # > setmethod('[', signature = 'TimeSeries', definition = function(x, i, j,..., drop { x@data[i] } [1] "[" > my.timeseries[3] [1] 3 Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

22 Fogyókúra-napló (7 Eddig még szó sem volt a naplóról! > setclass('weighthistory', representation( height = 'numeric', name = 'character', contains = 'TimeSeries' [1] "WeightHistory" > john.doe <- new('weighthistory', data = c(170, 169, 171, 168, 170, 169, start = as.posixct('08/14/2011 0:00:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S', end = as.posixct('09/28/2011 0:00:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S', height = 72, name = 'John Doe' > john.doe An object of class "WeightHistory" Slot "height": [1] 72 Slot "name": [1] "John Doe" Slot "data": [1] Slot "start": [1] " UTC" Slot "end": [1] " UTC" Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

23 Fogyókúra-napló (8 További öröklések: > setclass( 'Person', representation( height = 'numeric', name = 'character' [1] "Person" > # > setclass( 'AltWeightHistory', contains = c('timeseries', 'Person' [1] "AltWeightHistory" > # > setclass( 'Cat', representation( breed = 'character', name = 'character' [1] "Cat" > # > setclassunion( 'NamedThing', c('person','cat' [1] "NamedThing" Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24

24 Fogyókúra-napló (9 Minden együtt: > jane.doe <- new('altweighthistory', data = c(130, 129, 131, 128, 130, 129, start = as.posixct('08/14/2011 0:00:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S', end = as.posixct('09/28/2011 0:00:00', tz = 'CEST', format = '%m/%d/%y %H:%M:%S', height = 67, name = 'Jane Doe' > jane.doe An object of class "AltWeightHistory" Slot "data": [1] Slot "start": [1] " UTC" Slot "end": [1] " UTC" Slot "height": [1] 67 Slot "name": [1] "Jane Doe" > is(jane.doe,'namedthing' [1] TRUE > is(john.doe,'timeseries' [1] TRUE Lőw A (low.andras@gmail.com Adatelemzés II. [SST35] október / 24