O L A P a n d S t a t i s t i c a l D a t a b a s e s : S i m i l a r i t i e s a n d D i f f e r e n c e s
1
A r i e S h o s h a n i
L a w r e n c e B e r k e l e y N a t i o n a l L a b o r a t o r y
B e r k e l e y , C a l i f o r n i a 9 4 7 2 0
s h o s h a n i @ l b l . g o v

1
A s h o r t e n e d v e r s i o n o f t h i s p a p e r i s p u b l i s h e d i n A C M T O D S 1 9 9 7
A b s t r a c t
D u r i n g t h e 1 9 8 0 ' s t h e r e w a s a l o t o f a c t i v i t y i n t h e a r e a o f
S t a t i s t i c a l D a t a b a s e s , f o c u s i n g m o s t l y o n s o c i o - e c o n o m i c
t y p e a p p l i c a t i o n s , s u c h a s c e n s u s d a t a , n a t i o n a l p r o d u c t i o n
a n d c o n s u m p t i o n p a t t e r n s , e t c . I n t h e 1 9 9 0 ' s t h e a r e a o f
O n - L i n e - A n a l y t i c P r o c e s s i n g ( O L A P ) w a s i n t r o d u c e d f o r
t h e a n a l y s i s o f t r a n s a c t i o n b a s e d b u s i n e s s d a t a , s u c h a s
r e t a i l s t o r e s t r a n s a c t i o n s . B o t h a r e a s d e a l w i t h t h e
r e p r e s e n t a t i o n a n d s u p p o r t o f d a t a i n a m u l t i - d i m e n s i o n a l
s p a c e . M u c h o f t h e O L A P l i t e r a t u r e d o e s n o t r e f e r t o t h e
S t a t i s t i c a l D a t a b a s e l i t e r a t u r e , p e r h a p s b e c a u s e t h e
c o n n e c t i o n b e t w e e n a n a l y z i n g b u s i n e s s d a t a a n d s o c i o -
e c o n o m i c d a t a i s n o t o b v i o u s . F u r t h e r m o r e , t h e r e a r e
p a p e r s p u b l i s h e d i n o n e a r e a o r t h e o t h e r w h o s e r e s u l t s c a n
b e a p p l i e d i n b o t h a p p l i c a t i o n a r e a s .
I n t h i s p a p e r , w e c o m p a r e t h e w o r k d o n e i n t h e s e t w o a r e a s .
W e d i s c u s s c o n c e p t s u s e d i n t h e c o n c e p t u a l m o d e l i n g o f t h e
d a t a a n d o p e r a t i o n s o v e r t h e m , e f f i c i e n t p h y s i c a l
o r g a n i z a t i o n a n d a c c e s s m e t h o d s , a s w e l l a s p r i v a c c y i s s u e s .
W e p o i n t o u t t h e t e r m i n o l o g y u s e d a n d t h e c o r r e s p o n d e n c e
b e t w e e n t e r m s . W e i d e n t i f y w h i c h r e s e a r c h a s p e c t s a r e
e m p h a s i z e d i n e a c h o f t h e s e a r e a s a n d t h e r e a s o n s f o r t h a t .
W e c o n c l u d e b y a r g u i n g f o r t h e s u p p o r t o f a S t a t i s t i c a l
O b j e c t d a t a t y p e a s o n e o f t h e f u n d a m e n t a l s t r u c t u r e s t h a t
o b j e c t - o r i e n t e d d a t a m o d e l s a n d s y s t e m s s h o u l d s u p p o r t .
1 I n t r o d u c t i o n
B o t h O L A P ( O n - L i n e A n a l y t i c a l P r o c e s s i n g ) a n d S t a t i s t i c a l
D a t a b a s e s ( S D B s ) d e a l w i t h m u l t i d i m e n s i o n a l d a t a s e t s , a n d
b o t h a r e c o n c e r n e d w i t h s t a t i s t i c a l s u m m a r i z a t i o n s o v e r t h e
d i m e n s i o n s o f t h e d a t a s e t s . M u c h o f t h e w o r k o n S D B s
t o o k p l a c e i n t h e 1 9 8 0 ’ s b u t c o n t i n u e s t i l l t o d a y , w h i l e
O L A P d a t a b a s e w o r k s t a r t e d m o s t l y i n t h e 1 9 9 0 ’ s . Y e t ,
d e s p i t e t h e s i m i l a r i t i e s i n c o n c e p t s t h e t w o c o m m u n i t i e s d o
n o t , b y a n d l a r g e , r e f e r t o e a c h o t h e r ’ s w o r k .
W e e x p l o r e i n t h i s p a p e r , t h e r e a s o n s f o r t h i s s t a t e o f
a f f a i r s . S o m e c a n b e t r a c e d t o t h e a p p l i c a t i o n s t h a t
m o t i v a t e e a c h . S o m e c a n b e e x p l a i n e d b y t h e d i f f e r e n t
a s p e c t s e m p h a s i z e d i n e a c h . F o r e x a m p l e , m u c h o f t h e
w o r k i n S D B s c o n c e n t r a t e d o n c o n c e p t u a l m o d e l i n g , w h i l e
m o s t o f t h e w o r k i n O L A P c o n c e n t r a t e d o n a c c e s s
p e r f o r m a n c e .
W e s t a r t , i n s e c t i o n 2 , w i t h a c o u p l e o f i l l u s t r a t i v e e x a m p l e
o f S D B s a n d O L A P d a t a b a s e s , a n d e x p o s e t h e c o n c e p t u a l
s i m i l a r i t y b e t w e e n t h e m . I n s e c t i o n 3 , w e d e s c r i b e t y p i c a l
a p p l i c a t i o n a r e a s i n S D B s a n d O L A P , a n d d i s c u s s
s i m i l a r i t i e s a s w e l l a s d i f f e r e n c e s i n s u c h a p p l i c a t i o n s . I n
S e c t i o n 4 , w e i l l u s t r a t e t h e v a r i o u s w a y s t h a t O L A P a n d
S D B s h a v e r e p r e s e n t e d t h e i r c o n c e p t u a l m o d e l s t r u c t u r e s ,
a n d i n S e c t i o n 5 , w e d i s c u s s c o n c e p t u a l o p e r a t o r s . W e a l s o
s h o w t h e c o r r e s p o n d e n c e o f d i f f e r e n t t e r m s u s e d i n b o t h
a r e a s . I n s e c t i o n 6 , w e d i s c u s s t h e m a i n i d e a s p r o p o s e d i n
S D B s a n d O L A P f o r p h y s i c a l o r g a n i z a t i o n a n d i n d e x i n g t o
a c h i e v e e f f i c i e n t s t o r a g e a n d a c c e s s . I n s e c t i o n 7 , w e
b r i e f l y d i s c u s s p r i v a c y i s s u e s a n d p r o p o s e d t e c h n i q u e s . W e
c o n c l u d e w i t h a s u m m a r y a n d t h e r e a s o n s w h y a S t a t i s t i c a l
D a t a o b j e c t s h o u l d b e s u p p o r t e d a s a s p e c i a l i z e d d a t a t y p e
f o r s y s t e m s t h a t s u p p o r t s t a t i s t i c a l s u m m a r i z a t i o n .
W e w i s h t o p o i n t o u t t h a t t h e r e f e r e n c e s u s e d i n t h i s p a p e r s
a r e i n t e n d e d t o b e i l l u s t r a t i v e o f t h e c o n c e p t s d i s c u s s e d ,
r a t h e r t h a n c o m p r e h e n s i v e . W e a p o l o g i z e i f w e l e f t o u t
o t h e r r e l e v a n t r e f e r e n c e s .
2 E x a m p l e s o f S D B s a n d O L A P D a t a b a s e s
W e d e s c r i b e i n t h i s s e c t i o n a n e x a m p l e o f t h e t r a d i t i o n a l 2 -
d i m e n s i o n a l ( 2 - D ) r e p r e s e n t a t i o n o f S D B s , f o l l o w e d b y a
d a t a c u b e r e p r e s e n t a t i o n o f O L A P d a t a b a s e s , a n d s h o w t h e
c o r r e s p o n d e n c e i n c o n c e p t s .
2 . 1 T h e t r a d i t i o n a l r e p r e s e n t a t i o n o f S t a t i s t i c a l D a t a b a s e s
C o n s i d e r t h e d a t a s e t r e p r e s e n t e d i n F i g u r e 1 a s a 2 - D t a b l e ,
t a k e n f r o m [ R S 9 0 ] . I t s h o w s “ E m p l o y m e n t i n C a l i f o r n i a ”
b y “ s e x ” b y “ y e a r ” b y “ p r o f e s s i o n ” ( t h e n u m b e r s a r e
f i c t i t i o u s ) . T h i s f o r m o f r e p r e s e n t i n g m u l t i d i m e n s i o n a l
t a b l e s i s v e r y p o p u l a r i n t h e S t a t i s t i c s a r e a , p e r h a p s b e c a u s e
i n t h e e a r l y d a y s i t w a s o n l y p o s s i b l e t o r e p r e s e n t
i n f o r m a t i o n o n p a p e r a n d t h u s t h e 2 - D r e s t r i c t i o n .
T h e r e a r e s e v e r a l i t e m s t o n o t e i n t h i s e x a m p l e :
( i ) B y n e c e s s i t y , m o r e t h a n o n e d i m e n s i o n m u s t b e
r e p r e s e n t e d b y t h e r o w s a n d t h e c o l u m n s i f m o r e t h a n 2
d i m e n s i o n s e x i s t i n t h e d a t a s e t . T h i s i s a c c o m p l i s h e d b y
s e l e c t i n g a n a r b i t r a r y o r d e r o f t h e d i m e n s i o n s f o r t h e r o w s

2a n d t h e c o l u m n s . I n F i g u r e 1 , t h e r o w s r e p r e s e n t t h e t w o
d i m e n s i o n s “ s e x ” a n d “ y e a r ” , w h i c h w e r e a r b i t r a r i l y o r d e r e d
“ s e x ” f i r s t , t h e n “ y e a r ” .
E n g i n e e r S e c re t a r y T e a c h e r
P r o f e s s i o n P r o f e s s i o n P r o f e s s i o n
C h e m i c a l C i v i l J u n i o r E x e c u t i v e El e m e n t a r y h i g h s c h o o l
E n g i n e e r E n g i n e e r S e c re t a r y S e c r e t a r y T e a c h e r T e a c h e r
P r o f e s s i o n a l C l a s s
E m p l o y m e n t
i n C a l i fo r n i a
9 1
9 2
. .
8 8
Y e a r
Y e a r
M a l e
Fe ma l e
S e x
1 9 7 , 7 0 0 2 4 1 , 1 0 0 5 3 4 , 3 0 0 1 5 4 , 1 0 0 2 1 2 , 9 4 3 1 2 3 , 7 4 0
2 0 9 , 9 0 0 2 7 8 , 0 0 0 5 4 2 , 1 0 0 1 6 9 , 8 0 0 2 1 3 , 5 2 1 1 4 5 , 7 6 6
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 3 7 , 8 0 0 4 3 9 , 2 0 0 5 5 0 , 1 0 0 2 9 3 , 7 0 0 2 1 6 , 2 3 0
2 5 , 8 0 0 1 1 2 , 0 0 0 6 6 7 , 3 0 0 1 6 2 , , 3 0 0 2 1 6 , 0 7 1 2 7 5 , 1 2 3
2 8 , 9 0 0 1 2 7 , 6 0 0 6 9 2 , 5 0 0 1 7 4 , 4 0 0 2 1 7 , 5 2 0 2 9 9 , 3 4 4
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 9 , 8 0 0 1 9 4 , 1 0 0 8 1 1 , 5 0 0 2 4 2 , 6 0 0 2 2 1 , 0 6 7
9 1
9 2
. .
8 8
F i g u r e 1 : a 2 - D r e p r e s e n t a t i o n o f s t a t i s t i c a l d a t a
( i i ) T h e c o l u m n s i n t h i s e x a m p l e d o n o t r e p r e s e n t 2
d i m e n s i o n s , a l t h o u g h t h e i r l a y o u t l o o k s e x a c t l y t h e s a m e
a s f o r t h e r o w s . R a t h e r , “ p r o f e s s i o n a l c l a s s ” a n d
“ p r o f e s s i o n ” r e p r e s e n t a h i e r a r c h i c a l r e l a t i o n s h i p b e t w e e n
t h e i n s t a n c e s o f “ p r o f e s s i o n a l c l a s s ” ( e . g . “ e n g i n e e r ” ) a n d
t h e i n s t a n c e s o f t h e “ p r o f e s s i o n ” ( e . g . “ c i v i l e n g i n e e r ” ) .
T h i s s t r u c t u r e i s o f t e n r e f e r r e d t o a s a “ c l a s s i f i c a t i o n
h i e r a r c h y ” . T h i s c a n b e e a s i l y v e r i f i e d b y r e a l i z i n g t h a t t h e
m e a s u r e i n a c e l l o f t h i s t a b l e r e f e r s t o 3 d i m e n s i o n s o n l y
( s e x , y e a r , p r o f e s s i o n ) , n o t 4 . F o r e x a m p l e , 2 8 7 , 0 0 0 r e f e r s
t o t h e n u m b e r o f m a l e c i v i l e n g i n e e r s e m p l o y e d i n 1 9 9 2 .
( i i i ) T h e l a b e l “ E m p l o y m e n t i n C a l i f o r n i a ” r e p r e s e n t s t h e
s u m m a r y m e a s u r e f o r t h i s d a t a s e t b e i n g “ E m p l o y m e n t ” ,
b u t i t a l s o s a y s t h a t t h i s d a t a s e t h a s a n a d d i t i o n a l d i m e n s i o n
“ s t a t e ” w h e r e t h e i n s t a n c e v a l u e s e l e c t e d i s a s i n g l e t o n
“ C a l i f o r n i a ” . I n d e e d , d a t a s e t m a y b e o n l y o n e “ p a g e ” o f a
c o l l e c t i o n o f p a g e s e a c h r e p r e s e n t i n g a n o t h e r s t a t e .
( i v ) T h e r e i s a s u m m a r y f u n c t i o n i m p l i e d w i t h t h i s d a t a s e t
f o r f u r t h e r s u m m a r i z a t i o n i s d o n e ( s u c h a s o v e r “ s e x ” o r
“ p r o f e s s i o n ” ) . I n t h i s c a s e t h e s u m m a r y f u n c t i o n i s “ s u m ” .
W e n o t e t h a t w h i l e “ s e x ” a n d “ y e a r ” i s a o n e l e v e l
s u m m a r i z a t i o n , t h e s u m m a r i z a t i o n o v e r “ p r o f e s s i o n ” c a n b e
d o n e t o t h e “ p r o f e s s i o n a l c l a s s ” l e v e l o r o v e r a l l p r o f e s s i o n s
a n d a l l p r o f e s s i o n a l c l a s s e s . T h i s i s b e c a u s e o f t h e
c l a s s i f i c a t i o n h i e r a r c h y s t r u c t u r e .
T o s u m m a r i z e , t h i s d a t a s e t h a s t h e f o l l o w i n g c o n c e p t u a l
s t r u c t u r e :
S u m m a r y m e a s u r e : e m p l o y m e n t
S u m m a r y f u n c t i o n : s u m
D i m e n s i o n s : s e x , y e a r , p r o f e s s i o n , s t a t e = C a l i f o r n i a
C l a s s i f i c a t i o n h i e r a r c h y : p r o f e s s i o n a l c l a s s - - > p r o f e s s i o n
N o t e : w e u s e t h e n o t a t i o n “ - - > ” t o m e a n o n e - t o - m a n y , a s
i n : e a c h “ p r o f e s s i o n a l c l a s s ” h a s m a n y “ p r o f e s s i o n s ” .
2 . 2 A n O L A P e x a m p l e u s i n g a d a t a c u b e m o d e l
I n F i g u r e 2 w e s h o w a t y p i c a l e x a m p l e o f a n O L A P
d a t a b a s e , r e p r e s e n t e d a s a m u l t i d i m e n s i o n a l “ c u b e ” .
O b v i o u s l y , t h i s g r a p h i c a l r e p r e s e n t a t i o n c a n o n l y b e u s e d
f o r u p t o 3 d i m e n s i o n s . B u t , i t i s u s e f u l f o r i l l u s t r a t i v e
p u r p o s e d . T h i s d a t a c u b e e x a m p l e c o n t a i n s t h e “ q u a n t i t y
s o l d ” ( i n d o l l a r s ) f o r a p a r t i c u l a r s t o r e c h a i n , f o r e a c h
“ p r o d u c t ” b y “ s t o r e ” b y “ d a y ” .
W e n o t e t h e f o l l o w i n g :
( i ) T h e d i m e n s i o n “ s t o r e l o c a t i o n ” h a s a n a t u r a l h i e r a r c h y
t o i t . “ S t o r e l o c a t i o n ” h a s t w o c o m p o n e n t s : “ c i t y ” a n d
“ s t o r e n u m b e r ” . S i n c e s t o r e s a r e o r g a n i z e d a c c o r d i n g t o t h e
c i t y t h e y a r e l o c a t e d i n , t h e h i e r a r c h y c i t y - - > s t o r e e x i s t s .
T h e a c t u a l m e a s u r e s a r e f o r p a r t i c u l a r s t o r e s , a n d c o u l d b e
s u m m a r i z e d t o a c i t y l e v e l i f w e s o d e s i r e . H o w e v e r , i f
s t o r e n u m b e r s ( o r s o m e o t h e r i d e n t i f i e r ) a r e n o t g l o b a l l y
u n i q u e , t h e n o n e n e e d s t o c o n c a t e n a t e “ c i t y , s t o r e n u m b e r ”
t o m a k e i t u n i q u e . F o l l o w i n g t h e t e r m i n o l o g y o f E R
m o d e l s , o n e c a n s a y t h a t t h e r e e x i s t s a n “ I D d e p e n d e n c y ”
o f s t o r e o n c i t y .


5 6
p r o d u c t
t i m e = y e a r , m o n t h , d a y
s t o r e l o c a t i o n :
c i t y , s t o r e #
b a n a n a
s e a t t l e , s # 1
1 3 N o v , 1 9 9 6
Q u a n t i t y S o l d
F i g u r e 2 : a “ d a t a c u b e ” r e p r e s e n t a t i o n o f O L A P d a t a
( i i ) T h e d i m e n s i o n “ d a y ” i s a n o t h e r e x a m p l e o f a n “ I D
d e p e n d e n t ” c l a s s i f i c a t i o n h i e r a r c h y . G i v e n t h a t d a y i s
i d e n t i f i e d w i t h i t s m o n t h a n d y e a r ( e . g . 1 3 N o v . , 1 9 9 6 ) ,
t h e n i t i s I D d e p e n d e n t o n t h e m o n t h ( N o v . , 1 9 9 6 ) w h i c h
i n t u r n i s d e p e n d e n t o n t h e y e a r ( 1 9 9 6 ) . T h u s , i t c a n b e
t r e a t e d a s a 3 l e v e l c l a s s i f i c a t i o n h i e r a r c h y f o r t h e p u r p o s e
o f s u m m a r i z a t i o n t o t h e m o n t h o r t h e y e a r l e v e l .
( i i i ) T h e s u m m a r y m e a s u r e “ q u a n t i t y s o l d ” h a s a u n i t
a s s o c i a t e d w i t h i t : d o l l a r s . T h i s i s n o t u n u s u a l f o r S D B s a s
w e l l , s u c h a s a m e a s u r e f o r “ a v e r a g e i n c o m e ” ( i n d o l l a r s )