中國自古以來就有五行的說法和應用，五行分別對應著五個方位。古代廁所建造在北面偏東的位置，廚房要建造在南面偏東。因此，去南方時，習慣說南下(例如：乾隆七下下江南/上雲南，下貴州/上北京，南下廣州……);去北方時，習慣說北上(北上抗日/上北京/北上天津……)。
自此，當要去廁所時要去院子的北面，所以說上廁所。當要去廚房時，要去院子的南面，所以說下廚房。
此外，「上廁所、下廚房」還有和人類穴居有關係(廁所有味道，所以建在高處;廚房除了做飯，還可以供暖，所以建在低處，甚至洞穴，地底下)以及古代廁所的構造和階級觀念有關(農耕時代，每家每戶都要囤積農肥，都會在建造廁所時和豬圈建在一起，上層時廁所，下層是豬圈，今天農村農戶建造的沼氣池，都在豬圈的下面或旁邊，只是廁所建在了豬圈旁邊而已，所以才有了「上廁所」一說;在古代，掌握文化的一般都是階層比較高的皇族、士大夫、官員以及封建大地主，其餘底層的人民為了求生會到這些階層家庭里做工，被稱為了「下人」，而下廚房的恰恰是被皇族、士大夫、官員以及封建大地主稱為的「下人」，所以有了「下廚房」一說。)。