1944年に高雄の貧しい農家に生まれた黄光男だが、花を愛する両親が美しい庭を造り、祖母が巧みに編む竹の笠が、黄光男の美意識を養った。妻が最初に婚家を訪れた時には、「あなたの家は貧乏ではなかったの。こんなにきれいな庭があるなんて」と驚いたという。
長男の黄光男は幼いころから農作業を手伝い、料理に洗濯、弟妹の世話まで引き受け、その農作業の合間に勉強するしかなかった。「田植にも本を携え、一列植えると頭を上げてちょっと読み、また田植を続けました」と、辛く孤独な農作業を語る。そこで田圃の水鳥やミミズなどの動物を友とし、一人で話しかける人もいないので、動物に話しかけたと笑う。
汗水垂らして過ごした子供時代が黄光男の鋭敏な観察力を養い、大地に身を置き、自然環境の美と無限の生命力を感じ取った。田圃から見渡す八卦山、半屏山、大武山が連なる山波の緑は、深く浅くきらめき、その美しさへの感動を描いてきたと黄光男は話す。
家が貧しく画筆を変えなかったので、地面を紙に枝を筆にして、目の前の事物を絵にした。本物の紙に触れるまで、黄光男は何回となく絵を描いていたのである。最初に紙に向きあったのは黄光男が小4の時であった。先生は黒板に手本の野菜の絵を掛け模写をさせたのだが、黄光男は10分足らずで描き終り、ほかの絵を描き始めた。野菜の絵を描くように先生は叱りつけ、黄光男が抽斗から野菜の絵を出して見せると、ほかの人が描いたのだろうと疑った。「先生はそんなに速く描けるはずはないというのです」と黄光男は言う。
これ以降、学校の壁新聞の絵はすべて黄光男の役目となり、同級生の美術の宿題も、黄光男が手伝い、「同級生に描いた絵の点数は、私の絵より高いこともありました」と笑う。
黄光男の絵の才能を見出したのは中学の恩師蒋青融だが、自分の一生を変えた日の1960年3月18日に、蒋先生は彼を自宅に招き絵を描かせた。先生は、その作品を屏東県のコンテストに送り、第2位を受賞し、ここから彼は美術の道に進むことになったのである。