2016年6月30日 星期四

面訪調查走一遭-事前準備:執行計畫

有多少時間做多少事。所以,開始一個調查前,最先要做的事情就是擬定執行計畫。

    準備期到底要多長,這將與問卷的長度、樣本的規模、調查的程序方法等因素息息相關。通常,研究計畫都有時間限制,因此調查期間大概可以最先訂下來,接著,就是開始往回倒推一件一件事情塞進去了。先決定要做哪些事情,然後估計每件事情所需的時間。將程序以列表的方式依序列出,最好也列上每件事的負責人,方便大家知道自己什麼時候該做什麼事。
    首先,便是要決定調查程序,這是整個調查的大綱。PSFD近年發展出一套大致固定的調查程序,依序是:問卷設計(含樣本規劃)、申請IRB認證、編輯預試文件、預試(認知訪談)、問卷修改、IRB計畫變更程序、編輯正式訪問文件、正式訪問、複查、資料修正、釋出。其中,這每一項又有非常多的細節需考慮。
    問卷設計階段,主要是研究者們把要問的問題設計出來,同時也需決定調查的對象、樣本數、如何抽樣等問題。這個階段究竟需要安排多少時間,會跟問卷的長度、內容及研究團隊的專注度有關係。PSFD大約安排半年的時間,以每兩星期開一次會、每次2-3小時的節奏進行討論。
    在程序中,我安排了兩次IRB審查的時間,主要是整個調查計畫初步定稿後,還會進行一些測試,測試完成後勢必會進行問卷修正。因此,在首次申請IRB通過後,在計畫執行前,我仍然安排了一次修正的行程。至於IRB審查需要花多少時間,則需看審查單位而定。一般而言,申請會預估大概一個月的時間;變更則比較快,只要不是大幅變更,大概一至二星期即可完成。
    在申請通過IRB的認證後,我們就可以開始進行預試。預試的形式、規模,甚至是否需要進行,都可視研究的需要而定。PSFD的預試歷經多個階段,各有不同的做法。最初,PSFD是以整份主問卷進行預試,以新抽樣的方式大約完成200個case。不過由於PSFD是追蹤調查,以新樣本訪問的方式將無法測試追蹤的題目是否有效。因此,後來也曾嘗試過建立小規模追蹤樣本的方式進行預試。當時的進行方式,是將完成的200案中分一半,一半為前一波訪問預試完成的case,另外一半則新抽。為了不過度打擾這些測試的受訪者,每位受訪者只問2次後及不再打擾。因此,每次預試都會有一半是前一次完訪的樣本,另一半新抽,而新抽的這一批將會在下次預試時再問一次。但這樣的成本是很高的,另外,也是因為PSFD是追蹤的關係,有大部分的題目每年都相同,似乎沒有重複不斷測試的必要。因此,後來又進一步改為僅針對當年修改或新增題目進行認知訪談的方式進行預試,這也是目前的執行方式。預試的執行,訪員與受訪者的感受是十分重要的。因此,無論以何種方式進行,都必須實際瞭解訪員及受訪者的心得,做為後續問卷修正的參考。
    而預試後的問卷修改,通常已經與正式執行非常接近了,必須快刀斬亂麻,通常安排1到2次會議就必須定稿。編輯訪問文件,則會視不同的訪問方式而需要不同的處理時間,這部分細節將於後面討論「調查文件、工具及訓練準備」再詳述。
    正式訪問所需的時間則會按照訪問的規模及範圍而有所不同。PSFD由於是追蹤調查,樣本較為分散,另外也希望能盡可能找到受訪者,因此安排的訪問期間較長(約8週),甚至還會因為少數個案而進一步延長。
    「複查」是為了確保訪問品質而再次向受訪者確認的工作。一般而言,複查的時程與訪問是重疊的。開始的時間將視資料回傳的速度及後端人力處理的速度而定。電腦訪問,由於資料回傳的速度較快,大約可在正式訪問開始後的第三週開始進行複查。紙本訪問由於多了問卷寄回及key in的時間,可能必須延至第五週展開。但複查不宜與正式訪問相隔太久時間,避免受訪者記憶模糊。
    最後,資料修正則可分為兩個部分。分別為調查期間的資料檢核及調查結束後的資料修正。PSFD近年的執行程序,會在問卷定稿後,同步進行訪問系統的問卷編輯與資料檢核程式的撰寫。訪問時,每批資料回傳便可立即進行檢核。而訪問完成後,則會進行資料的細部修正,這部分就比較沒有時效的壓力了。
 

2016年6月25日 星期六

面訪調查走一遭-緣起

這是一個寫作計畫。
    雖然內容與合併資料系統的開發無關,但這是我在這個計畫多年,執行多次面防調查的心得。也算是可以沾上一點邊吧!
    會想要寫這一系列的文章,主要是最近遇到幾位新進的同事,被主管交代執行面防調查計畫,但卻無從下手。我不得不說,主管可能太輕忽了執行層面了。做一個調查,除了設計問卷、抽樣、分析這些屬於研究者的工作外,執行層面的細節更是千頭萬緒,絕非一個沒有經驗的菜鳥可以勝任的。寫這一系列文章,除了記錄我這部分工作的心得外,也希望讓後進的菜鳥們一個心理準備,知道有多少事情在前方等著你;更希望告訴計畫主持人們,體恤下屬,別把事情想得太簡單。
    這是PSFD執行的程序,並不代表面訪調查的SOP。調查執行是很有彈性的,一切都會因為預算、執行目的、規模、時間、地點、調查工具而有所改變。即使像是PSFD這樣固定執行的調查計畫,每次執行都仍然會遇到不同的情況必須因時制宜的情形。
    接下來就先大致說明一下PSFD的基本概況吧!資料庫樣本數在八千人左右(實際完成約6~7千人),雖然沒有政府調查動輒幾萬樣本得轟轟烈烈,但在學術調查中應已屬於中大型規模。追蹤調查的設計,執行層面屬於較複雜的案例。而在時間、經費與許的情形下,大致的執行程序也算是符合教科書的典型標準,因此應該有某程度的參考價值。另外,值得一提的是,PSFD並非獨立完成整個調查計畫,而是與一個專責調查單位合作完成。 雙方的合作模式大致是:由計畫小組設計整個調查計畫,田野的部分交由調查單位執行,最後再將調查完成的資料交給計畫小組做後續整理。訪員的招募、基本訪問技巧訓練、訪問進度掌控皆由調查單位負責。這些部分,又是另一個專業了,我雖然因為雙方緊密合作而有所涉獵,但畢竟涉入不深;因此,後續的內容雖會提及,但也僅止於點到為止。這一系列的文章,將以計畫小組為主題,分享調查的點滴。
    綱要
壹、事前準備
    一、擬定預算及執行計畫
    二、問卷設計
    三、調查文件、工具及訓練準備
        1. 訪問通知函、訪問說明書(受訪者同意書)
        2. 提示卡、提示問卷
        3. 問卷說明手冊編製
        4. 紙本調查問卷準備
        5. 電腦訪問問卷準備
        6. 樣本規劃及分配
    四、申請IRB認證
貳、調查執行
    一、訪員訓練
    二、品質管控
        1. 訪員問題回覆
        2. 即時問卷品質管控
        3. 複查
    三、危機處理
參、資料處理與事後收尾
    一、數據資料鍵入整理(紙本訪問)
    二、資料檢誤
    三、受訪者名單維護與關係維持