二 測試執行
工作效率相關指標
執行效率 利用測試用例文檔頁數除于此次系統測試執行的時間總和(不包含用例文檔編寫時間)。補充指標方法是用例的個數除于此次系統測試的時間總和。用于獲得工作中測試人員每小時執行測試的速度。
公式:∑測試用例文檔頁數(頁) / ∑執行系統測試的有效時間(小時)
∑測試用例數(個) / ∑執行系統測試的有效時間(小時)
參考指標:平均 0.53 頁 / 小時, 1.95 個用例 / 小時。即測試人員每小時執行半頁測試用例或者每小時執行 2 個測試用例。通過橫向比較,容易知道那位成員的執行效率較高。注意:執行效率高的不代表測試質量也高,甚至執行效率和測試質量成反比,所以后面工作質量的指標會補充這一部分的偏離。實際結果表明,用例執行效率高的成員,其缺陷發現率往往偏低,考核如果不將此納入進來也可以將其作為測試改進的一項重要數據進行收集。
進度偏離度 檢查計劃時間和實際時間的進度,方法是計劃時間差額減去實際時間差額除于實際工時總和,用于考察測試人員進度情況,監控測試是否按照日程進行,是否滿足了工程的進度要求。
公式:∑(計劃開始時間 - 實際開始時間)+∑(計劃結束時間 - 實際結束時間) / 總工時
參考指標: 15 % 進度偏離是個相對的指標,可能偏離了 20 個工作日,但是對于一個長達半年時間的測試而言偏離天數比上整體測試所需天數不足 15 %,可能偏離了 3 個工作日,但是對于一個只有 1 星期時間的測試已經超過了整個測試階段所需天數的 60 %。
注意:計算時分子分母要保持一致,即開始或結束時間已經去除了非工作日時間,則總工時也要去除非工作日時間。因為制定計劃時是根據每個公司的工作日來制定的,也是說,考慮了非正常工作日的日程。
測試進度也是考核很重要的一步,如果沒有進度保證,所有的測試都存在風險,第一種方法是測試人員可以采用自下而上的方式向測試經理報告計劃用時,這種方式風險比較少,個人根據自己能力大小確定,但是缺點是存在測試人員虛報可能性。另一種方法是測試經理進行估算后分配工作日程,這時估算是很重要的前提,除了依賴于測試經理的經驗外,對評估結果進行同行評審是很客觀可取的方法。
缺陷發現率 測試人員各自發現的缺陷數總和除于各自所花費的測試時間總和。由于執行效率不能足夠代表測試人員是否認真工作,那么,每小時發現的缺陷數是重要的考核指標,你的工作可以通過這項指標得到反饋。
公式:∑缺陷數(系統測試)(個) / ∑執行系統測試的有效時間(小時)
參考指標:平均 1.1 個缺陷 / 小時 假使有位測試人員沒有達到 1 小時發現 1 個缺陷,那么,除非產品質量高、模塊較小,否則,是他的缺陷發現能力不如其他測試人員。當然,詳細分類中可以根據發現重要缺陷的多少來定義缺陷發現能力。
工作質量相關指標
有效缺陷數 / 率 被拒絕和刪除的缺陷數總和,或者被拒絕和刪除的缺陷數總和除于缺陷總數。這項指標用于考察測試人員發現的、被確認為缺陷的缺陷數高低或者百分比,數和比率越低測試質量越高。
公式:∑缺陷數(系統測試中被拒絕和刪除的)(個)
∑缺陷數(系統測試中被拒絕和刪除的)(個) / ∑缺陷數(系統測試)(個)
參考指標:平均 21.9 %(測試人員發現的每 100 個缺陷中平均有 22 個缺陷不被開發組確認、認為不是“缺陷”或者錯誤錄入缺陷)。有效缺陷比率容易給出,但是有效缺陷數具體數據要根據項目情況,無法給出可參考的數值。
注意:這項指標可能有不正確的情況,假使缺陷被拒絕和被刪除的原因不是因為測試人員誤操作和需求理解等自身錯誤引起,而是系統本身不能實現或者數據錯誤引起的,那么要考慮剔除這部分。對于測試人員發現系統框架根本性的、初始化參數設置錯誤引發的、錯誤數據、錯誤環境等而開發人員因無法修正、可以通過改變環境而無需修改程序、重新導入數據、再次發布從而拒絕或刪除的缺陷,應給予此測試人員獎勵。
嚴重缺陷率 這個比例用于彌補缺陷發現率的不足。主要是根據嚴重程度分類的缺陷數比全部缺陷或者有效缺陷數。一般而言,每個公司基本把缺陷嚴重程度分為嚴重、一般和微小,或者更細(通常等級數為奇數)。另外,可以對缺陷嚴重程度進行折算(嚴重:一般:微小 =1 : 3 : 5 )通過折算可以得出權重,然后在計算測試人員分值,在此不冗述
公式:∑嚴重 / 一般 / 微小 / ∑缺陷數
∑嚴重 / 一般 / 微小 / ∑有效缺陷數
參考指標:嚴重 ~10% 一般 ~70% 微小 ~20% 。當測試人員發現的缺陷中嚴重錯誤比率越高,說明測試質量相對好,通常嚴重程度缺陷數的分布呈正態分布。
模塊缺陷率 這個指標主要是根據一個單獨測試模塊的缺陷數除于模塊本身功能點數得出來的。假使一個模塊是單獨測試的話,很容易可以和其他模塊進行指標橫向對比,參照對應的測試人員,得出所測試模塊的缺陷數,可以考察測試人員測試水平,也為開發考核提供數據。
公式:∑缺陷數(系統測試(個) / 功能點(個)
∑缺陷數(系統測試(個) / 子功能點(個)
參考指標 平均 3.74 個缺陷 / 功能點 1 個缺陷 / 子功能點
注意:有些功能點沒有子功能點,計算子功能點時要進行說明。