ソフトウェアテスト 　　 [8] テストの評価と信頼性評価と信頼性と信頼性信頼性 Software Testing [8] Evaluation of testing and reliability あまん ひろひさ ひろひさ 阿萬 裕久 裕久（ AMAN Hirohisa ） aman@ehime-u.ac.jp (C) 2007-2022 Hirohisa AMAN Đánh giá kiểm thử  Kiểm thử hoạt động đảm bảo chất l ượng phần mềm Kiểm t động” kiểm thhử cần thiết hồ cần thiết.n hảo ⇒ Khơng có bất động” kiểm th kỳ lỗi (defect động” kiểm th/fault động” kiểm th) cố (failure) nà cần thiết.o xảy Khơng có lỗi vấn đề nà cần thiết.o xảy t động” kiểm throng t động” kiểm thrình kiểm t động” kiểm thhử cần thiết phần mềm  Việc đánh giá “các hoạt động” kiểm th động” kiểm th kiểm t động” kiểm thh cần thiết cần thiết cần t động” kiểm thhiết động” kiểm th  Đánh giá dựa Coverage rate  Đánh giá dựa Bug resolution rate  Đánh giá dựa Operability (C) 2007-2022 Hirohisa AMAN Đánh giá kiểm thử (1) Đánh giá dựa coverage rate  Đánh giá từ góc độ 'bạn bao phủ b ao nhiêu'  Tập t động” kiểm thrung cần thiết.o t động” kiểm thhay đổi t động” kiểm thrạng t động” kiểm thhái  Tập t động” kiểm thrung cần thiết.o hoạt động” kiểm th động cần thiết đầu cần thiết.o/đ ầu t động” kiểm thheo t động” kiểm thhông số kỹ thuật t động” kiểm thhuật động” kiểm th *black box t động” kiểm thest động” kiểm thing  Tập trung vào luồng thực thi chương trìn h *whit động” kiểm the box t động” kiểm thest động” kiểm thing (C) 2007-2022 Hirohisa AMAN Đánh giá kiểm thử (2) Đánh giá dựa bug resolution rate  Kiểm thử phát lỗi sửa chữa chúng  Nếu tổng số lỗi biết, đánh giá ho ạt động kiểm thử dựa số lượng lỗi đư ợc sửa chữa Bug's number of bugs resolved = resolution rate total number of bugs *Note: The term bug is not accurate; A phenomenon that does not work properly ("failure, defect") is found in the test, and "resolution" is to solve the "fault" that is the source of problem or the "error" that created it (C) 2007-2022 Hirohisa AMAN Làm để biết “tổng số lỗi (bug)”  Tóm lại, số thực không bi ết đến  So sánh người với hệ thống giống n hư cố gắng tính xem họ bị ốm lần đời  Nếu cho “sự cố xảy = triệu chứng bệnh”, lỗi vi khuẩn vi rút gây lỗi hành động dẫn đến lây nhiễm  Estimate total number of bugs  Statistically (C) 2007-2022 Hirohisa AMAN Phương pháp ước t động” kiểm thính số lỗi ① phươ phươ ng pháp capt động” kiểm thure/recapt động” kiểm thure (1/4) [Ví dụ] Tơi muốn tìm hiểu có cá vượ c đen Hồ Biwa *Tốt bắt t ất cá Hồ Biwa, điều đ ó thực tế (C) 2007-2022 Hirohisa AMAN Phương pháp ước t động” kiểm thính số lỗi ① phươ phươ ng pháp capt động” kiểm thure/recapt động” kiểm thure (2/4) Khi bắt số lượng cá vược đen phù hợp Đánh dấu chúng thả tự trở lại hồ Sau khoảng thời gian, cá vược đe n bắt lại, số lượng tổng thể đư ợc ước tính dựa số lượng cá đánh dấu trước (C) 2007-2022 Hirohisa AMAN Phương pháp ước t động” kiểm thính số lỗi ① phươ phươ ng pháp capt động” kiểm thure/recapt động” kiểm thure (3/4)  Hình hiểu Đánh dấu 10 cá lần đầu t động” kiểm thiên Sau đó, cá bắt lại Lần t động” kiểm thhứ hai, xác nhận có t động” kiểm throng số 10 cá đánh dấu t động” kiểm thrước Ước tính tỷ lệ phần trăm tổng số Hình ảnh biểu đồ nà cần thiết.y : =2:8 (C) 2007-2022 Hirohisa AMAN 10 : ? = : Vậy lại 40 Phương pháp ước t động” kiểm thính số lỗi ① phươ phươ ng pháp capt động” kiểm thure/recapt động” kiểm thure (4/4)  Áp dụng điều vào phần mềm Chuẩn bị artificial bugs art động” kiểm thificial bugs (marking) Giả sử cần thiết bà cần thiết.i kiểm t động” kiểm thra phát động” kiểm th a rt động” kiểm thificial bugs and non-real bugs Số lỗi t động” kiểm thhực t động” kiểm t động” kiểm thổng cộng ước t động” kiểm thính bằ ng phương t động” kiểm thrình sau Than (C) 2007-2022 Hirohisa AMAN 𝑛𝑦 𝑥 Nhược điểm phương pháp capt động” kiểm thu re /recapt động” kiểm thure  Thật khó để tạo realistic artificial bugs  Đôi lỗi giả phát nga y sau tạo không thực tươn g tự với lỗi môi trường thực tế  kỹ sư, họ có chống đối việc "tạo lỗ i"  Họ thả cá bắt được, số lượng ước tính nhỏ số thực tế * 𝒚 nhỏ cần thiết 𝒙 lớn 𝑛𝑦 bình t động” kiểm thhường 𝑥 (C) 2007-2022 Hirohisa AMAN 10 Phương pháp ước tính số lỗi (2) Phương pháp chỉnh sửa hai bước (1/3)   Số lượng lỗi tìm thấy nhóm A =  Số lượng lỗi tìm thấy nhóm B=  Số lượng lỗi tìm thấy hai nhóm = 𝒄 Than Số lượng lỗi mà cần thiết nhóm A chưa t động” kiểm thìm được= 𝒂(𝒃 − 𝒄) 𝒄 Tổng số bugs (bao gồm bugs tìm được): 𝒂 (𝒃 − 𝒄) 𝒂𝒃 𝒂𝒄 𝒂𝒃 + 𝒂= − +𝒂= 𝒄 𝒄 𝒄 𝒄 (C) 2007-2022 Hirohisa AMAN 13 Đặc điểm phương pháp Two-ste p editing  Không cần chuẩn bị lỗi giả (estimation c hỉ dựa lỗi thực tế)  Do hai nhóm cần phải kiểm thử riêng biệ t nên tốn thời gian chi phí  Dự đốn thường thấp so với số lỗi th ực tế (C) 2007-2022 Hirohisa AMAN 14 [Bài tập 1] ① phươ Find an estimate of the total number of bugs 　　 Group A finds 10 bugs, 　　 Group B finds 50 bugs 　　 However, were found in both groups ② Find an estimate of the number of remaining bugs (not found yet) 　　 Group A finds 100 bugs, 　　 Group B finds 80 bugs 　　 However, 20 were found in both groups (C) 2007-2022 Hirohisa AMAN 15 [Bài tập 1] Đáp án  ① phươThan total number of bugs = = 10 x 50/5 = 100 ② Than total number of bugs= =100 x 80/20 = 40 therefore, because what is found in both is double subtracted number of remaining bugs= 400 = 400–100–80 + 20 = 240 (C) 2007-2022 Hirohisa AMAN 16 Phương pháp ước t động” kiểm thính số lỗi (3) Mơ hình đường cong Gompert động” kiểm thz (1/4) (1/4)  Mơ hình đường cong Gompertz loại mơ hình đường cong tăng trưởng mơ tả trình từ bắt đầu kiện khác nh au đến tăng trưởng hội tụ Cumulative number of occurrences Preparation stage convergence stage growth stage elapsed time (C) 2007-2022 Hirohisa AMAN 17 Phương pháp ước t động” kiểm thính số lỗi (3) Mơ hình đường cong Gompert động” kiểm thz (1/4) (2/4)  Được sử dụng cho mơ hình tăng trưởng số lỗi tích lũy Cumulative bugs Khơng thường tìm thấy Preparation stage Soon you will find various convergence stage Soon you won't find it growth stage test time (C) 2007-2022 Hirohisa AMAN 18 Phương pháp ước t động” kiểm thính số lỗi (3) Mơ hình đường cong Gompert động” kiểm thz (1/4) (3/4)  Mathematically 𝐸(𝑡 ) 𝐸 ( 𝑡 ) =𝐾 𝑎 𝑡 𝑏 Là cần thiết động” kiểm th t động” kiểm thham số xác đị artificial bugsnh hình dạng đường cong 𝐾 𝑡 *This curve shows an empirical trend (C) 2007-2022 Hirohisa AMAN 19 Phương pháp ước t động” kiểm thính số lỗi (3) Mơ hình đường cong Gompert động” kiểm thz (1/4) (4/4)  Bạn ước tính thời gian kiểm thử cần thiết để đạt mức độ tin cậy thời đ iểm cụ thể mức độ tin cậy mục tiêu 𝐸(𝑡 ) (Example) 95% of t động” kiểm thhe final value K 𝐾 0.95 𝐾 𝑡 (C) 2007-2022 Hirohisa AMAN Correspondin g expect động” kiểm thed t động” kiểm thime 20