Ngẫu nhiên và xác suất trong mô phỏng máy tính

Tài liệu này là một chương trong cuốn sách “Practical Guide to Computer Simulations”, tác giả Alexander K. Hartmann, (c) 2009 World Scientific Publishing Co. Pte. Ltd. Tuy nhiên, bản sơ thảo thuộc về tác giả và được phát hành tự do, cũng như các nội dung khác trong CiteSeer .

Trong quyển sách này, ta quan tâm đến thống kê học theo nghĩa rất rộng, gồm có việc phát sinh ra số liệu (giả) ngẫu nhiên, hiển thị / vẽ đồ thị số liệu và phân tích thống kê cho kết quả mô phỏng.

Thông thường, việc mô phỏng bao gồm trực tiếp phát sinh ra số ngẫu nhiên chẳng hạn, như những đại lượng phụ cho các mô phỏng ngẫu nhiên. Trong trường hợp này hiển nhiên là những kết quả thống kê cũng mang tính ngẫu nhiên. Mặc dù có những mô phỏng rõ ràng là không ngẫu nhiên, nhưng kết quả thu được có biểu hiện dường như ngẫu nhiên, chảng hạn chuyển động của các nguyên tử khí tương tác nhau trong bình chứa. Vì vậy, những phương pháp từ phân tích số liệu thống kê rất cần thiết đối với hầu hết những việc phân tích kết quả của mô phỏng.

Quyển này bắt đầu (Mục “1. Nhập môn xác suất”) bằng một lời giới thiệu về ngẫu nhiên và thống kê. Mục 2 đề cập đến sự phát sinh các số giả ngẫu nhiên căn cú vào dạng phân bố xác suất cho trước. Cách phân tích số liệu cơ bản, nghĩa là tính trị trung bình, phương sai, biểu đồ tần suât và các thanh sai số tương ứng được đề cập trong Mục 3. Tiếp theo, Mục 4, sẽ cho thấy cách biểu diễn đồ thị đối với số liệu bằng những công cụ vẽ đồ thị thích hợp, gnuplotxmgrace. Việc kiểm định giả thiết và cách đo hoặc đảm bảo tính độc lập của số liệu được bàn đến trong Mục 5. Cách khớp số liệu với các hàm được giải thích trong Mục 6. Trong mục kết luận, một công thức đặc biệt sẽ được phác họa giúp bạn xử lý các hạn chế của việc mô phỏng gây ra bởi kích cỡ các mẫu có hạn.

Lưu ý rằng một số ví dụ lạ được trình bày bằng ngôn ngữ lập trình C. Mặc dù vậy, hiện có những chương trình miễn phí có tính năng mạnh như R , với các công cụ phân tích (và vẽ đồ thị) có sẵn dưới dạng gói phần mềm mở rộng.

Mục lục

1. Nhập môn xác suất
2. Phát sinh số (giả) ngẫu nhiên
3. Kiến thức cơ bản về phân tích số liệu
4. Vẽ đồ thị cho số liệu
5. Kiểm định giả thiết và tính độc lập / phụ thuộc của số liệu
6. Các ước lượng tổng quát

1. Nhập môn xác suất

Ở đây, chúng tôi giới thiệu qua về các khái niệm xác suất và ngẫu nhiên. Cách trình bày ngắn gọn, phù hợp chủ đề trong quyển này. Dù vậy, bạn có thể xem thêm chi tiết, đặc biệt là các phần chứng minh, ví dụ, và bài tập ở những quyển giáo trình chuẩn . Trong quyển này chúng tôi thường dùng kí hiệu toán học nôm na để cho gọn, chẳng hạn, thay vì viết “một hàm g: X → Y,  y = g(x)”, chúng tôi thường chỉ viết “một hàm g(x)”.

Một phép thử ngẫu nhiên có tính chất hoàn toàn ngẫu nhiên (như phân rã phóng xạ hay quá trình cơ lượng tử) hoặc ít nhất là ta không thể đoán trước được (như việc tung đồng xu hoặc phỏng đoán vị trí của một nguyên tử khí nhất định trong bình chứa khí đặc, nóng).

Định nghĩa 1. Không gian mẫu Ω  là tập hợp tất cả những kết quả có thể của một phép thử ngẫu nhiên.

Trong trường hợp tung đồng xu, không gian mẫu là Ω  = {ngửa, sấp}. Lưu ý rằng một không gian mẫu về nguyên tắc có thể vô hạn, như số các vị trí x có thể có của nguyên tử trong bình chứa. Với độ chính xác vô tận của phép đo đạc, ta có Ω (x) = [0, Lx], với bình chứa được coi là hình hộp chữ nhật với kích thước Lx (và Ly, Lz theo các chiều khác).

Với một phép thử ngẫu nhiên, ta muốn biết xác suất để những biến cố nhất định xảy ra. Lưu ý rằng với vị trí của một nguyên tử trong hộp, xác suất để tìm thấy nguyên tử chính xác tại một vị trí có tọa độ x nào đó x ∈ Ω (x) bằng không nếu ta giả sử rằng kết quả đo đạc là số thực với độ chuẩn xác vô hạn. Vì lý do này, ta xét các xác suất Pr(A) của những tập con A ⊂ Ω  (hay A ∈ 2Ω , với 2Ω tập lũy thừa, tức là tập hợp tất cả những tập con của Ω ). Mỗi tập con như vậy được gọi là một biến cố. Do đó Pr(A) là xác suất mà kết quả của một phép thử ngẫu nhiên rơi vào trong A, tức là một trong các phần tử của A. Một cách chặt chẽ hơn:

Định nghĩa 2. Một hàm xác suất P là một hàm số P: 2Ω  → [0, 1] với

$latex \text{Pr}(\Omega)=1
\label{eq:normalization}$
   (1)

và với mỗi dãy hữu hạn hay vô hạn A1, A2, A3, … các biến cố độc lập với nhau (Ai ∩ Aj = ∅ với i ≠ j) ta có

$latex \text{Pr}(A_1 \cup A_2 \cup A_3 \cup \ldots) = \text{Pr}(A_1)+\text{Pr}(A_2)+\text{Pr}(A_3)+\ldots
\label{eq:probII}$
   (2)

Với một đồng xu đều đặn, hai mặt của nó phải xuất hiện với cùng một xác suất, vì vậy ta có Pr(∅) = 0, Pr({ngửa}) = 0. 5, Pr({sấp}) = 0. 5, Pr({ngửa, sấp}) = 1. Với trường hợp khí nóng chứa trong hộp, ta giả sử rằng không có ngoại lực nào tác dụng lên các nguyên tử. Khi đó, những nguyên tử được phân bố đều. Vì vậy, khi đo vị trí x của một nguyên tử, xác suất để tìm thấy nguyên tử đó trong vùng A = [x, x + Δ x] ⊂ Ω (x)Pr(A) = Δ x / Lx.

Tập hợp các phép toán thông dụng cũng dùng được đối với các biến cố. Phép giao A ∩ B của hai biến cố là một biến cố bao gồm các phần tử có trong cả A lẫn B. Vì vậy Pr(A ∩ B) là xác suất để kết quả của một phép thử được chứa trong cả hai biến cố AB. Phép Ac của một tập hợp là tập tất cả các phần tử của Ω  nhưng không ở trong A. Vì AcA là rời nhau và A ∪ Ac = Ω , từ PT (2) ta thu được:

\text{Pr}(A^c)=1-\text{Pr}(A)\,.\label{eq:complement}   (3)

Hơn nữa, ta có thể cho thây với hai biến cố A, B ⊂ Ω :

Pr(A ∪ B) = Pr(A) + Pr(B) − Pr(A ∩ B)   (4)

Chứng minh Pr(A) = Pr(A ∩ Ω ) = Pr(A ∩ (B ∪ Bc)) = Pr((A ∩ B) ∪ (A ∩ Bc)) \stackrel{(\ref{eq:probII})}{=}\text{Pr}(A\cap B)+\text{Pr}(A\cap B^c). Nếu áp dụng điều này cho A ∪ B thay vì A, ta có Pr(A ∪ B) = Pr((A ∪ B) ∩ B) + Pr((A ∪ B) ∩ Bc))  = Pr(B) + Pr(A ∩ Bc). Triệt tiêu Pr(A ∩ Bc) từ hai phương trình này cho ta kết quả mong muốn.

Lưu ý rằng các PT (2) và (3) là các trường hợp đặc biệt của phương trình này.

Nếu một phép thử ngẫu nhiên được lặp lại nhiều lần, các kết quả có thể của phép thử lặp lại sẽ là một bộ các kết quả của phép thử đơn lẻ. Vì vậy, nếu bạn tung đồng xu hai lần, các kết quả có thể sẽ là (ngửa, ngửa), (ngửa, sấp), (sấp, ngửa), và (sấp, sấp). Điều này nghĩa là không gian mẫu là một lũy thừa của các không gian phép thử đơn lẻ. Một cách tổng quát, ta cũng có thể kết hợp nhiều phép thử ngẫu nhiên khác nhau làm một. Vì vậy, với trường hợp, chung, nếu k phép thử với các không gian mẫu Ω (1), Ω (2), …, Ω (k) được xét đến, thì không gian mẫu của phép thử tổng cộng sẽ là Ω  = Ω (1) × Ω (2) × … × Ω (k). Chẳng hạn, ta có thể miêu tả kết quả đo đạc của vị trí nguyên tử trong khí nóng dưới dạng một tổ hợp gồm ba phép thử ngẫu nhiên, độc lập với nhau là số đo các tọa độ x, y, và z, theo thứ tự này.

Nếu giả sử rằng các phép thử khác nhau được tiến hành độc lập, thì xác suất tổng cộng của một biến cố cho phép thử ngẫu nhiên tổng hợp sẽ bằng tích của các xác suất phép thử đơn lẻ: Pr(A(1), A(2), …, A(k)) = Pr(A(1))Pr(A(2))…Pr(A(k)).

Trong trường hợp tung đồng xu hai lần, xác suất để có kết quả (ngửa, sấp) là Pr({(ngửa,sấp)}) = Pr({ngửa})Pr({sấp}) = 0, 5 ⋅ 0, 5 = 0, 25. Tương tự, với phép thử trong đó cả 3 tọa độ của một nguyên tử trong hộp được đo, ta có thể viết Pr([x, x + Δ x] × [y, y + Δ y] × [z, z + Δ z]) = Pr([x, x + Δ x])Pr([y, y + Δ y])Pr([z, z + Δ z]) = (Δ x / Lx)(Δ y / Ly)(Δ z / Lz)  = Δ xΔ yΔ z / (LxLyLz).

Thường thì ta muốn tính xác suất được giới hạn bởi những sự kiện C đặc biệt trong số các sự kiện, vì vậy xác suất có tính tương đối hay có điều kiện với C. Với bất kì một sự kiện A ta có Pr(C) = Pr((A ∪ Ac) ∩ C) = Pr(A ∩ C) + Pr(Ac ∩ C), nghĩa là $latex \frac{\text{Pr}(A \cap C)}{\text{Pr}(C)}
+ \frac{\text{Pr}(A^c\cap C)}{\text{Pr}(C)} =1$
. Vì Pr(A ∩ C) là xác suất của một kết quả rơi vào AC, đồng thời vì Pr(C) là xác suất của một kết quả rơi vào C, nên tỉ số \frac{\text{Pr}(A \cap C)}{\text{Pr}(C)} cho ta xác suất của kết quả rơi vào AC so với rơi vào C, nghĩa là xác suất của sự kiện A khi đã cho trước C. Từ đó ta có

Định nghĩa 3. Xác suất của A trong điều kiện C

$latex \text{Pr}(A|C) = \frac{\text{Pr}(A \cap C)}{\text{Pr}(C)}\,.
\label{eq:condProb}$   (5)

Như đã thấy, ta có phép chuẩn hóa tự nhiên Pr(AC) + Pr(AcC) = 1. Viết lại PT (5) ta thu được Pr(AC)Pr(C) = Pr(A ∩ C). Vì vậy, phép tính Pr(A ∩ C) có thể được tách thành hai phần, mà đôi khi dễ tính toán hơn. Do tính đối xứng, ta cũng có thể viết Pr(CA)Pr(A) = Pr(A ∩ C). Kết hợp điều này với PT (5), ta thu được quy tắc Bayes nổi tiếng

\text{Pr}(C|A)=\frac{\text{Pr}(A|C)\text{Pr}(C)}{\text{Pr}(A)}\,.   (6)

Điều đó có nghĩa là một trong số các xác suất điều kiện Pr(AC)Pr(CA) có thể được biểu diễn qua cái còn lại; đôi khi điều này có ích nếu Pr(A)Pr(C) đã biết. Lưu ý rằng mẫu số trong quy tắc Bayes đôi khi được viết dưới dạng Pr(A) = Pr(A ∩ (C ∪ Cc)) = Pr(A ∩ C) + Pr(A ∩ Cc)  = Pr(AC)Pr(C) + Pr(ACc)Pr(Cc).

Nếu biến cố Ađộc lập đối với điều kiện C, thì xác suất điều kiện của nó sẽ đúng bằng xác suất không điều kiện, tức là Pr(AC) = Pr(A). Dùng hệ thức Pr(A ∩ C) = Pr(AC)Pr(C) ta thu được Pr(A ∩ C) = Pr(A)Pr(C), nghĩa là xác suất của các biến cố độc lập phải được nhân với nhau. Cách tính này đã được dùng ở phần trước để tính cho các phép thử ngẫu nhiên, vốn được tiến hành trong các lượt thử độc lập với nhau.

Cho đến giờ, kết quả của những phép thử ngẫu nhiên có thể là bất cứ thứ gì như hai mặt đồng xu, sáu mặt xúc sắc, màu mắt của những người được chọn ngẫu nhiên hay trạng thái của những hệ thống ngẫu nhiên. Trong toán học, thường việc xử lý các con số sẽ dễ hơn so với các vật thể tùy ý. Vì lý do này ta có thể biểu thị kết quả của những phép thử ngẫu nhiên bằng con số được gán với những hàm đặc biệt:

Định nghĩa 4. Với một không gian mẫu Ω , một biến ngẫu nhiên là một hàm số X: Ω  → ℝ .

Chẳng hạn, bạn có thể dùng X(ngửa) = 1X(sấp) = 0. Từ đó, nếu ta lặp lại phép thử k lần độc lập với nhau, ta sẽ nhận được số mặt ngửa bằng ∑ i = 1kX(ω(i)), trong đó ω(i) là kết quả của phép thử thứ i.

Nếu ta chỉ quan tâm đến giá trị của biến ngẫu nhiên thì mối liên kết với không gian mẫu Ω  không còn quan trọng nữa. Do vậy, ta có thể xét biến ngẫu nhiên X như một thiết bị để phát sinh ra số ngẫu nhiên x mỗi lần tiến hành phép thử ngẫu nhiên. Lưu ý rằng biến ngẫu nhiên thường được kí hiệu bằng chữ in, còn giá trị cụ thể của kết quả phép thử được kí hiệu bởi chữ thường.

Bằng khái niệm biến ngẫu nhiên, ta chỉ tính toán với các con số dưới dạng kết quả của các phép thử ngẫu nhiên. Điều này cho phép áp dụng nhiều công cụ toán học. Đặc biệt, ta có thể kết hợp các biến ngẫu nhiên và hàm số để nhận được các biến ngẫu nhiên mới. Trong trường hợp đơn giản nhất, điều này có nghĩa như sau: Đầu tiên, ta thực hiện một phép thử ngẫu nhiên, cho ra kết quả ngẫu nhiên x. Tiếp theo, cho trước một hàm g, ta tính y = g(x). Khi đó y là kết quả cuối cùng của phép thử ngẫu nhiên. Việc làm này được gọi là phép biến đổi Y = g(X) của một biến ngẫu nhiên X. Tổng quát hơn, ta cũng có thể định nghĩa một biến ngẫu nhiên Y theo cách ghép lại một số biến ngẫu nhiên X(1), X(2), …, X(k) một hàm \tilde g sao cho

Y=\tilde g\left(X^{(1)}, X^{(2)},\ldots, X^{(k)}\right)\,.   (7)

Trên thực tế, ta có thể thực hiện các phép thử ngẫu nhiên cho các biến ngẫu nhiên X(1), X(2), …, X(k), cho ra kết quả x(1), x(2), …, x(k). Số cuối cùng sẽ nhận được bằng cách tính y=\tilde g(x^{(1)}, x^{(2)},\ldots, x^{(k)}). Một trường hợp đơn giản nhưng có ích nhất là tổ hợp tuyến tính của các biến Y =  α1X(1) + α2X(2) +  + αkX(k), vốn sẽ được dùng trong phần tiếp theo. Ở tất cả những ví dụ được đề cập, các biến ngẫu nhiên X(1), X(2), …, X(k) có chung thuộc tính, nghĩa là cùng một thí nghiệm ngẫu nhiên được lặp lại k lần. Dù vậy, cách mô tả tổng quát nhất cho phép có mặt nhiều biến ngẫu nhiên khác nhau sẽ được dùng đến ở đây.

Động thái của một biến ngẫu nhiên được mô tả đầy đủ bằng những xác suất nhận được các giá trị nhỏ hơn hoặc bằng một tham biến x cho trước:

Định nghĩa 5. Hàm phân bố của một biến ngẫu nhiên X là một hàm số FX: ℝ  → [0, 1] được định nghĩa bởi

FX(x) = Pr(X ≤ x)    (8)

Chỉ số X sẽ được bỏ đi khi không có sự nhầm lẫn nào. Đôi lúc hàm phân bố còn được gọi là hàm phân bố lũy tích. Ta cũng nói rằng hàm phân bố xác định một phân bố xác suất. Nói một biến ngẫu nhiên hay nói một hàm phân bố là những phương pháp hoàn toàn tương đương để mô tả một phép thử ngẫu nhiên.

Đối với đồng xu đều đặn, ta có (xem Hình 1 phía trái)

$latex F(x)=\begin{cases}
0 & x < 0\\
0.5 & 0\le x < 1 \\
1 & x\ge 1
\end{cases}\,.
\label{eq:F:coin}$       (9)

Để đo đạc vị trí x của một nguyên tử trong thể khí phân bố đều đặn, ta thu được (xem Hình 1 tay phải)

$latex F(x)=\begin{cases}
0 & x < 0\\
x/L_x & 0 \le x < L_x \\
1 & x\ge L_x
\end{cases}\,.
\label{eq:F:box}$      (10)

Hình 1. Hàm phân bố của biến ngẫu nhiên cho trường hợp đồng xu đều đặn (tay trái) và vị trí x ngẫu nhiên của nguyên tử khí trong hộp chứa có chiều dài Lx.

Vì kết quả của bất kì biến ngẫu nhiên nào đều hữu hạn, nên không thể có kết quả X ≤ x nào đạt giới hạn x →  − ∞. Hơn nữa, toàn bộ kết quả khả dĩ phải thỏa mãn X ≤ x khi x → ∞. Do đó, với mọi biến ngẫu nhiên, ta có limx →  − ∞F(x) = 0limx →  + ∞F(x) = 1. Ngoài ra, từ Định nghĩa 5, ta lập tức thu được:

$latex \text{Pr}(x_0 < X\le x_1) = F_X(x_1) – F_X(x_0)\,
\label{eq:probDistr}$    (11)

Vì vậy, ta có thể tính được xác suất để một số ngẫu nhiên rơi vào trong một khoảng bất kì, đồng thời [cũng suy ra được cho] hợp của các khoảng như vậy.

Hàm phân bố mặc dù chứa tất cả thông tin cần thiết, nhưng đôi lúc khiến ta khó thao tác, vì nó cung cấp thông tin về các xác suất lũy tích. Sẽ hiển nhiên hơn nếu ta mô tả trực tiếp kết quả của những phép thử ngẫu nhiên. Để làm điều này, ta phải phân biệt giữa biến ngẫu nhiên rời rạc, trong đó số các kết quả khả dĩ là đếm được, hoặc thậm chí là hữu hạn, với biến ngẫu nhiên liên tục, trong đó số các kết quả khả dĩ là không thể đếm được. Biến ngẫu nhiên mô tả trạng thái tung đồng xu là rời rạc, còn của vị trí nguyên tử trong hộp chứa là liên tục.

1.1 Biến ngẫu nhiên rời rạc

Trước hết ta tập trung nghiên cứu về biến ngẫu nhiên rời rạc. Ở đây, có một cách diễn tả khác, nhưng tương đương với hàm phân bố, là trực tiếp khẳng định xác suất của mỗi kết quả có thể thu được:

Định nghĩa 6. Với một biến ngẫu nhiên X, hàm khối xác suất (pmf) pX: ℝ  → [0, 1] được cho bởi

pX(x) = Pr(X = x) .       (12)

Một lần nữa, chỉ số X được bỏ qua nếu không gây sự nhầm lẫn gì. Vì một biến ngẫu nhiên rời rạc chỉ mô tả một số đếm được các kết quả, nên hàm khối xác suất sẽ bằng không ở hầu hết mọi nơi. Từ nay ta sẽ kí hiệu kết quả x sao cho pX(x) > 0\tilde x_i. Vì các xác suất cộng lại phải bằng một, xem PT (1), ta thu được \sum_i p_X(\tilde x_i)=1. Đôi khi ta cũng viết p_i=p_X(\tilde x_i). Hàm phân bố FX(x) nhận được từ hàm khối bằng việc cộng lại tất cả xác suất của những kết quả nào nhỏ hơn hoặc bằng x:

F_X(x) = \sum_{\tilde x_i\le x} p_X(\tilde x_i)       (13)

Chẳng hạn, hàm khối của biến ngẫu nhiên xuất hiện từ đồng xu đều đặn PT ([eq:F:coin]) được cho bởi p(0) = 0. 5p(1) = 0. 5 (p(x) = 0 mọi nơi còn lại). Việc khái quát hóa cho một đồng xu không đều đặn, với kết quả “1” xuất hiện với xác suất p, dẫn tới:

Định nghĩa 7. Phân bố Bernoulli với tham số p (0 < p ≤ 1) mô tả một biến ngẫu nhiên rời rạc X với hàm khối xác suất sau

pX(1) = p,  pX(0) = 1 − p .       (14)

Việc tiến hành phép thử Bernoulli có nghĩa rằng một đồng xu tổng quát [theo nghĩa là có thể đều đặn, có thể không] được tung lên rồi ghi lại “0” hoặc “1” tùy theo kết quả là ngửa hay sấp.

Có một vài đặc trưng quan trọng để mô tả hàm khối xác suất của một biến ngẫu nhiên. Tiếp theo ta sẽ xét những đặc trưng quan trọng nhất trong trường hợp biến ngẫu nhiên rời rạc:

Định nghĩa 8. 

  • Giá trị kì vọng 

\mu \equiv \textrm{E}[X] = \sum_i \tilde x_i \text{Pr}(X=\tilde x_i) = \sum_i \tilde x_i p_X(\tilde x_i)     (15)

  • Phương sai 

\sigma^2 \equiv \textrm{Var}[X] = \text{E}[(X-\textrm{E}[X])^2] = \sum_i (\tilde x_i - \textrm{E}[X])^2 p_X(\tilde x_i)        (16)

  • Độ lệch chuẩn:

\sigma \equiv \sqrt{\textrm{Var}[X]}       (17)

Giá trị kì vọng mô tả số “trung bình” mà thường ta sẽ nhận được nếu phép thử ngẫu nhiên được lặp lại rất nhiều lần. Phương sai là độ đo cho mức phân tán của những kết quả khác nhau từ biến ngẫu nhiên. Chẳng hạn, phân bố Bernoulli thể hiện

$latex \begin{aligned}
\textrm{E}[X] & = & 0p(0)+1p(1)=p \\
\textrm{Var}[X] & = & (0-p)^2p(0)+(1-p)^2p(1) \\
&= &p^2(1-p)+(1-p)^2p=p(1-p) \end{aligned}$         (18), (19)

Ta có thể tính được các giá trị kì vọng của các hàm g(x) chứa các biến ngẫu nhiên X qua \text{E}[g(X)]=\sum_i g(\tilde x_i) p_X(\tilde x_i). Với phép tính trên đây, ta chỉ cần đi tính giá trị kì vọng là một phép toán tuyến tính. Vì vậy, với các số α1, α2 và tổng quát hơn là hai biến ngẫu nhiên X1, X2 ta có

$latex E[\alpha_1 X_1+\alpha_2 X_2]=
\alpha_1 \textrm{E}[X_1]+\alpha_2\textrm{E}[X_2]\,.
\label{eq:expectLin}$     (20)

Bằng cách này, cùng với nhận xét rằng E[X] là một số, ta thu được:

    (21), (22)

Phương sai có tính phi tuyến; ta thấy được điều này khi nhìn vào một tổ hợp tuyến tính của hai biến ngẫu nhiên độc lập X1, X2 (điều này ngụ ý rằng E[X1X2] = E[X1]E[X2] ( ⋆ ))

$latex \begin{aligned}
\sigma^2_{\alpha_1 X_1+\alpha_2 X_2} & = &
\text{Var}[\alpha_1 X_1+\alpha_2 X_2] \nonumber \\
& \stackrel{(21)}{=} &
\text{E}[(\alpha_1 X_2+\alpha_2 X_2)^2 ]
-\text{E}[\alpha_1 X_1+\alpha_2 X_2 ]^2 \nonumber \\
& \stackrel{(20)}{=} &
\text{E}[\alpha_1^2 X_1^2 + 2\alpha_1\alpha_2 X_1 X_2 + \alpha_2^2X_2^2 ]
\nonumber \\
& & – (\alpha_1 \textrm{E}[X_1] + \alpha_2 \textrm{E}[X_2] )^2 \nonumber \\
& \stackrel{(20),(\star)}{=} &
\alpha_1^2 \textrm{E}[X_1^2] + \alpha_2^2 \textrm{E}[X_2^2]
– \alpha_1^2 \textrm{E}[X_1]^2 + \alpha_2^2 \textrm{E}[X_2]^2 \nonumber \\
& \stackrel{(21)}{=}
& \alpha_1^2 \text{Var}[X_1] + \alpha_2^2 \text{Var}[X_2]
\label{eq:varLin}\end{aligned}$    (23)

Các giá trị kì vọng E[Xn] được gọi là các mô-men bậc n của phân bố. Điều này có nghĩa là giá trị kì vọng là mô-men bậc nhất còn phương sai có thể được tính từ các mô-men bậc nhất và bậc hai.

Tiếp theo, ta mô tả hai dạng phân bố quan trọng của các biến ngẫu nhiên rời rạc. Thứ nhất, nếu lặp lại phép thử Bernoulli n lần thì ta có thể đo được kết quả “1” xuất hiện thường xuyên chừng nào. Chặt chẽ hơn, điều này có thể được viết thành một tổng gồm n biến ngẫu nhiên X(i) tuân theo phân bố Bernoulli: X = ∑ i = 1nX(i) với tham số p. Đây là một ví dụ rất đơn giản của phép biến đổi đối với biến ngẫu nhiên. Riêng trong trường hợp này, phép biến đổi là tuyến tính. Xác suất nhận được x lần kết quả “1” được tính như sau: Xác suất nhận được đúng x lần số “1” là px, còn n − x phép thử còn lại cho ra “0” tức là xảy ra với xác suất (1 − p)n − x. Hơn nữa, có {n \choose x}=n!/(x!(n-x)!) cách chuỗi khác nhau với x lần “1” và n − x lần “0”. Vì vậy, ta có:

Định nghĩa 9. Phân bố nhị thức với các tham số n ∈ ℕ p (0 < p ≤ 1) mô tả một biến ngẫu nhiên X có hàm mật độ khối

p_X(x)={n \choose x} p^x (1-p)^{n-k} \quad (0\le x \le n)     (24)

Một cách kí hiệu quen thuộc là X ∼ B(n, p).

Lưu ý rằng hàm khối xác suất được giả thiết bằng 0 đối với những giá trị tham số không được đề cập tới. Một đồ thị ví dụ cho phân bố này với các tham số n = 10p = 0. 4 là hình nhỏ bên trái của Hình 2. Phân bố nhị thức có giá trị kì vọng và phương sai

$latex \begin{aligned}
\textrm{E}[X] & = & np \\
\textrm{Var}[X] & = & np(1-p) \label{eq:BinomialVar}\end{aligned}$     (25), (26)

(ở đây sẽ không chứng minh). Hàm phân bố không thể tính được theo cách giải tích dưới dạng khép kín.

Hình 2. (Trái) Hàm khối xác suất của phân bố nhị thức với các tham số n=10 và p=0,4. (Phải) Hàm khối xác suất của phân bố hình học với tham số p=0,4.

Trong giới hạn một số lớn các phép thử (n → ∞), bị ràng buộc sao cho giá trị kì vọng μ = np được giữ cố định, hàm khối xác suất của phân bố nhị thức có thể được xấp xỉ bởi hàm khối xác suất của phân bố Poisson, vốn được định nghĩa như sau:

Định nghĩa 10. Phân bố Poisson với tham số μ > 0 mô tả một biến ngẫu nhiên X với hàm khối xác suất

$latex p_X(x)=\frac{\mu^x}{x!}e^{-\mu}
\label{eq:poissonA}$    (27)

Đúng như yêu cầu, các xác suất cộng lại bằng 1, vì \sum_i \frac{\mu^x}{x!} là chuỗi Taylor của eμ. Phân bố Poisson có E[X] = μVar[X] = μ. Một lần nữa, ta không biết được dạng kín của hàm phân bố này.

Ngoài ra, phép thử Bernoulli còn có thể được lặp lại đến khi gặp “1” lần đầu tiên thì dừng lại, và không có giới hạn về số phép thử. Nếu thu được “1” lần đầu tiên sau đúng x lượt, thì x − 1 lượt đầu tiên ta thu được “0”. Điều này xảy ra với xác suất (1 − p)x − 1. Tại lượt thử thứ x, kết quả “1” xuất hiện với xác suất p. Vì vậy ta có

Định nghĩa 11. Phân bố hình học với tham số p (0 < p ≤ 1) mô tả một biến ngẫu nhiên X với hàm khối xác suất

pX(x) = (1 − p)x − 1p (x ∈ ℕ )     (28)

Một đồ thị ví dụ của hàm khối xác suất (đến tận x = 10) được biểu diễn ở bên phải của Hình 2. Phân bố hình học có [ta sẽ không chứng minh ở đây] giá trị kì vọng E[X] = 1 / p, phương sai Var[X] = (1 − p) / p2 và hàm phân bố sau:
$latex F_X(x)=\begin{cases}
0 & x<1\\
1-(1-p)^m & m\le x <m+1\quad (m\in\mathbb{N})
\end{cases}$

1.2 Biến ngẫu nhiên liên tục

Như đã nêu trên, các biến ngẫu nhiên được gọi là liên tục nếu chúng biểu diễn cho những phép thử ngẫu nhiên trong đó kết quả là một tập con gồm các số thực có thể nhận được. Ta có thể mô tả những biến ngẫu nhiên như vậy cũng bằng hàm phân bố, xem Định nghĩa 5. Với các biến ngẫu nhiên liên tục, ta còn có thể dùng một định nghĩa khác; định nghĩa này tương đương với hàm khối xác suất cho các biến ngẫu nhiên rời rạc: Hàm khối xác suất biểu thị cho xác suất để thu được một số nhất định trên mỗi đơn vị đo:

Định nghĩa 12. Với một biến ngẫu nhiên liên tục X có hàm phân bố liên tục FX, hàm mật độ xác suất (hàm mật độ xác suất) pX: ℝ  → [0, 1] được cho bởi

p_X(x) = \frac{dF_X(x)}{dx}       (29)

Hệ quả là, theo định nghĩa của đạo hàm và dùng PT (11), ta thu được:

$latex \begin{aligned}
F_X(x) & = & \int_{-\infty}^{x}d\tilde x p_X(\tilde x) \\
\text{Pr}(x_0 < X\le x_1) & = & \int_{x_0}^{x_1}d\tilde x p_X(\tilde x) \end{aligned}$          (30), (31)

Tiếp theo sẽ là một số ví dụ của các biến ngẫu nhiên liên tục quan trọng. Trước hết, ta mở rộng các Định nghĩa 13 của giá trị kì vọng và phương sai cho trường hợp liên tục:

Định nghĩa 13.

  • Giá trị kì vọng là:

E[X] = ∫  − ∞dxxpX(x)      (32)

  • Phương sai là:

\textrm{Var}[X] = \textrm{E}[(X-\textrm{E}[X])^2] = \int_{\infty}^{-\infty} (x-\textrm{E}[X])^2 p_X(x)      (33)

Giá trị kì vọng và phương sai có cùng đặc tính như ở trường hợp rời rạc, nghĩa là các PT (20), (21), và (23) cũng được thỏa mãn. Ngoài ra, định nghĩa về mô-men bậc n của một phân bố liên tục cũng giống như vậy.

Một đại lượng khác cần quan tâm là số trung vị, vốn miêu tả điểm trung tâm của phân bố. Nó là điểm sao cho các xác suất lũy tích phía trái và phía phải của điểm này đều bằng 0,5:

Định nghĩa 14. Số trung vị x_{\rm med} = \text{Med}[X] được định nghĩa bởi

F(x_{\rm med}) = 0.5      (34)

Dạng phân bố đơn giản nhất là phân bố đều, trong đó hàm mật độ xác suất khác không và không đổi trên một khoảng [a, b) nào đó:

Định nghĩa 15. Phân bố đều, với các tham số thực a < b, mô tả một biến ngẫu nhiên X với hàm mật độ xác suất

$latex p_X(x)= \begin{cases}
0 & x < a \\
\frac 1 {b-a} & x\le x < b \\
0 & x \ge 0
\end{cases}$        (35)

Ta viết X ∼ U(a, b).

Hàm phân bố chỉ đơn giản là tăng theo đường thẳng từ 0 tại x = a, lên đến 1 tại x = b, chẳng hạn xem PT (10) cho trường hợp a = 0b = Lx. Phân bố đều có kì vọng E[X] = (a + b) / 2 và phương sai Var[X] = (b − a)2 / 12. Lưu ý rằng qua phép biến đổi tuyến tính g(X) = (b − a) * X + a ta nhận được g(X) ∼ U(a, b) nếu X ∼ U(0, 1). Dạng phân bố đều đóng vai trò cơ bản trong việc phát sinh ra các số (giả) ngẫu nhiên trong máy tính, xem Mục 2.1. Tất cả mọi phân bố có thể thu được qua phép chuyển đổi từ một hoặc nhiều phân bố đều ban đầu, xem các Mục 2.2–2.5.

Có lẽ dạng phân bố liên tục quan trọng nhất đối với lĩnh vực mô phỏng là phân bố Gauss:

Định nghĩa 16. Phân bố Gauss, hay còn gọi là phân bố chuẩn, với các tham số là giá trị thực μσ > 0, mô tả một biến ngẫu nhiên X có hàm mật độ xác suất

$latex p_X(x)= \frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left( -\frac{(x-\mu)^2}{2\sigma^2}\right)
\label{eq:Gauss}$     (36)

Ta viết X ∼ N(μ, σ2).

Phân bố Gauss có giá trị kì vọng E[X] = μ và phương sai Var[X] = σ2. Một biểu đồ ví dụ về phân bố này với các tham số μ = 5σ = 3 được cho thấy ở bên trái Hình  3. Phân bố Gauss với μ = 0σ = 1 được gọi là phân bố chuẩn hóa N(0, 1). Ta có thể nhận bất kì phân bố Gauss từ X0 ∼ N(0, 1) bằng cách áp dụng phép chuyển đổi g(X0) = σX0 + μ. Lưu ý rằng hàm phân bố của phân bố Gauss không thể tính được theo cách giải tích; mà thường được tính bằng tích phân số trị hoặc tra từ bảng N(0, 1).

Hình 3. (Trái) Hàm mật độ xác suất của phân bố Gauss với các tham số μ=5 và σ=3. (Phải) Hàm mật độ xác suất của phân bố lũy thừa với tham số μ=3.

Định lý giới hạn trung tâm miêu tả cơ chế hình thành dạng phân bố Gauss từ tổng của các biến ngẫu nhiên:

Định lý 1. Gọi X(1), X(2), …, X(n) là các biến ngẫu nhiên độc lập, có cùng phân bố với giá trị kì vọng μ và phương sai σ2. Khi đó

X = ∑ i = 1nX(i)

ở trong giới hạn n lớn sẽ gần bằng phân bố Gauss với trị trung bình nμ và phương sai nσ2, nghĩa là X ∼ N(nμ, nσ2).

Tương đương với nó, tổng số sau khi được chuẩn hóa

Z=\frac{\frac{1}{n}\sum_{i=1}^n X^{(i)}-\mu}{\sigma/\sqrt{n}}    (38)

sẽ xấp xỉ với phân bố chuẩn hóa Z ∼ N(0, 1).

Để chứng minh điều này, bạn có thể xem sách giáo trình xác suất. Vì tổng của các quá trình ngẫu nhiên rất hay xảy ra trong tự nhiên nên phân bố Gauss có thể gặp ở mọi nơi. Chẳng hạn, chuyển động của một hạt vật chất “lớn” trong dòng chất lưu được gọi là chuyển động Brown được mô tả bởi một phân bố Gauss.

Một dạng phân bố thông dụng khác là phân bố lũy thừa.

Định nghĩa 17. Phân bố lũy thừa, với giá trị tham số thực μ > 0, mô tả một biến ngẫu nhiên X với hàm mật độ xác suất

$latex \label{eq:exponentialDistr}
p_X(x)= \frac{1}{\mu} \exp\left( -x/\mu \right)$    (39)

Một biểu đồ ví dụ cho dạng phân bố này với tham số μ = 3 được chỉ ra bên phải Hình 3. Phân bố lũy thừa có giá trị kì vọng E[X] = μ và phương sai Var[X] = μ2. Hàm phân bố này có thể được tính bằng cách giải tích và được cho bởi

FX(x) = 1 − exp( − x / μ)     (40)

Phân bố lũy thừa nảy sinh từ những tình huống trong đó quá trình xảy ra với tốc độ nhất định, chẳng hạn với một xác suất không đổi trong mỗi đơn vị thời gian. Thường thì các hàng đợi hoặc sự phân rã của nguyên tử chất phóng xạ được mô phỏng bởi những biến ngẫu nhiên dạng này. Khi đó khoảng thời gian cho đến lúc biến cố đầu tiên (hay giữa hai biến cố nếu phép thử được lặp lại nhiều lần) sẽ tuân theo PT (39).

Tiếp theo, chúng ta thảo luận về một loại phân bố mà gần đây thu hút được sự quan tâm trong nhiều lĩnh vực như xã hội học, vật lý và khoa học máy tính. Phân bố xác suất của này là luật lũy thừa (power law).

Định nghĩa 18. Phân bố luật lũy thừa, hay còn gọi là phân bố Pareto, với các giá trị tham số thực γ > 0κ > 0, mô tả một biến ngẫu nhiên X với hàm mật độ xác suất

$latex \label{eq:powerLawDistr}
p_X(x)= \begin{cases}
0 & x<1 \\
\frac \gamma \kappa (x/\kappa)^{-\gamma+1} & x\ge 1
\end{cases}$     (41)

Một biểu đồ mẫu của phân bố luật lũy thừa được biểu diễn trên Hình  4. Khi vẽ biểu đồ phân bố luật lũy thừa theo hai trục logarit thì ta được một đường thẳng.

Một dạng rời rạc của phân bố luật lũy thừa xuất hiện trong ví dụ về mạng lưới xã hội thực nghiệm. Xác suất để một người có x “người bạn thân” tuân theo phân bố luật lũy thừa. Điều tương tự cũng xảy ra đối với mạng máy tính, đó là xác suất để một máy tính được kết nối với x máy tính khác. Phân bố luật lũy thừa có gia trị kì vọng hữu hạn chỉ khi γ > 1, nghĩa là nếu nó hạ xuống đủ nhanh. Trong trường hợp này ta có E[X] = γκ / (γ − 1). Tương tự, nó có phương sai là hữu hạn chỉ khi γ > 2: \textrm{Var}[X]=\frac{\kappa^2\gamma}{(\gamma-1)^2(\gamma-2)}. Hàm phân bố có thể được tính theo cách giải tích:

FX(x) = 1 − (x / κ) − γ (x ≥ 1)        (42)

Hình 4. (Trái) Hàm mật độ xác suất của phân bố luật lũy thừa với các tham số γ=3 và κ=1. (Phải) Hàm mật độ xác suất của phân bố Fisher-Tippett với tham số λ=3 vẽ theo thang logarit của trục y.

Về mặt thống kê cực hạn, phân bố Fisher-Tippett (còn gọi là phân bố log-Weibull) đóng vai trò quan trọng.

Định nghĩa 19. Phân bố Fisher-Tippett, với các tham số giá trị thực λ > 0, x0, mô tả một biến ngẫu nhiên X có hàm mật độ xác suất

$latex \label{eq:FiherTippet}
p_X(x)= \lambda e^{-\lambda x} e^{-e^{-\lambda x}}$   (43)

Trong trường hợp đặc biệt λ = 1, phân bố the Fisher-Tippett cũng được gọi là phân bố Gumbel.

Một ví dụ về phân bố Fisher-Tippett được biểu diễn ở phía phải của Hình 4. Hàm số có cực đại ở x = 0. Cực đại này có thể được dịch chuyển đến một giá trị μ bất kì bằng cách thay x bởi x − μ. Giá trị kì vọng là E[X] = ν / λ, trong đó ν ≡ 0. 57721…hằng số Euler-Mascheroni. Phân bố này có phương sai \textrm{Var}[X]=\frac{\pi}{\sqrt{6}\lambda}. Hơn nữa, hàm phân bố có dạng giải tích:

FX(x) = e − e − λx         (44)

Về mặt toán học, ta có thể thu được một biến ngẫu nhiên tuân theo phân bố Gumbel (λ = 1) từ n biến ngẫu nhiên X(i) tuân theo phân bố chuẩn hóa N(0, 1) , bằng cách chọn giá trị lớn nhất của chúng rồi đưa giới hạn n → ∞, nghĩa là X = limn → ∞max{X(1), X(2), …, X(n)}. Điều này cũng đúng đối với một số biến ngẫu nhiên “có động thái tốt” (well-behaved1) như các biến tuân theo phân bố lũy thừa, nếu chúng được chuẩn hóa về dạng có trị trung bình bằng 0 và phương sai bằng 1. Phân bố Fisher-Tippett có thể thu được từ phân bố Gumbel qua một phép chuyển đổi tuyến tính.

Để ước lượng khoảng tin cậy (xem các Mục 3.2 và 3.3) ta cần có các phân bố khi-bình phương và phân bố F; chúng sẽ được trình bày tiếp sau đây để cho trọn vẹn.

Định nghĩa 20. Phân bố khi-bình phương, với ν > 0 bậc tự do miêu tả một biến ngẫu nhiên X với hàm mật độ xác suất (dùng hàm Gamma Γ (x) = ∫ 0tx − 1e − tdt)

$latex \label{eq:chi2}
p_X(x)= \frac{1}{2^{\nu/2}\Gamma(\nu/2)}x^{\frac{\nu-2}{2}}e^{-\frac{x}{2}}
\quad (x>0)$           (45)

pX(x) = 0 với x ≤ 0.

Dạng hàm phân bố, trị trung bình và phương sai sẽ không được nhắc đến ở đây. Một biến ngẫu nhiên theo phân bố khi-bình phương có thể nhận được từ tổng gồm ν bình phương các biến ngẫu nhiên chuẩn hóa Xi: X = ∑ i = 1νXi2.  Phân bố khi-bình phương được cài đặt trong thư viện khoa học GNU.

Định nghĩa 21. Phân bố F, với d1, d2 > 0 bậc tự do miêu tả một biến ngẫu nhiên X có hàm mật độ xác suất

$latex \label{eq:F}
p_X(x)= d_1^{d_1/2} d_2^{d_2/2}
\frac{\Gamma(d_1/2+d_2/2)}{\Gamma(d_1/2)\Gamma(d_2/2)}
\frac{x^{d_1/2-1}}{(d_1x+d_2)^{d_1/2+d_2/2}}
\quad (x>0)$         (46)

pX(x) = 0 for x ≤ 0.

Dạng hàm phân bố, trị trung bình và phương sai sẽ không được nhắc đến ở đây. Một biến ngẫu nhiên theo phân bố F có thể nhận được từ hai biến ngẫu nhiên theo phân bố khi-bình phương: Y1 với d1 bậc tự do và Y2 với d2 bậc tự do thông qua X=\frac{Y_1/d_1}{Y_2/d_2}. Phân bố F được cài đặt trong thư viện khoa học GNU.

Cuối cùng, lưu ý rằng các biến ngẫu nhiên rời rạc cũng có thể được miêu tả bằng hàm mật độ xác suất nếu ta áp dụng hàm delta δ(x − x0). Với mục đích mô phỏng bằng máy tính, điều này là không cần thiết. Cho nên, sẽ không có nội dung chi tiết về vấn đề này.

Tài liệu được trích dẫn

Dekking, F. M., Kraaikamp, C., Lopuhaa, H. P., and Meester, L. E. (2005). A Modern Introduction to Probability and Statistics, (Springer, London).

Lefebvre L. (2006). Applied Probability and Statistics, (Springer, New York).

Newman, M. E. J. (2003) The Structure and Function of Complex Networks, SIAM Review 45, pp. 167{256.

Newman, M. E. J., Barabasi, A.-L., and Watts, D. (2006). The Structure and Dynamics of Networks, ( Princeton University Press, Princeton).

Advertisements

5 phản hồi

Filed under Ngẫu nhiên và mô phỏng

5 responses to “Ngẫu nhiên và xác suất trong mô phỏng máy tính

  1. Pingback: 2. Phát sinh các số (giả) ngẫu nhiên | Blog của Chiến

  2. Pingback: 3. Kiến thức cơ bản về phân tích số liệu | Blog của Chiến

  3. Pingback: 4. Vẽ đồ thị cho số liệu | Blog của Chiến

  4. Pingback: 5. Kiểm định giả thiết và tính độc lập / phụ thuộc của số liệu | Blog của Chiến

  5. Pingback: 6. Những ước lượng tổng quát | Blog của Chiến

Trả lời

Mời bạn điền thông tin vào ô dưới đây hoặc kích vào một biểu tượng để đăng nhập:

WordPress.com Logo

Bạn đang bình luận bằng tài khoản WordPress.com Log Out / Thay đổi )

Twitter picture

Bạn đang bình luận bằng tài khoản Twitter Log Out / Thay đổi )

Facebook photo

Bạn đang bình luận bằng tài khoản Facebook Log Out / Thay đổi )

Google+ photo

Bạn đang bình luận bằng tài khoản Google+ Log Out / Thay đổi )

Connecting to %s