如果撒網捕魚的可能性比較大,需要多大的網?
那麽網越大,抓魚的信心就越大,因為整體參數永遠不會變,所以就像魚在水裏不會動,但是提供壹個區間,而不僅僅是壹個估計,可以幫助我們增加獲得整體參數的信心。
那麽間隔越大,信心越大。
壹個統計量的可能值可以通過抽樣分布和自助抽樣來計算,壹個參數的最大可能值也可以通過這些抽樣分布來計算。實際上,參數的值通常是未知的。
假設這是壹個分布的統計量,我們可以用這個分布作為壹個通用參數來建立壹個置信區間。
如果想要95%的置信區間,可以去掉前後2.5%。
如果我們想要99%的置信區間,我們可以從兩邊去掉0.5%。
妳可以把妳的置信區間解釋為我們有95%的信心,總體均值落在妳找到的界限之間。請註意,百分比和參數都可以改變,這取決於您建立置信區間的目的,以及您在每個尾部截斷的百分比。
圖中的Coffee_red是coffee_full的子集,coffee _ full是隨機選取的樣本。
Coffee_full是群體中的所有個體。
提示:
為了理解置信區間的影響,擁有總體數據通常是有益的。
計算咖啡消耗量的平均值以及樣本的咖啡消耗量和身高的平均數據。
接下來,使用bootstrapping重新采樣並重復10000次,再次計算咖啡飲用量並可視化身高數據的平均值。
Boot_means是壹次采樣200個樣本的平均值,平均值列表重復10000次,然後用np.percentile(boot_means,下限的百分比)來表示置信區間的開始位置,所以需要用同樣的方法設置置信區間的結束位置,如圖所示。
上面的意思是去掉最初的2.5%和最後的2.5%,中間建立壹個95%的區間。
在95%的置信區間下,人群中所有喝咖啡者的平均身高在68.06英尺到68.97英尺之間。
再次回到整體平均值,計算喝咖啡者身高的整體平均值。
在這種情況下,我們的置信區間表示成功。
用什麽方法估計兩個參數的差值,建立置信區間?
想
比如喝咖啡的人和不喝咖啡的人平均身高有什麽區別?我們有平均身高差異的證據嗎?
為了確定兩組之間的平均身高差,方法類似於上述尋找置信區間的方法。
然後,求兩者之差的過程可以叠代多次,單詞叠代的差可以存儲在列表中。見下圖。
然後為差列表找到對應的置信區間,認為兩組身高差在此區間內。
妳發現置信區間不包含0,說明總體均值不壹樣。
此外,我們可以說,平均而言,喝咖啡的人比不喝咖啡的人要高。
建立均值差置信區間的場景有哪些?
例如,比較不同的網頁,以確定哪個網頁可以吸引更多的流量。
統計意義與實際意義
我們已經介紹了置信區間的幾種不同應用,以及用於創建這些置信區間的自助抽樣方法。我們發現用兩組均值差來創建置信區間而不是僅僅比較兩個點的估計值是非常重要的,這可以保證所選樣本的隨機性,並且不是產生這些差異的唯壹原因。
置信區間當然有用,但如果只用置信區間做決策,可能會有問題,這就引出了實際意義和統計意義的概念。
我們舉個例子來解釋壹下這兩個術語的區別。假設我從事遛狗生意,我在網上打廣告。我想知道這兩個廣告哪個能給我的生意帶來更大的收益。我把每個廣告發給同壹個號碼,隨機選取用戶建立置信區間,表示有更多的人點擊這個廣告。根據我的置信區間,我有統計證據表明第二個廣告更好。從置信區間得到的證據具有統計學意義。
如果兩個廣告都帶來了足夠的超出我處理能力的收益,但是第二個廣告的制作成本高,耗時長,如果妳的壹個朋友決定投放類似的廣告來開辦自己的遛狗業務,妳推薦他們選擇哪個廣告?在這種情況下,妳可以建議他們選擇第壹個廣告。即使妳從統計上證明第二個廣告更好,第壹個廣告也會給他們的業務帶來足夠的收益,成本更低,時間消耗更少。妳建議他們采用第壹個廣告是壹個有實際意義的例子。
實際意義會考慮其他方面和周圍的世界,而不僅僅是數字,這對於做決策非常重要。
使用置信區間和假設檢驗,您可以在做出決策時提供統計意義。
但是,在決策時考慮實際意義也很重要。實際意義考慮了妳的情況中的其他因素,這些因素可能不會在妳的假設檢驗或置信區間的結果中直接考慮。在商業決策中,空間、時間或金錢等限制非常重要。然而,在統計測試中可能不會直接考慮它們。
我們目前建立置信區間的方法是基於自助法和我們關於抽樣分布的知識,這是壹種極其有效的方法,幾乎可以對我們感興趣的任何參數建立置信區間。
但是如果妳在其他地方學過統計學課程,妳可能會奇怪為什麽這個標註方法和妳在其他課程中學到的不壹樣。妳可能見過這個等式計算人口平均數或比例。
同樣的,妳可能也見過這種計算均差或比例差的方程。
所有這些公式都是可能真或假的基本假設。如果妳真的認為妳的數據可以代表妳研究的全部,自助法應該可以更好的代表參數的可能位置,但是在樣本量足夠大的情況下,這些公式的結果應該和我們在自助法中看到的非常相似。
在本課中,將Python中建立置信區間的傳統方法與自助抽樣方法進行了比較。
有許多方法可以檢驗假設和建立置信區間,例如
很多假設檢驗都與建立置信區間的方法有關,自助抽樣可以替代其中任何壹種方法。
說明
自舉方法
傳統t檢驗方法
對於大樣本,這些最終看起來非常相似。對於小樣本量,使用傳統方法可能會假設您的區間是不正確的。小樣本量對於bootstrap方法來說並不理想,因為它們可能會導致誤導性的結果,僅僅是因為它們不能準確地代表整個總體。
以下是我們看到政治選舉結果的常用方式。
候選人A贏得了34%+/-3%。
候選人B贏得了22%+/-3%。
妳可能看到用小字體打印的內容,比如“這些數字是基於95%的置信區間”,在這個樣本中,每個候選人的得票率分別是34%和22%,這個3%叫做誤差幅度。
為了建立置信區間,我們實際上要加上和減去這個量。
所以候選人A在總體中的真實比例的置信區間是31%到37%。
候選人B是19%對25%,
如果每個候選人的置信區間大於我們的預期,我們可以收集更大的樣本量。根據大數定律,我們知道樣本量越大,估計越接近參數,所以區間會變窄。
假設您控制了分析的所有其他項目:
妳在實踐中已經學到了很多關於如何建立、解釋和使用置信區間的知識。我們可以用置信區間得出什麽類型的結論,不能用置信區間得出什麽類型的結論,這很容易混淆。
當我們建立置信區間時,它們針對的是參數,即針對的是總體中的個體值,包括總體均值,或總體標準差,兩個總體均值之差,或總體中的任何其他值匯總。
註:置信區間不允許我們對總體中的任何個體有任何特定的表示。
機器學習中的更高技術的目的是為我們提供關於群體中每個個體的信息。
但壹般來說,置信區間的目的不是解決這類問題。置信區間的目的是為您提供總體中的聚合值。
置信區間對基於數據得出的結論采取匯總方法,因為這些測試旨在了解總體參數(總體總體值)。
或者,機器學習技術采用壹種單獨的方法來得出結論,因為它們試圖預測每個特定數據點的結果。
在本課程的最後幾課中,妳將會學到實踐中使用的兩種最基本的機器學習方法:線性回歸和邏輯回歸。