統計学は、歴史的には、現代の観点では、18世紀に、主権国家が工業化し新たなニーズに応える上で進歩し始めた。統計学の進歩の特に大きな要因として、ヴェストファーレン条約（1648年）後のヨーロッパ諸国の発展と、統計学を強固な理論とした確率論の発展が挙げられる。
初期の頃は、統計学が対象とするデータは、人口統計などの、国家についての情報に限られていた。後に、対象となるデータはあらゆる情報に広がり、データの分析や解釈が発展していった。現代の言葉では、「統計」とは、国民経済計算や過去の気温変化といった集積されたデータと、統計学的推測による分析作業の両方を指す。統計学の手段として、確率論における確率空間が用いられることが多い。特に求められるのはコンピュータのアプリケーションソフトウェアによるデータ処理である。統計学の概念の多くは科学の世界に幅広く重要な影響を与えている。実験計画法や、ベイズ推定といった統計学的推測へのアプローチはこれらに含まれる。これらはそれぞれ現代統計学の基礎となるアイディアの系譜と見なされている。
概要 18世紀までは、「統計」という語は、国家による人口や経済のデータの公的集計を指していた。少なくとも二千年の間、こういったデータは、主に課税や徴兵のための人的、物的資源の集計であった。19世紀初頭、集計が強化され、「統計」の意味は広がり、データの集計、要約、分析に関連する分野を含むようになった。今日、データが集計され、統計量が計算され、広く、政府、企業、大半の科学やスポーツ、さらには多くの娯楽で使用されている。電子計算機はより精巧な統計計算をもたらし、データが大きかったり多くても処理を十分に可能にした。1人のデータ分析者が、大きさが数十～数百のデータセットで、数百万の測定値を分析したい場合がある。これらは年月とともにコンピュータのはたらき（例えば証券取引所）や電算化されたセンサ、POSレジなどから登場するようになる。コンピュータは、統計量を正確で短時間に出力し、巨大な正方行列の逆行列を求めたり、数百の段階を反復して実行するなど、手作業ではけっしてできない、面倒な分析を可能にする。より高速のコンピューティングにより、統計家はコンピュータを集約して母集団内の全てを検索する方法を開発したり、大きさが1万個もの母集団の推測が理論だけでは難しいのを、ランダム化により推測可能にした。
数理統計学とは、数学において統計学で実際に使用される確率論と推計統計学を指す。しかし、統計学と確率論の連携は少し遅れて発展した。19世紀になると、統計学では確率論がますます使われるようになり、その初期の結果は、17世紀と18世紀の特に運が左右するゲーム（賭博）の分析で見出された。1800年まで、天文学では確率モデルと統計学理論、特に最小二乗法が使われていた。初等的な確率論と統計学は19世紀に体系化され、統計的推論、確率モデルが、実験心理学、社会学といった新しい科学を志向する社会科学者、熱力学、統計力学の物理学者に使われた。推計統計学の発展には帰納法、科学的方法の発展と密接な関係があった。このことは、統計家の対象が狭義の数理統計学から遠ざかってしまうことが懸念される。コンピュータが台頭するまでは、統計学の理論的業績の多くが有用であった。1970年代までに、とは4巻からなる統計分布の大著を著したが（第1巻は1969年–1972年）、これは依然として貴重な資料となっている。
応用統計学は数学の一分野でなく、計算機科学やオペレーションズ・リサーチといった数理科学の独立した一分野と見なすことができる。数学とは異なり、統計学は行政に端を発している。初期の頃から人口統計学、経済学に応用されている。今日のミクロ経済学、マクロ経済学の主な対象領域は、時系列の分析を中心とした「統計学」である。データから学び、最善の予測をすることに重きを置いた統計学は、心理検査、医学、疫学の学術研究によっても形作られてきた。仮説検定の考え方は意志決定科学とかなり重なり合っている。データの調査や効果的な提示に関わっている統計学は、情報学や計算機科学と重なる部分がある。
語源
英語のstatisticsという語は、最終的には、ラテン語のstatisticum collegium（「国会」）とイタリア語のstatista（「政治家」）に由来している。1749年にゴットフリート・アッヘンヴァルによって初めて紹介されたドイツ語のStatistikは、元々は国家についてのデータの分析のことを指しており、「国家の科学」（当時は英語でpolitical arithmeticと呼ばれていた）を意味していた。19世紀初頭には、それは一般的にはデータの集計と分類を意味するようになった。この単語は1791年、が21巻からなる "Statistical Accounts of Scotland"（『』）の第1巻を出版したときに英語で紹介された。
したがって、Statistikの本来の主な目的は、データが政府の（中枢）行政機関に使用されることであった。国や地方についてのデータの集計は主に国家や国際的な公共事業を通じて定期的に行われる。特に、人口統計についての情報は国勢調査を通じて頻繁に更新される。
"Statistics" を題名に最初に冠した本は、Francis G. P. Neison（Medical Invalid and General Life Officeの保険数理士）による "Contributions to Vital Statistics"（1845年）である。
日本における用語の取り扱い 日本で初めて紹介された統計書は、1854年（江戸時代末期）の、オランダのP. A. de Jongによる "Statistische tafel van alle landen der aarde"（『地球上の全ての国の統計表』）と言われている。当時はstatisticsという語に対する日本語が存在せず、一時期は片仮名で「スタチスチク」と使われていた。この本は1860年（万延元年）、福澤諭吉とその弟子古川正雄（岡本博卿）の訳により、『万国政表』（萬國政表）として刊行された。そこでは "statistische tafel" を「政表」と訳している。
現在で一般的に使われている「統計」と初めて訳したのは、洋学者の柳川春三と推定されている。1870年（明治3年）8月4日に、外務省が諸省に廻達した文書（外国貿易品輸出入の物品高表を編集、貿易年表を出版する旨を通知した文書）の中で、「統計年鑑」という用語がある。日本の公文書に「統計」という語が初めて登場したのはこの時とみられる。1871年（明治4年）7月27日、大蔵省に「統計司」という機関が設置され、日本の官署で初めて「統計」という名称が附された（翌8月10日に「統計寮」と改められた）。これは、米国視察から帰国した伊藤博文の建議による。「統計学」という訳語が日本の社会に普及し始めるのは、（明治7年）6月に文部省出版の『統計学』（モロー・ド・ジョンネ著 "Elementde Staisique" 箕作麟祥訳）によるとされる。
現在の中国、韓国でも、statistics の訳語として「統計」が用いられている。その起源は日本であり、中国語の造語である「統紀」に触発されて日本で造語された「統計」が中国に導入された。
起源
文明の開始以来、統計には基本的な方式が用いられてきた。初期の帝国では、しばしば人口国勢調査を照合したり、様々な商品の取引を記録したりしていた。漢王朝とローマ帝国は、帝国の人口、国土面積、富の規模についてのデータを広範囲に集計した、最初の国家たちである。
統計的手法が使用されるようになるのは、少なくとも紀元前5世紀にまでさかのぼる。歴史家のトゥキュディデスは『戦史』で、アテネ人がプラタイア（都市国家）の壁の高さを測定する方法を説明している。周囲の、壁で漆喰の塗られていない区間のレンガの数を十分な回数数えた。そのカウントは何人かの兵士によって数回繰り返された。そこでの最頻値はレンガの数の最もありうる値と見なされた。この値に、壁に使われているレンガの高さを掛けることで、アテネ人は壁に架けるのに必要なはしごの高さを決めることができた。
（トライアル・オブ・ザ・ピクス）は、12世紀から定期的に実施されている、王立造幣局（イギリス）の硬貨の純度の検査である。その検査方法は、統計学の標本調査による方法に基づいている。一連の硬貨を（元々は10ポンドの銀から）鋳造した後、1枚の硬貨をウェストミンスター寺院にあるに入れる。一定期間後（現在は1年に1度）硬貨を取り出して計量する。次に、箱から取り出された標本硬貨の純度を検査する。
14世紀のフィレンツェの歴史を記した『』（ジョヴァンニ・ヴィッラーニ、フィレンツェの銀行家であり公務員）には、人口、法令、通商貿易、教育、宗教施設についての多くの統計情報が記載され、歴史上統計データを明確に著した最初のものであるGiovanni Villani. Encyclopædia Britannica. Encyclopædia Britannica 2006 Ultimate Referece Suite DVD. Retrieved on 2008-03-04.。だが、そこにはまだ、特定の分野としての統計学の用語も概念もまだ存在していなかった。
算術平均はギリシャ人には知られていた概念であるが、16世紀まで3個以上の値に対して一般化されていなかった。1585年にシモン・ステヴィンが十進法を発明したことで、これらの計算が容易になったと思われる。この方法はティコ・ブラーエにより天文学で採用された。様々な天体の位置を推定したときの誤差を減らそうとしていた。
中央値の発想は、1599年のの航法についての著書 ("Certaine Errors in Navigation") を起源とし、コンパスによる位置の特定についての節に書かれている。ライトは、一連の観測値の中でこの値が最も正しそうな値だと感じた。 サムネイル|250x250ピクセル|ウィリアム・ペティは17世紀の経済学者で、人口統計データを分析するために早くから統計学的手法を駆使した。 統計学の誕生は、1662年にまでさかのぼる。ジョン・グラントがウィリアム・ペティと共に、国勢調査のための統計的方法を開発し、人口統計学の現代的な枠組みを構築した。彼は生命表を初めて作成し、年齢ごとの生存率を与えた。彼の著書 "Natural and Political Observations Made upon the Bills of Mortality" では死亡率の分析を行い、初等統計学的に基づいてロンドンの人口を推定した。彼は、ロンドンでは年間で約13,000の葬儀があり、11家族中3名の割合で亡くなっていることを知っていた。彼は小教区の記録から、世帯平均人数は8名と推定し、そこからロンドンの人口はおよそ384,000名と割り出した。これはが初めて使用された例として知られる。1802年にラプラスは、同様の方法でフランスの人口を推定した。
統計学の適用範囲は元々は統治に有用なデータに限られていたが、その守備範囲は19世紀の間に、科学や商学の多くの分野に広がって行った。この分野の数学的基礎は、16世紀になって新たに拓かれた確率論によって促された。その初期の確率論を拓いたのは、ジェロラモ・カルダーノ、ピエール・ド・フェルマー、ブレーズ・パスカルである。クリスティアーン・ホイヘンス（1657年）は、この分野を科学的にとらえた最も初期の科学者として知られる。ヤコブ・ベルヌーイは『』（死後の1713年に出版）で、アブラーム・ド・モアブルは『』（1718年）で、この分野を数学の一分野として扱った。ベルヌーイは著書で、確実に起こることを1で表し、確率を0から1の間の数で表すという考えを紹介した。
統計学的検定の登場 統計学の適用で18世紀に早く行われた重要なものは、出生時の人間の性比であった。は1710年にこの疑問を研究した。アーバスノットは、1629年から1710年までの82年間のロンドンでの出生記録を調べた。どの年でも、ロンドンでの男子の出生数が女子のそれより多かった。男子と女子の出生が同様に確からしいと仮定すると、その結果から観察される、男女の出生が異なる確率は0.5、つまり約4.836 × 10分の1であることを導いた。これは現在の言葉ではP値である。これはほとんどないに等しく、アーバスノットは、これは偶然ではなく神が与えた摂理と説いた：「それが示すのは、偶然でなく作為が決定している」これと他を含むアーバスノットの業績は「有意性検定の最初の使用」として評価されている。その最初の例は、有意性と道徳的な誠実さについての推定であり、「おそらく、ノンパラメトリック検定の最初の発表された報告」（具体的には）であった。
確率分布の登場 誤差の理論の定式的な研究は、1722年のロジャー・コーツの "Opera Miscellanea"（死後に出版）にまでさかのぼる。しかし、1755年（出版されたのは1756年）にトーマス・シンプソンにより作られた回想録では、観測による誤差についての議論に理論が初めて適用されている。この回想録の再版 (1757) では、正と負の誤差が同じ割合で含まれ、通例想定される全ての誤差の集合の極限が、確かにあるという公理を示した。連続した誤差たちについて論じ、確率曲線を与えた。シンプソンは誤差のありうる分布をいくつか示した。彼は初めに離散一様分布について考察し、次に連続対称三角分布から離散対称三角分布を考察した。トビアス・マイヤーは月の秤動についての研究で（"Kosmographische Nachrichten" ニュルンベルク、1750年）、未知の量を推定する定式化した方法を初めて考案した。同じ状況での観測結果の平均を、類似の方程式のグループの平均に一般化している。
1755年、ルジェル・ヨシプ・ボスコヴィッチは、地球の形についての研究を、著書 "De Litteraria expeditione per pontificiam ditionem ad dimetiendos duos meridiani gradus a PP" で著した。Maire et Boscovicli は、一連の観測値の中で真の値は絶対偏差の総和を最小にするだろうと述べた。現代の用語・観点では、この値は中央値である。後に正規分布曲線と呼ばれる分布曲線を最初に研究したのはアブラーム・ド・モアブルで、彼はこの曲線を1733年11月12日に見出したAbraham de Moivre (1738) The doctrine of chances. Woodfall。ド・モアブルは公正なコインを投げたときに表が出る回数について研究していた。
トーマス・ベイズは1761年にベイズの定理を証明し、ジョゼフ・プリーストリーは1765年に最初にタイムラインチャートを発明した。
ヨハン・ハインリヒ・ランベルトは1765年の著書 "Anlage zur Architectonic" で誤差の分布曲線が半円になることを発表した：
正規分布の登場 277x277px|thumb|left|ラプラス分布の確率密度関数のグラフ ピエール＝シモン・ラプラス (1774) は、観測値の集まりを、確率論の原理から導出する試みを初めて行った。彼は誤差の確率の法則を曲線で表し、3個の観測値の平均の公式を導出した。
ラプラスは1774年に、誤差の頻度は、いったん符号を無視すると、それの大きさの指数関数で表せると述べたWilson, Edwin Bidwell (1923) "First and second laws of error", Journal of the American Statistical Association, 18 (143), 841-851 。この分布は現在ラプラス分布として知られている。ジョゼフ＝ルイ・ラグランジュは1776年に、誤差のを発表した。
ラプラスは1778年に、誤差についての2番目の法則を著した。彼は、誤差の頻度はそれの大きさの2乗のべきに比例するということを述べた。このことはその後ガウスによっても（おそらく1795年に）発見され、統計学で中心的な役割を果たす正規分布として最もよく知られているHavil J (2003) Gamma: Exploring Euler's Constant. Princeton, NJ: Princeton University Press, p.157。この分布は、1873年にチャールズ・サンダース・パースによって、最初に「正規」分布と呼ばれた。彼は物体を木製の台座に落としたときの測定の誤差について研究していたCharles Sanders Peirce (1873) Theory of errors of observations. Report of the Superintendent US Coast Survey, Washington, Government Printing Office. Appendix no. 21: 200-224。彼が用語に「正規」を採用したのは、自然な発生回数で頻繁に起こるからである。
また、ジョゼフ＝ルイ・ラグランジュは1781年に、誤差についての2つの分布、余弦分布とを発表している。
1781年に、ラプラスは「誤差の容易さの法則」についての式（ラグランジュによる用語〈1774年〉）を与えた 英語訳PDF。だがそれは扱いにくい方程式を導いた。ダニエル・ベルヌーイは1778年に、同時誤差の系の確率の最大積の原理を導入した。
統計図表の登場 1786年に、ウィリアム・プレイフェア（1759年 - 1823年）は統計グラフを導入した。彼は折れ線グラフ、棒グラフ、ヒストグラムを考案し、彼の経済学 ("Commercial and Political Atlas") の業務に組み込んだ。このことは、1795年に彼が円グラフを考案することにつながった。彼は英国の輸出入の進展を円グラフで表した。後者のチャートは、1801年に彼が著した "Statistical Breviary" の例で広く注目を集めた。
ラプラスは1787年の土星と木星の運動の研究において、1つの方程式のグループの異なる線型結合を使うことによってマイヤーの方法を一般化した。
1791年にジョン・シンクレアは、自身の『スコットランド統計研究』で、英語の 'statistics' という語を導入した。
1802年に、ラプラスはフランスの人口を2832万8612人と推定したWilliam Gemmell Cochran (1978) "Laplace's ratio estimators". pp.3-10. In David H.A., (ed). Contributions to Survey Sampling and Applied Statistics: papers in honor of H. O. Hartley. Academic Press, New York 。彼はこの数値を、前年の出生数と3つの値域の国勢調査のデータから計算した。これらの地域の国勢調査のデータからは、居住者が2,037,615人であり、出生数が71,866人であることが分かった。ラプラスは、これらの標本がフランスを代表していると仮定して、全人口を見積った。
最小絶対値法 最小絶対値法は1757年にルジェル・ヨシプ・ボスコヴィッチによって考案された。
18世紀前半、偶然誤差が互いに打ち消し合うという見解は数学者に広く認められていたわけではなかった。レオンハルト・オイラーは1749年の『土星と火星の運動における均差の問題に関する研究』の121節において「二つもしくはそれ以上の方程式の結合により、観測値の誤差と計算誤差は何倍にも増大し得る」原文「Mais puisque par la combinaison de deux ou plusieurs équations, les erreurs des observations & du calcul se peuvent multiplier, je substituerai les valeurs que je viens de trouver... 」『Paris prize article』と述べている。Leonhard Euler「Recherches sur la question des inégalités du mouvement de Saturne et de Jupiter」1749年
教皇ベネディクトゥス14世から子午線弧の測定作業の命を受け、ボスコヴィッチは1755年にその報告書『神父たちによる教皇領における子午線の 2度を測定するための学術探検について』を刊行した。この 2年後の1757年に、ボスコヴィッチはこのとき得られたローマ～リミニの弧長や赤道に近いキト（エクアドル）における弧長（フランス科学アカデミーによる測地遠征の成果）など計 5つの地点の弧長からできるだけ精確な扁平率を検討した論稿を刊行している。
最小二乗法の登場 サムネイル|カール・フリードリヒ・ガウスは1809年に最小二乗法を考案した。 データの測定値の誤差を最小にするために使われる最小二乗法は、アドリアン＝マリ・ルジャンドル（1805年）、（1808年）、カール・フリードリヒ・ガウス（1809年）によって独立に発表された。ガウスは、1801年の彼の名高い、準惑星ケレスの位置の予測で、この方法を用いた。ガウスの計算の基となる観測は、イタリアの僧侶ピアッツィによって行われた。
最小二乗法より先に中央値回帰直線の傾き（後の最小絶対値法）が用いられた。これは中央絶対偏差の総和を最小にする。この傾きを推定する方法は、1760年にルジェル・ヨシプ・ボスコヴィッチによって考案された。彼は天文学に応用した。
「確率誤差」（der wahrscheinliche Fehler、平均からの中央値のずれ）という用語は、1815年にドイツの天文学者であるフリードリヒ・ヴィルヘルム・ベッセルによって導入された。1843年にアントワーヌ・オーギュスタン・クールノーは、確率分布における、面積を2等分する値に valeur mediane（「中央値」）という語を初めて用いた。
誤差の理論についての他の貢献者には、Ellis (1844), オーガスタス・ド・モルガン (1864)、ジェームズ・ウィットブレッド・リー・グレイシャー (1872)、ジョヴァンニ・スキアパレッリ (1875) がいる。ピーター（1856年）の（単一の観測値の「確率誤差」）についての式は広く用いられ、初期のに影響を与えた（外れ値に左右されにくい。を参照）。
19世紀の理論統計学者には、ラプラス、 (1816)、Littrow (1833)、リヒャルト・デーデキント (1860、Helmert (1872)、 (1873)、Liagre、Didion、オーガスタス・ド・モルガン、ジョージ・ブールがいる。
グスタフ・フェヒナーは社会学的および心理学的現象で中央値 (Centralwerth) を用いたJohn Maynard Keynes (1921) A treatise on probability. Pt II Ch XVII §5 (p 201)。それ以前では天文学とその関連分野でしか使われていなかった。フランシス・ゴルトンは1881年に、初めて英語での用語として median を用いた。それより以前では、1869年に middle-most value が、1880年には medium が使用されていたFrancis Galton (1881) Report of the Anthropometric Committee pp.245-260. Report of the 51st Meeting of the British Association for the Advancement of Science。
もう1人の重要な統計学の創始者であるアドルフ・ケトレー（1796年 - 1874年）は、犯罪率、結婚率、自殺率といった複雑な社会現象を理解するために、「平均人」(l'homme moyen) という概念を導入したStigler (1986, Chapter 5: Quetelet's Two Attempts)。
正規分布の最初の検査は、1870年代にドイツの統計家であるヴィルヘルム・レキシスによって考案された。彼が示すことのできたデータセットは、正規分布である出生率のみであった。
現代統計学の開発 統計理論の起源は18世紀の確率の進歩にあるが、現代統計学が19世紀後半から20世紀前半にかけて、3つの段階により形作られる。最初の波は、世紀の変わり目に起こり、フランシス・ゴルトン、カール・ピアソンの業績により導かれた。彼らは統計学を科学だけでなく、産業や政治に対しても同様に分析することのできる厳密な数学の体系に打ち立てた。2番目の波は1910年代から20年代にかけて起こり、ウィリアム・ゴセットに始まり、ロナルド・フィッシャーの洞察により最高潮に達した。この流れで、実験計画法のモデルのさらなる発展や、小さな標本から仮説検定する技術が起こった。最後の波は、1930年代にエゴン・ピアソンとイェジ・ネイマンの共同研究により誕生し、主に初期の開発で洗練と拡大を見た。今日、統計学の手法は、意思決定を含むすべての分野で適用されている。データを照合することで正確な推論を行い、不確実性に直面した場面での意思決定を、統計学の手法に基づいて行う。
潮流への兆し 224x224px|thumb|1834年に創設されたイギリス王立統計学会のロゴ 最初の統計機関は19世紀初頭に設立された。王立統計学会が1834年に創始され、フローレンス・ナイチンゲールはそれの最初の女性所員であった。彼女は疫学を理解し公衆衛生を実践するために、健康問題の統計的分析を促進することを切り拓いた。ただし、当時行われていた方法は、今日の近代的な統計学とは見なされてはいない。
オックスフォード大学の学者であるフランシス・イシドロ・エッジワースは著書 "Metretike: or The Method of Measuring Probability and Utility" (1887) で、帰納的推論の基礎として確率を扱っており、彼の後の作品では「偶然の哲学」に焦点が当てられていた(Stigler 1986, Chapter 9: The Next Generation: Edgeworth)。彼の統計学に関する最初の論文 (1883) は誤差の法則（正規分布）を調べたものであった。そして彼の "Methods of Statistics" (1885) では、t分布の初期のバージョン、エッジワース展開、、変数変換する方法、最尤推定の漸近理論が導入された。
1895年に、ノルウェーの統計家であるアンネシュ・ニコライ・ヒエルは層化抽出法の概念を導入したBellhouse DR (1988) A brief history of random sampling methods. Handbook of statistics. Vol 6 pp.1-14 Elsevier。1906年に、は、社会統計学に従事しているときに、標本調査の新しい方法を導入した。社会情勢の統計調査は、チャールス・ブースの "Life and Labour of the People in London" (1889-1903)、シーボーム・ラウントリーの "Poverty, A Study of Town Life" (1901) に端を発したが、中でも革新的なのは、ボウリーの無作為抽出による手法である。彼の功績は "New Survey of London Life and Labour" で最高潮に達した。
第一の波