2 元 対称 通信 路, 2 元対称通信路 直列接続
はそのときの エントロピーである.したがって, は文字 を受け取った後の送信文字に関 する平均的なあいまいさ(条件付きエントロピー)となっている. この式をもう少し変形すると,次のようになる. これは,出力文字を知った後での,入力文字のあいまいさを表している. これと全く同じ議論が,逆の場合でも成り立つ 4 .文字 を送ったとき,受 信者が受け取る文字 に関するあいまいさでる.式で表すと となる.ここで, は文字を送信した後に受信者が受け取る文字のあいまいさ(条 件付きエントロピー)である. は元々の送信する側の文字のあいまいさである. の と が入れ替わらない理由? これはシステムのエントロピーであり,送 信者側や受信者側とは関係ない,全体に関することである.神様が見ているようなもので, 逆の議論でも関係ない. 2. 4. 0. 1 定義 文字 受け取ったとき,送信文字 について分かったことを考える.文字を受け取る前の受信者が送信文字 に関して持っているあいまいさ(エントロピー)は, であった.ここで 受け取る(観測)とあいまいさは, となった.文字 を 受け取ることにより,あいまいさが と変化した.この変化した量が受け 取った情報量 である.したがって, ( 17) である.この を 相互情報量 と呼ぶ.式( 16)と式 ( 15)から, ( 18) と書き直すことができる.この式の言っていることは少し不思議な感じがする.つぎの2 つが全く同一となる. 2. 2 グラフ化 それでは,具体的に と をプロットしてみよう.もっ とも単純な2次元対称線路を考える.図 5 に示すように,送 信者が'0'を送る確率 とし,誤りの確率を とする. 図 5: 一般的な2元対称通信路.送信者が'0'を送る確率を ,通信路の途中 で誤りが生じる確率を としている. 式( 15)を使うと, が得られる.さらに,式( 10)を使うと が得られる.以上より, と の計算でき,図 6 のグラフ(教科書 [ 1]のp. 68の図3. 23と同じ)が得られる. 図 6 のグラフから,次のことが分かる. ホームページ: Yamamoto's laboratory 著者: 山本昌志 Yamamoto Masashi 平成19年12月7日
2 元対称通信路 直列接続
元に戻って,今後のために一般的な2次元対通信路の確立の関係を示しておく.全て,直 感的に理解できる式である. これらの式は,式( 2)や式( 3)に対応したものである. 神様になった気持ちでシステム全体を見渡して,エントロピー(平均情報量)を考える.こ のシステムを観測することにより得られる情報は,送信者の文字 と受信者の文字 である.送受信が となる確率は なので,エントロピー は である.これを,結合エントロピーと呼ぶ.また,システムエントロピーと呼ばれること もある. これは,ある一つの通信を行ったとき,送信/受信の両方の文字を知ることにより,得 ることができる平均情報量である.あるいは,このシステムの通信前の情報の平均的な情 報の曖昧(不確かさ)の度合いを表していると言っても良い. 1回通信を行い,送信/受信の文字を知ることにより,情報が確定する;曖昧さがなくなる. 確率の低い情報ほど大きな情報を得ることができる.確率と情報量の関係は, 情報量 ( 9) であった.ここで, はその情報が生じる確率である.底の2は大きな意味は無く,他で も良いがバイナリーデータを扱うことが多いので,その方が都合が良い.これから,結合 エントロピーは,得られる情報量の期待値であることが分かる.これは,以前学習したと おり. 次に受信者側を考える.この場合でも,受け取る文字に関するエントロピー(平均情報量)は, となる.受信者が文字 を受け取ると,平均的に の情報を得る. つぎに,文字 を受け取ったときに,送信者が送った文字を推定することを考える. 文字 を受け取ったときに,送信文字 に関してどれだけの情報を得ることができ るか? --と言う問題である. いま,受信者が文字'0'を受け取ったとする.このとき, となる.これを ( 12) と表し,条件付き確率と呼ぶ.文字'0'を受け取ったとき,送信文字が'0'である確率であ る.同様に,文字'0'を受け取ったときに,送信文字が'1'である確率は, となる.したがって,文字'0'を受け取った場合,入力 文字のあいまいさ(エントロピーあるいは平均情報量)は ( 13) は受け取った文字が'0'のとき,送信した文字が である確率で ある. 以上のことより,受け取った文字が の場合の,送信文字に関するエントロピー は となる. は受け取る文字が となる確率である.
- 2 元対称通信路 直列接続
- 修二と彰 青春アミーゴ mv
- 尚美ミュージックカレッジ専門学校 評判
- Fate stay night heaven' s feel 第 01 07 巻 2017
- Hey say jump デビュー 発表 characters
- 一夜 一夜 に 人 見頃
- 京阪 バス 時刻 表 香里園
- 冷凍 さば 焼き 方 グリル
- 背中痩せ 1週間 ビフォーアフター
- メル ちゃん お 医者 さん
2元対称通信路 確率
ページ 1
残念ながらユーザーのブラウザはフレームを支援しません2元対称通信路とは - Weblio辞書
2 誤りのある通信路 2. 1 2元対称通信路 2. 2 結合エントロピーと条件付きエントロピー 2. 2. 1 確率の定義 2. 2 システムのエントロピー 2. 3 条件付きエントロピー 2. 4 相互情報量 図 1 のような状況を考える.送信者はメッセージ 2 を送り, 受信者はそれを受け取る.通信路の途中に雑音源があり,メッセージが変わることがある. こういうことは,結構頻繁に生じる.遠距離の通信,例えば宇宙探査船が惑星の画像を送 る場合,かなりの確率で誤りが生じる.微弱な電波で長距離を伝送するからである.これほど のことはないが,地上内の通信でも誤りの発生確率をゼロにすることはできない.熱雑音 を避けることはできないからである.宇宙線が問題になることもある. 図 1: 誤りのある通信の例.糸電話で通 信しているが,途中ノイズで 波 が 鍋 になっている. これから,誤りのある通信路の理論的な考察を行う.ある程度の式を使うことになるが, 意味さえ分かれば難しいことは何もない. 送信者は,メッセージ を送る.もし,アルファベット26文字のいずれかを送るなら ば, と考える.また,0か1のバイナリーデータを送るならば, である.ここで,送信者が文字 を送る確率を とする.すると, ( 1) である.送信者は,いずれかの文字を送るので,各々の確率を加えると1になるだけであ る. メッセージを受け取る受信者の方も同じで,受け取る文字を とする.ここでは,受 け取る文字の確率を とする.もちろん,いずれかの文字を受け取るので,その和 は1になる. ここで,文字数が多くなると議論が複雑になるので,もっとも単純な二元対称通信路 (binary symeetric chanel)を考える.これは,図 2 のような通信路で以下のように特徴づけられる. いつでもこのような状況が生じるわけではなく,このような理想的な状況を考える--と いうことを理解しておく必要がある.例えば,'0'あるいは'1'という文字を送ったが,そ れが途中で失われて,受信者には何も届かないこともある.また,'0'を送るときは 90[%]正しく通信ができるが,'1'を送るときには30[%]しか正しく通信できないことも ある.これは対称ではない. 図 2: 二元対称性通信路.送信者,受信 者とも の符号を使う.通信途中で誤りが生じ,符号が入れ替わることがある.
通信途中で誤りが生じる確率は ,正しく通信ができる確率 である. この2元対称通信路の場合,もっとも「質の悪い」エラーとはどのようなものだろうか? 100[%]の確率()で,エラーが起きる場合か? この場合,送られるメッセージと受け取るメッ セージは, のようになる.受信者は,受け取ったメッセージから送っ たメッセージが分かる. '0'と'1'を反転させれば良い.エラーが0[%]の時と同じだけ情 報を受け取ることができる.もっとも「質の悪い」エラーは50[%]の確率()でエラーが発生 する場合である.この場合,受け取るメッセージはランダムに'0'と'1'が並んだ数列に なり,送信者の送った情報を全く受け取ることができない 3 . これから,誤りがある通信路の理論的な考察を行う.そのために,図 3 に示すシステムを考える.このシステムは,送信者 がある 文字 を送ると,受信者は を受け取る.途中,信号にノイズが入り,メッセージ が変化する可能性がある.それぞれの確率(probability)を以下のように定義する. 送信者が文字 を送信する確率. 受信者が文字 を受け取る確率. 送信者が を送り,受信者が を受け取る確率. 注意 は関数ではない.また,添え字の や は送信/受信順序を表す ものではない. と は文字の区別を行っている. 言うまでもないと思うが,全ての確率を加えると1になる.したがって,先ほど示したそれぞれ の確率は となる.また, という関係も直ちに分かる. ここで, と考える人がいるかもしれない.それは間違いである.次の ような二元対称通信路(図 4)を考えれば,明らかである. 誤りが全く生じない場合を考える.送信者が'0'を送れば,受信者は必ず'0'を受 け取る.反対に'1'を送れば,'1'を受け取る. 送信者が'0'および'1'を送る確率は,それぞれ0. 5である.すなわち, となる. 途中で誤りが全く生じないので,受信者が'0'および'1'を受け取る確率はそれぞれ 0. 5である.すなわち, 従って, , この場合,明らかに は成立しない.この関係式が成り立つの は,入出力がお互いに全く無関係の場合のみである.このような通信路は全く役に立たな い!! 2元対称通信路の場合,誤りの確率が のときである. 図: 通信路の途中で誤りが発生しない2元対称通信路の確率.この場合,明らかに である.