Signale und Systeme - Zufallsprozesse und zugehörige Spektren

1. Laplaceverteilung

Aufgabenstellung

Gegeben ist die Laplace-verteilte Zufallsvariable \(v\), für deren Wahrscheinlichkeitsdichtefunktion gilt \(    f_v(x) = \frac{\alpha}{2} \, e^{-\alpha|x|} \) .

  1. Skizzieren Sie die Wahrscheinlichkeitsdichtefunktion \(f_v(x)\) und auch grob die Wahrscheinlichkeitsverteilung \(F_v(x)\). Welcher Wertebereich ist für den Parameter \(\alpha\) zulässig?
  2. Berechnen Sie die Wahrscheinlichkeitsverteilung \(F_v(x)\).
  3. Berechnen Sie den Erwartungswert \(\textrm{E}\{v\}\) sowie die Varianz \(\sigma^2_v\).
  4. Bestimmen Sie die charakteristische Funktion \(C_v(\omega)\) der Laplaceverteilung.
  5. Mit Hilfe des Momententheorems
                    \(
                        \textrm{E}\{v^k\} = \left. \frac{1}{j^k} \frac{d^k C_v(\omega)}{d \omega^k} \right |_{\omega=0}
                    \)
    kann das \(k\)te Moment aus der charakteristischen Funktion bestimmt werden. Über-prüfen Sie damit Ihre Ergebnisse aus Teilaufgabe (c).

Umfang und Schwierigkeitsgrad

  • Zeitlicher Umfang: ca. 30 Minuten
  • Schwierigkeitsgrad: leicht

Lösung

  1. Für eine Wahrschlichkeitsdichtefunktion muss
                \[
                    \int_{-\infty}^{\infty}f_v(x) \, dx = 1
                \]
    gelten. Für welche Werte von \(\alpha\) ist dies möglich? Die Wahrscheinlichkeitsverteilung ist durch
                \[
                    F_v(x) = \int_{-\infty}^{x} f_v(u) \, du
                \]
    definiert. Was muss also für die Grenzwerte \(\displaystyle\lim_{x\rightarrow\infty}F_v(x)\) und \(\displaystyle\lim_{x\rightarrow -\infty}F_v(x)\) gelten? Daraus lässt sich eine grobe Skizze für \(F_v(x)\) anfertigen.
    Es muss gelten \(\alpha > 0\).
  2. Beim Lösen des Integrals über \(f_v(x)\) muss eine Fallunterscheidung für \(x \lessgtr 0\) vorgenommen werden.
    Für die Wahrscheinlichkeitsfunktion ergibt sich \( F_v(x) = \frac{1}{2} \, e^{\alpha x} + \delta_{-1}(x)\left(-\frac{1}{2} \, e^{\alpha x} + 1 - \frac{1}{2} \, e^{-\alpha x}  \right) = \frac{1}{2} \, e^{-\alpha |x|} + \delta_{-1}(x)\left( 1 - \frac{1}{2} \, e^{-\alpha x}  \right) \).
  3. Der Erwartungswert einer Zufallsvariablen \(v\) mit Verteilungsdichtefunktion \(f_v(x)\) ist folgendermaßen  definiert:
              \[
                  \textrm{E}\{v\} = \int_{-\infty}^{\infty} x \, f_v(x) \, dx = m_v
              \]
              In diesem Fall gibt es mindestens drei unterschiedliche Lösungswege beim Bestimmen des Integrals
            
                        (i)  Einsetzen und losrechnen.
                        (ii) Den Integranden genauer anschauen und erkennen, dass \(f_v(x)=f_v(-x)\) eine gerade, \(x\)
                             eine ungerade Funktion ist. Was bedeutet das für das Ergebnis der Integration?
                        (iii) Ähnlich zu (ii): den Graphen zu \(f_v(x)\) betrachten und erkennen, dass die Zufallsvariable
                             für positive und negative Werte identisch verteilt ist.
                    Für die Varianz der Zufallsvariablen \(v\) gilt
                    \begin{align*}
                        \sigma^2_v &= \textrm{E}\left\{\left(v-\textrm{E}\{v\}\right)^2\right\} \\
                                   &= \int_{-\infty}^{\infty} \left(x-m_v\right)^2 f_v(x) \, dx.
                    \end{align*}
    Um dieses Integral zu lösen, können Symmetrien von \[f_v(x)\] genutzt werden. Außerdem hilft zweimaliges, partielles Integrieren oder eine Integraltabelle.Für Erwartungswert und Varianz der Zufallsvariable \(v\) gitl: \( \textrm{E}\{v\} = m_v = 0 \qquad \sigma_v^2 = \frac{2}{\alpha^2} \)
  4. Die charakteristische Funktion ist definiert als
                    \[
                        C(\omega) = \textrm{E}\left\{ e^{j\omega v}\right\} = \int_{-\infty}^{\infty} f_v(x) \, e^{+j\omega x} \, dx.
                    \]
    Dies kann auch als "`Fouriertransformation der Verteilungsdichtefunktion mit falschem Vorzeichen im Exponenten"' angesehen werden -- oder als "`inverse Fouriertransformation der Verteilungsdichtefunktion, wobei der Faktor \(1/2\pi\) fehlt"'.Die charakteristische Funktion ist \( C_v(\omega) = \frac{\alpha^2}{\omega^2 + \alpha^2} \).
  5. Über das Momententheorem zuerst den Mittelwert \(m_v\) (erstes Moment) und dann die Varianz \(\sigma^2_v\) (zweites zentrales Moment) bestimmen.
    Also ja, es klappt.

2. Stationarität und Ergodizität

Aufgabenstellung

In dieser Aufgabe werden wichtige Grundbegriffe zur Beschreibung von Zufalls"-prozessen wiederholt.

  1. Zwei bedeutende Wahrscheinlichkeitsdichtefunktionen sind die Gleichverteilung und die Normalverteilung (auch Gaußverteilung genannt). Geben Sie jeweils die Verteilungsdichtefunktionen an und skizzieren Sie diese.
  2. Was bedeutet Stationarität?
  3. Was bedeutet Ergodizität?
  4. Gegeben seien \(N\) Werte  \(v(n)\) der Realisierung eines Zufallsprozesses. Wie können Schätzwerte \(\hat m_v\) und \(\hat \sigma_v^2\) für Mittelwert und Varianz des Prozesses bestimmt werden?

Umfang und Schwierigkeitsgrad

  • Zeitlicher Umfang: ca. 30 Minuten
  • Schwierigkeitsgrad: leicht

Lösung

  1. Gleichverteilung:

    Verteilungsdichtefunktion: \( f_{vg}(v) = \begin{cases} \frac{1}{v_\textrm{max}-v_\textrm{min}}, & v_\textrm{min} \leq v \leq v_\textrm{max} \\ 0 , & \textrm{sonst} \end{cases}\)

    Mittelwert: \(m_{vg} = \frac{v_\textrm{max}+v_\textrm{min}}{2} \)

    Varianz: \(\sigma_{vg}^2 = \frac{1}{12}\left(v_\textrm{max}-v_\textrm{min}\right)^2\)

    Normalverteilung:

    Verteilungsdichtefunktion: \( f_{vn}(v) = \frac{1}{\sqrt{2\pi}\sigma_{vn}}e^{-\frac{\left(v-m_{vn}\right)^2}{2\sigma_{vn}^2}}\)

    Mittelwert: \(m_{vn}\) kann direkt aus \(f_{vn}(v)\) abgelesen werden

    Varianz: \(\sigma_{vn}^2\) kann direkt aus \(f_{vn}(v)\) abgelesen werden

  2. Bei stationären Prozessen ist die Wahrscheinlichkeitsdichte in allen Beobachtungszeitpunkten gleich, d.h. \(f_v(x,t) = f_v(x) \quad \textrm{bzw.} \quad f_v(x,n) = f_v(x). \) Daraus folgt, dass alle Momente \[\textrm{E}\left\{v^k\right\} = m_v^{(k)} = \int_{-\infty}^{\infty} x^k f_v(x) \, dx \] ebenfalls zeitunabhängig sind (auch für diskrete Zufallsvariablen). Gleiches gilt für die zentralen Momente.
  3. Bei ergodischen Zufallsprozessen stimmen die Zeitmittelwerte mit den Scharmittelwerten überein. Stationarität ist Voraussetzung für Ergodizität. Seien \(K\) Realisierungen \(v_k(n)\) eines Zufallsprozesses mit jeweils \(N\) Stützstellen gegeben, gilt für den Zeitmittelwert \[ \lim_{N \rightarrow \infty} \frac{1}{N} \sum_{n=1}^{N} v_k(n)\] für die Realisierung \(k\) und für den Scharmittelwert \[ \lim_{K \rightarrow \infty} \frac{1}{K} \sum_{k=1}^{K} v_k(n_0)\] zum Zeitpunkt \(n_0\) .
  4. Schätzungen für Mittelwert und Varianz des beobachteten Zufallsprozesses sind \[\hat{m}_v = \frac{1}{N} \sum_{n=1}^{N} v(n) \] \[ \hat{\sigma}^2_v = \frac{1}{N} \sum_{n=1}^{N} \left( v(n)-\hat{m}_v \right)^2.\] Je länger die Beobachtung ist, also je großer \(N\), desto genauer ("`besser"') wird die Schätzung. Die Varianz wird manchmal auch auf \(\frac{1}{N-1}\) normiert - bei großen \(N\) fällt dies jedoch kaum ins Gewicht.

3. Kreuz- und Autokorrelation

Aufgabenstellung

In dieser Aufgabe werden einige Eigenschaften der Kreuzkorrelationsfunktion (KKF) bzw. -folge und der Autokorrelationsfunktion (AKF) bzw. -folge untersucht.

  1. Zeigen Sie, dass für die KKF gilt \(s_{v_1 v_2}(\kappa) = s^*_{v_2 v_1}(-\kappa).\) Was folgt daraus für die KKF der reellen Signale \(v_1(n),\; v_2(n)\)? Wie kann dieser Zusammenhang auf die AKF eines reellen Signals übertragen werden?
  2. Zeigen Sie, dass für zwei reelle Zufallsvariablen \(v_1\) und \(v_2\) die Cauchy-Schwarz-Ungleichung gilt:
    \( \left[\textrm{E}\{v_1v_2\}\right]^2 \leq \textrm{E}\{v_1^2\} \, \textrm{E}\{v_2^2\}. \)
    Was folgt daraus für die AKF eines reellen Signals?
  3. Wie lassen sich die in 1 und 2 für diskrete Signale erzielten Ergebnisse auf die KKF bzw. AKF von kontinuierlichen Signale übertragen?
  4. Das Leistungsdichtespektrum \(S_{vv}(j\omega)\) ist die Fouriertransformierte der AKF \(s_{vv}(\tau)\). Zeigen Sie, dass für \(\forall \omega \in \mathbb{R}\) gilt: \(S_{vv}(j\omega) \geq 0\).

Umfang und Schwierigkeitsgrad

  • Zeitlicher Umfang: ca. 30 Minuten
  • Schwierigkeitsgrad: leicht

Lösung

  1. Für die Kreuzkorrlierte gilt \[ s_{v_2 v_1}^\ast(-\kappa) = \Big[ \textrm{E}\big\{ v_2(n) \, v_1^\ast(n-\kappa) \big\} \Big]^\ast \qquad \big| \; m=n-\kappa \] \[ s_{v_2 v_1}^\ast(-\kappa) = \Big[ \textrm{E}\big\{ v_2(m+\kappa) \, v_1^\ast(m) \big\} \Big]^\ast \] \[ s_{v_2 v_1}^\ast(-\kappa) = \textrm{E}\big\{ v_1(m) \, v_2^\ast(m+\kappa) \big\} \] \[ s_{v_2 v_1}^\ast(-\kappa) = s_{v_1 v_2}(\kappa). \] Die komplexe Konjugation hat keine Auswirkung auf reellwertige Signale, daher gilt \[ s_{v_1 v_2}(\kappa) = s_{v_1 v_2}(-\kappa). \] Für die Autokorrelation, also den Fall \(v_1(n) = v_2(n) = v(n)\), gilt \[ s_{vv}(\kappa) = s_{vv}(-\kappa). \]
  2. Da der Erwartungswert einer quadrierten Zahl positiv ist, gilt die Aussage \[ \textrm{E}\left\{ \left(a \, v_1-v_2 \right)^2 \right\} \geq 0 \] für beliebige Parameter \(a\). Durch geschickte Wahl von \(a\) lässt sich die Cauchy-Schwartz-Ungleichung ableiten. \[ \textrm{E}\left\{ \left(a \, v_1-v_2 \right)^2 \right\} \geq 0 \] \[ a^2 \textrm{E}\left\{ v_1^2 \right\} - 2a \textrm{E}\left\{ v_1 v_2 \right\} + \textrm{E}\left\{ v_2^2 \right\} \geq 0 \qquad \bigg| \; a = \frac{\textrm{E}\left\{ v_1v_2 \right\} }{\textrm{E}\left\{ v_1^2 \right\} } \] \[\frac{\left[ \textrm{E}\left\{ v_1v_2 \right\} \right]^2}{\textrm{E}\left\{ v_1^2 \right\} } -2\frac{\left[ \textrm{E}\left\{ v_1v_2 \right\} \right]^2}{\textrm{E}\left\{ v_1^2 \right\} } + \textrm{E}\left\{v_2^2\right\} \geq 0 \] \[\textrm{E}\left\{v_2^2\right\} \geq \frac{\left[ \textrm{E}\left\{ v_1v_2 \right\} \right]^2}{\textrm{E}\left\{ v_1^2 \right\} } \] \[\textrm{E}\left\{v_1^2\right\} \cdot \textrm{E}\left\{v_2^2\right\} \geq \left[ \textrm{E}\left\{ v_1v_2 \right\} \right]^2\] Für die Autokorrelierte gilt \[\underbrace{\left[ \textrm{E}\left\{ v(n)v(n+\kappa) \right\} \right]^2}_{s_{vv}(\kappa)} \leq \underbrace{\textrm{E}\left\{v^2(n)\right\}}_{s_{vv}(0)} \cdot \underbrace{\textrm{E}\left\{v^2(n+\kappa)\right\}}_{s_{vv}(0)} \] \[s_{vv}^2(0) \geq s_{vv}^2(\kappa) \] \[\Rightarrow \quad s_{vv}(0) \geq |s_{vv}(\kappa)|\]
  3. Die Ergebnisse lassen sich direkt auf kontinuierliche Signale übertragen. Es muss nur \(n\) durch \(t\) und \(\kappa\) durch \(\tau\) ersetzt werden.
  4. Für die AKF des Ausgangssignals des Bandpassfilters aus dem Lösungsansatz sowie das Leistungsdichtespektrum gilt \[s_{yy}(0) = \textrm{E}\left\{ y_2^2 \right\} \geq 0 \] \[S_{yy}(j\omega) = \mathcal{F}\left\{ s_{yy}(\tau) \right\} = \left|H(j\omega)\right|^2 S_{vv}(j\omega) \] \[s_{yy}(\tau) = \mathcal{F}^{-1}\left\{ S_{yy}(j\omega) \right\} = \frac{1}{2\pi} \int_{-\infty}^{\infty} S_{yy}(j\omega) \, e^{j\omega\tau} d\omega\] Für \(\tau=0\) ergibt sich also \[s_{yy}(0) = \frac{1}{2\pi} \int_{-\infty}^{\infty} S_{yy}(j\omega) \, \underbrace{e^{j\omega 0}}_{=1} \, d\omega \] \[ s_{yy}(0) = \frac{1}{2\pi} \int_{-\infty}^{\infty} |H(j\omega)|^2 \, S_{vv}(j\omega) \, d\omega \] Annahme: \(H(j\omega)\) sei ein sehr schmalbandiges Bandpassfilter \[H(j\omega) = \begin{cases}1, & \omega_0-\varepsilon < \omega < \omega_0+\varepsilon \\0, & \textrm{sonst} \end{cases} \] mit \(\varepsilon \rightarrow 0\), so dass \(S_{vv}(j\omega)\) im Durchlassbereich um die Frequenz \(\omega_0\) annähernd konstant ist. Damit lässt sich weiter vereinfachen: \[s_{yy}(0) = \frac{1}{2\pi} \int_{\omega_0-\varepsilon}^{\omega_0+\varepsilon} |H(j\omega)|^2 \, S_{vv}(j\omega) \, d\omega \] \[ s_{yy}(0) \approx \frac{S_{vv}(j\omega_0) }{2\pi} \int_{\omega_0-\varepsilon}^{\omega_0+\varepsilon} 1 \, d\omega \] \[ s_{yy}(0) = \frac{S_{vv}(j\omega_0) }{2\pi} \cdot 2\varepsilon \geq 0\] Da dies für alle \(\omega_0\) gilt: \(S_{vv}(j\omega) \geq 0\).

Related Sections

Please have also a look into the other sections that are related to the lecture "Signals and Systems II":

 

Website News

01.10.2017: Started with a Tips and Tricks section for KiRAT.

01.10.2017: Talks from Jonas Sauter (Nuance) and Vasudev Kandade Rajan (Harman/Samsung) added.

13.08.2017: New Gas e.V. sections (e.g. pictures or prices) added.

05.08.2017: The first "slide carousel" added.

Recent Publications

J. Reermann, P. Durdaut, S. Salzer, T. Demming,A. Piorra, E. Quandt, N. Frey, M. Höft, and G. Schmidt: Evaluation of Magnetoelectric Sensor Systems for Cardiological Applications, Measurement (Elsevier), ISSN 0263-2241, https://doi.org/10.1016/j.measurement.2017.09.047, 2017

S. Graf, T. Herbig, M. Buck, G. Schmidt: Low-Complexity Pitch Estimation Based on Phase Differences Between Low-Resolution Spectra, Proc. Interspeech, pp. 2316 -2320, 2017

Contact

Prof. Dr.-Ing. Gerhard Schmidt

E-Mail: gus@tf.uni-kiel.de

Christian-Albrechts-Universität zu Kiel
Faculty of Engineering
Institute for Electrical Engineering and Information Engineering
Digital Signal Processing and System Theory

Kaiserstr. 2
24143 Kiel, Germany

Recent News

Jens Reermann Defended his Dissertation with Distinction

On Friday, 21st of June, Jens Reermann defended his research on signals processing for magnetoelectric sensor systems very successfully. After 90 minutes of talk and question time he finished his PhD with distinction. Congratulations, Jens, from the entire DSS team.

Jens worked for about three and a half years - as part of the collaborative research center (SFB) 1261 - on all kinds of signal ...


Read more ...