Обзор на курсовете по вероятностни и статистически методи за комуникационни и компютърни инженери по света
1.
MASSACHUSETTS INSTITUTE OF TECHNOLOGY
Electrical Engineering and Computer Science
http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/index.htm
6.041 / 6.431 Probabilistic Systems Analysis and Applied Probability, Spring 2006
Highlights of this Course
This course features various probability-related simulations in the tools section. A complete set of lecture notes and assignments with solutions are also available.
Course Description
This course is offered both to undergraduates (6.041) and graduates (6.431), but the assignments differ. 6.041/6.431 introduces students to the modeling, quantification, and analysis of uncertainty. Topics covered include: formulation and solution in sample space, random variables, transform techniques, simple random processes and their probability distributions, Markov processes, limit theorems, and elements of statistical inference.
6.436J / 15.085J Fundamentals of Probability, Fall 2005
Highlights of this Course
This course features exams given in the course and a list of topics and associated readings in the readings section. Lecture notes are still under development.
Course Description
This is a course on the fundamentals of probability geared towards first or second-year graduate students who are interested in a rigorous development of the subject. The course covers most of the topics in 6.431 but at a faster pace and in more depth. Topics covered include: probability spaces and measures; discrete and continuous random variables; conditioning and independence; multivariate normal distribution; abstract integration, expectation, and related convergence results; moment generating and characteristic functions; Bernoulli and Poisson processes; finite-state Markov chains; convergence notions and their relations; and limit theorems. Familiarity with elementary notions in probability and real analysis is desirable.
2.
Stanford University, Winter 2006-2007
http://eeclass.stanford.edu/ee178/
EE 178: Probabilistic Systems Analysis
Catalog description
Introduction to probability and statistics and their role in modeling and analyzing real world phenomena. Events, sample space, and probability. Discrete random variables, probability mass functions, independence and conditional probability, expectation and conditional expectation. Continuous random variables, probability density functions, independence and expectation, derived densities. Transforms, moments, sums of independent random variables. Simple random processes. Limit theorems.
3.
The Johns Hopkins University
Department of Electrical and Computer Engineering
The MSE Program in Communication Science
http://www.ece.jhu.edu/~cooper/commsmse.htm
550.420 Introduction to Probability Fall 2006
Probability theory originated in the consideration of gambling problems, but has become an important tool for scientists, engineers, medical practitioners, lawyers, and people working in business. A wide variety of phenomena are characterized by randomness and uncertainty, which is measured by probability. Probability models also play a fundamental role in the statistical analysis of data.
The aim of the course is to provide an introduction to the elementary concepts of probability. The first part of the course will introduce the student to the basic ideas used to describe aspects of randomness, such as events, random variables, independence, and conditional probability. After students have developed familiarity with these concepts, the remainder of the course concentrates on the methods, calculation, and applications of probability, rather than more theoretical aspects. The topics treated are: discrete and continuous distributions, density functions, distribution theory, calculation and interpretation of moments, covariance and correlation, the classical central limit theorem and laws of large numbers, and standard probability inequalities.
Instructor: John Wierman
211G Whitehead Hall
410-516-7211
wierman@jhu.edu
4.
UNIVERSITY OF ILLINOIS
Department of Electrical and Computer Engineering
ECE 313 Probability with Engineering Applications
http://courses.ece.uiuc.edu/ece313/fall07/
Lecture Date Topics Reading Notes Homework due
1 08.22 Introduction 1.1-1.5 info
2 08.24 Probability model 21.-2.3
3 08.27 Axioms of probability I 2.4-2.5
4 08.29 Axioms of probability II 2.6-2.7 hw1, soln1
5 08.31 Axioms of probability III 2.6-2.7
09.03 Labor Day, no class
6 09.05 Random variables 4.1-4.3 hw2, soln2
7 09.07 Mean, LOTUS, and variance 4.4-4.5
8 09.10 Independent trials 4.6
9 09.12 Statistical estimation 4.6 hw3, soln3
10 09.14 Confidence intervals 8.1-8.2
11 09.17 Important counting random variables 4.7-4.8
12 09.19 Conditional probability 3.1-3.2 hw4, soln4
13 09.21 Theorem of total probability 3.3
14 09.24 Bayes’ formula 3.3-3.5
15 09.26 Decision-making under uncertainty hw5, soln5
16 09.28 Decision-making under uncertainty II
17 10.01 Decision-making under uncertainty III
18 10.03 System reliability I hw6, soln6
19 10.05 System reliability II
20 10.08 Cumulative distribution function 4.9
Midterm 1 (7-8:30 PM, 269 EL) fall06, sp07 midterm1, midterm1soln
10.10 No class after midterm
21 10.12 Uniform and Exponential random variables 5.3, 5.5
22 10.15 Other continuous random variables 5.6
23 10.17 Expectation of continuous random variables 5.2 hw7, soln7
24 10.19 Expectation of functions of continuous random variables 5.2-5.6
25 10.22 Gaussian random variable 5.4
26 10.24 Poisson process 9.1 hw8, soln8
27 10.26 Functions of random variables 5.7
28 10.29 Hazard rates and system reliability
29 10.31 Decision-making under uncertainty IV hw9, soln9
30 11.02 Joint distributions of random variables
31 11.05 Joint probability mass functions
32 11.07 Joint continuous random variables I hw10, soln10
33 11.09 Joint continuous random variables II
34 11.12 Joint continuous random variables III
Midterm 2 (7-8:30 PM, 269 EL) fall06, sp07
35 11.14 Functions of many random variables I
11.16 No class
36 11.26 Functions of many random variables II
37 11.28 Functions of many random variables III hw11, soln11
38 11.30 Expectation, covariance, and correlation
39 12.03 Jointly Gaussian random variables
40 12.05 Mean-square estimation hw12, soln12
41 12.07 Limit Theorems
12.10 Final Exam fall06, sp07
5.
Technische universiteit Eindhoven
Probability and Statistics
http://www.win.tue.nl/bs/ps.html
Probability Theory is a mathematical discipline that plays an increasingly important role in our technological society. We are more and more often faced with organizations, systems and processes that are so complex that an explicit description is not feasible. Instead, probabilistic descriptions and methods of analyses are being used. Because of this, Probability Theory is internationally flourishing. We focus on probabilistic problems arising in physics (polymers, porous media and magnetization) and in telecommunication (wireless communication and coding techniques, and network modeling using random graphs).
In Statistics, the focus lies on modeling phenomena using statistical models to explain available data. In this technological age, we have large data sets at our disposal, for example in computational biology. The aim is to explain data using statistical models, thereby learning about the underlying processes that have produced these data sets. Specific areas of expertise include microarray analysis arising in gene analysis, monitoring procedures for industrial processes (control charts), design of experiments, statistical methods for software testing, and statistical signal processing techniques (nonparametric regression, wavelet analysis).
The Probability and Statistics Group is active in teaching. We teach courses for a wide range of audiences and educational programmes. Most courses that we teach are for our Bachelor's or Master's programme in applied and industrial mathematics, for other programmes at Eindhoven University of Technology, or for industrial teaching programmes.
6.
University of Pennsylvania
M.S.E. in Systems Engineering
http://www.ese.upenn.edu/grad/mse.html
Students entering the Master of Science in Engineering (M.S.E.) program usually have baccalaureate degrees in the engineering, mathematical, physical, or economic sciences, although many students with other backgrounds who have a facility with quantitative and computer analyses also matriculate. The requirements for the M.S.E. degree in systems engineering are the satisfactory completion of an approved program of 10 course units. These requirements have two components: the Required Core and the Focus. Effective Fall 2007, GRE scores are required.
The purpose of the Required Core is to provide a solid foundation in systems methodologies appropriate to each students career goal. The purpose of the Focus is to develop in-depth experience in an area of application appropriate to the students interest. A thesis is optional.
Required Core courses for Systems Engineering Majors:
ENM 503 Introduction to Probability & Statistics
ESE 540 Economic Systems Analysis
ESE 603 Simulation Modeling & Analsyis
ESE 504 Introduction to Optimization Theory
ISE majors (Information Systems Engineering): include ESE 670:Information Systems
Please refer to the course descriptions on page 28.
Lockheed-Martin Transfer credit: Lockheed Martin students must petition for transfer credit in person, and bring a letter from the Company (your supervisor), clearly stating which Advanced Course(s) the student completed and the final grade(s) awarded. All documents should be given to Betty Gentner, located in 111 Towne Building. PLEASE DO NOT REGISTER FOR MEAM 901, 902 OR 903. Physics 411 and 412 are acceptable for graduate credit toward the MSE and Ph.D. degrees
7.
Walden University
NMTH 6701 MA 520
Probability and Statistics for Scientists and Engineers
http://www.ntu.edu/online/courses/course.asp
8.
TTU Tennessee Tech University
Electrical and Computer Engineering
http://www.tntech.edu/gcat/asp/specific_engineering_courses.asp
ECE 6250. Random Signals and Systems. Lec. 3. Cr. 3.
Prerequisite: ECE 3910 or equivalent. Probability models used in engineering; transformations of random variables; stochastic processes for engineering applications; linear least-square estimation; spectral analysis; Markoff systems.
9.
Софийски университет "Св. Климент Охридски"
http://www.slav.uni-sofia.bg/Masters/cl/sites/CL/courses.html
Магистърска програма "Компютърна лингвистика"
Вероятностни модели в компютърната лингвистика
Хорариум 2+0 (общо 30 часа)
Анотация
10.
University of Arizona
SIE 500A – Introduction to SIE Methods: Probability and Statistics
http://www.sie.arizona.edu/course_pages/sie500a/public/syllabus.htm
Registration Procedures & Restrictions Master of Engineering students – register through the Tri-University Master of Engineering Website. All other students register through UA Distance Learning by completing the Graduate Registration Form.
Official Catalogue Description Axioms of probability, discrete and continuous distributions, sampling distributions. Applications of statistical estimation, hypothesis testing, confidence intervals.
Session Dates Fall 2007
11.
Министерство образования Российской Федерации
УЧЕБНАЯ ПРОГРАММА
по курсу "Статистическая радиофизика"
для направления подготовки 511500 - Радиофизика
(цикл общепрофессиональных дисциплин)
и для специальности
013800 - Радиофизика и электроника
(дисциплины специальности)
Курс: 4 Программа составлена на основе программ:
ННГУ - зав.кафедрой бионики и статистической радиофизики радиофизического факультета профессор, доктор ф.-м.н. А.А.Мальцев
ТГУ - зав.кафедрой радиофизики профессор, доктор ф.-м.н. В.П.Якубов
Семестр: 7
Аудиторных занятий 90 час.
Экзамен
СОДЕРЖАНИЕ КУРСА
"Статистическая радиофизика"
(наименование тем и их содержание)
Программа предназначена для подготовки специалистов, бакалавров и магистров по специальностям "Радиофизика и электроника", "Оптико-электронные системы" и "Лазерная техника". Курс "Статистическая радиофизика" читается в 7 семестре студентам-радиофизикам, изучившим курсы "Общая физика", "Методы математической физики", "Электродинамика", "Теоретические основы радиотехники" и "Теория волн". Математической основой курса являются разделы курса высшей математики: математический анализ, аналитическая геометрия, линейная алгебра, дифференциальные уравнения, теория функций комплексной переменной, методы математической физики и теория вероятностей. Статистическая радиофизика - это теория описания флуктуационных явлений в радиофизике. Программа охватывает все основные разделы от простейших методов моделирования и анализа случайных процессов до элементов теории информации и синтеза оптимальных методов приема и анализа сигналов в условиях шумов.
В результате изучения курса студент приобретает новое мировоззрение в понимании процессов, происходящих в различных реальных радиофизических системах, используемых для передачи, приема и анализа информации. В результате выполнения практических и лабораторных работ студент приобретает навыки самостоятельной работы по моделированию и анализу случайных процессов с использованием современных компьютерных технологий.
Для контроля усвоения студентами курса предусмотрено проведение коллоквиума, контрольной работы и зачета по итогам семинарских занятий и лабораторному практикуму. Итоговая оценка знаний проводится на экзамене по всем разделам курса.
Лекции
Введение.
Предмет изучения статистической радиофизики. Физика возникновения флуктуаций. Единство случайных и детерминированных процессов. Примеры случайных явлений в различных областях радиофизики. Историческая справка.
I. Элементы теории случайных процессов.
1.1. Определение и вероятностное описание случайного процесса. Понятие статистического ансамбля. Вероятностное описание случайного процесса с помощью многомерных плотностей вероятностей. Основные свойства многомерных плотностей вероятностей. Условные плотности вероятностей, их свойства и связь с многомерными безусловными плотностями вероятностей.
1.2. Классификация случайных процессов по их вероятностному последействию. Совершенно случайные процессы, марковские процессы и их описание. Уравнение Смолуховского для условной плотности вероятности марковского процесса. Квазидетерминированные случайные процессы.
1.3. Многомерные характеристические, моментные и кумулянтные функции случайного процесса. Характеристическая функция, определение и свойства. Моментные и кумулянтные функции, их взаимосвязь. Корреляционная и ковариационная функции случайного процесса. Коэффициент корреляции.
1.4. Гауссовские случайные процессы. Многомерная характеристическая функция и плотность вероятностей гауссовского процесса. Информация необходимая для полного описания гауссовского случайного процесса. Ковариационная матрица отсчетов случайного процесса. Основные свойства гауссовских случайных процессов. Обоснование использования гауссовской модели случайных процессов и центральная предельная теорема.
1.5. Стационарные и эргодические случайные процессы. Понятие стационарности в узком и широком смысле. Усреднение по статистическому ансамблю и по времени. Эргодичность случайных процессов. Необходимые и достаточные условия эргодичности по отношению к среднему значению, корреляционной функции, одномерной плотности вероятности. Экспериментальное измерение основных статистических характеристик эргодических случайных процессов.
1.6. Совокупности случайных процессов. Общее описание совокупности двух случайных процессов. Статистическая независимость случайных процессов. Взаимные корреляционные и ковариационные функции. Стационарность, эргодичность, гауссовость совокупности двух случайных процессов.
2. Спектрально - корреляционный анализ случайных процессов.
2.1 Корреляционные функции. Свойства корреляционных функций нестационарных и стационарных случайных процессов. Среднее значение и корреляционная функция производной и интегрального преобразования от случайного процесса. Непрерывность и дифференцируемость случайного процесса в среднеквадратическом смысле.
2.2. Спектрально-корреляционный анализ сигналов 1-ой группы с конечной энергией. Спектральная плотность энергии, функция корреляции первого рода и их свойства. Преобразование сигналов первой группы линейными системами.
2.3. Спектрально-корреляционный анализ сигналов П-ой группы с конечной мощностью. Спектральная плотность мощности. Соотношение между спектральной плотностью мощности и корреляционной функцией для стационарных случайных процессов (формула Винера-Хинчина). Спектральная плотность мощности нестационарных сигналов П-ой группы. Функция корреляции второго рода. Ширина спектра случайного процесса, ее связь со временем корреляции. Преобразование сигналов П-ой группы линейными системами. Приближение "белого" шума.
2.4. Узкополосные случайные процессы. Квазигармонические флуктуации и узкополосный случайный процесс. Представление узкополосного случайного процесса с помощью аналитического сигнала и с помощью квадратурных составляющих. Основные свойства сопряженных процессов и квадратурных составляющих.
Гауссовский узкополосный случайный процесс. Распределения огибающей, фазы и квадратурных составляющих гауссовского узкополосного процесса. Распределения Релея и Райса.
Теорема Котельникова для случайного процесса с ограниченным спектром. Дискретизация процесса и обрезание спектра процесса.
2.5. Совместные (взаимные) спектральные плотности энергии и мощности случайных процессов. Взаимные функции корреляции первого и второго рода. Взаимные спектры, синфазная и квадратурная составляющие взаимных спектров. Взаимная спектральная плотность мощности входа и выхода линейной системы, выходных сигналов двух линейных систем. Основные неравенства для взаимных спектров. Функция когерентности. Применение взаимных корреляционных функций и спектров для определения источников шума и каналов его распространения.
2.6. Корреляционная функция спектральных компонент случайных процессов. Определение и основные свойства корреляционной функции спектральных компонент стационарного случайного процесса. Взаимная корреляционная функция спектральных компонент.
2.6. Нелинейные преобразования случайных процессов. Случайный процесс на выходе нелинейной системы. Преобразование закона распределения случайного процесса на выходе нелинейной безынерционной системы. Методы моделирования случайных процессов на ЭВМ.
Спектрально-корреляционный анализ нелинейных безынерционных преобразований (НБП) случайных гауссовских процессов. Выражение корреляционной функции выходного процесса в виде ряда по ковариационной функции входного процесса. Взаимная корреляционная и ковариационная функции входа и выхода НБП. Метод производных, формула Прайса. Метод кумулянтных уравнений. Анализ прохождения случайных процессов через цепочки инерционных и безынерционных элементов. Блок-схема анализатора спектра, точность измерения спектральной плотности мощности.
3. Шумы и флуктуации в радиотехнических системах. Импульсные случайные процессы.
3.1. Импульсные случайные процессы. Пуассоновский импульсный случайный процесс. Характеристическая функция пуассоновского процесса. Кумулянтные функции пуассоновского процесса. Ковариационная и спектральная плотность мощности. Формула Кэмпбелла. Преобразования пуассоновского процесса линейными системами.
3.2. Естественные шумы в радиотехнических системах. Дробовой шум. Кинетическая теория дробового шума. Спектральная плотность мощности дробового тока. Формула Шотки, предела ее применимости. Тепловой шум. Кинетический вывод формулы для корреляционной функции теплового шума. Формула Найквиста, пределы ее применимости.
4. Элементы теории оптимальной обработки сигналов.
4.1. Классификация задач оптимальной обработки сигналов. Статистическая модель канала связи. Оптимальное обнаружение, различение, измерение параметров, фильтрация сигналов.
4.2. Оптимальное обнаружение сигналов при дискретных наблюдениях.
Двухальтернативная постановка задачи. Критерий идеального наблюдателя. Отношение правдоподобия, его основные свойства. Структурная схема оптимального обнаружителя. Другие критерии оптимальности. Обнаружение детерминированного полезного сигнала на фоне аддитивного гауссовского шума в дискретном времени. Дискретный корреляционный приемник и согласованный фильтр.
4.3. Оптимальное обнаружение сигналов при непрерывных наблюдениях. Функционал отношения правдоподобия. Обнаружение детерминированного сигнала на фоне аддитивного белого гауссовского шума. Корреляционный приемник. Согласованный фильтр. Отношение сигнал/шум на выходе согласованного фильтра. Анализ эффективности оптимального обнаружителя.
5. Элементы теории информации
Энтропия, как мера степени неопределенности дискретных и непрерывных случайных систем. Количественное определение информации, средняя собственная и взаимная информации. Теорема Шеннона о кодировании сообщений в отсутствии помех.
Количество информация, передаваемое по дискретному каналу связи с помехами. Пропускная способность дискретного канала связи с шумами. Теорема Шеннона о кодировании сообщений в канале связи с помехами.
Рекомендуемые темы практических занятий
Вероятностное описание случайных процессов с помощью одномерных, двумерных и многомерных плотностей вероятностей. Примеры совершенно случайных, марковских и квазидетерминированных случайных процессов.
Характеристическая функция случайного процесса. Кумулянтные функции, корреляционная и ковариационная функции случайного процесса и их свойства.
Преобразование одномерной плотности вероятностей случайного процесса при прохождении через нелинейные безынерционные системы.
Стационарные и эргодические случайные процессы, необходимое и достаточное условие стационарности и эргодичности.
Спектрально-корреляционный анализ сигналов 1-ой и 2-ой групп. Спектральная плотность энергии и спектральная плотность мощности случайных процессов.
Прохождение стационарных случайных процессов через линейные системы.
Преобразование корреляционных функций и спектров случайных процессов нелинейными системами.
Оптимальное обнаружение дискретных и непрерывных сигналов согласованной фильтрации.
Статистический анализ экспериментальных данных, ошибки измерений. Оценка неизвестной функции распределения. Проверка гипотезы о виде распределения.
Методы оценки параметров распределения: метод моментов, метод максимального правдоподобия и др. Доверительные интервалы и вероятности оценок.
Методы моделирования случайных процессов с заданной функцией распределения.
Моделирование случайных процессов с заданной корреляционной зависимостью.
Литература
Основная
Рытов С.М. Введение в статистическую радиофизику. Часть 1. М.: Наука, 1976.
Тихонов В.Н. Статистическая радиотехника. М.: Радио и связь, 1982.
Левин Б.Р. Теоретические основы статистической радиотехники. М.: Радио и связь, 1989.
Тихонов В.Н., Харисов И.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991.
MASSACHUSETTS INSTITUTE OF TECHNOLOGY
Electrical Engineering and Computer Science
http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/index.htm
6.041 / 6.431 Probabilistic Systems Analysis and Applied Probability, Spring 2006
Highlights of this Course
This course features various probability-related simulations in the tools section. A complete set of lecture notes and assignments with solutions are also available.
Course Description
This course is offered both to undergraduates (6.041) and graduates (6.431), but the assignments differ. 6.041/6.431 introduces students to the modeling, quantification, and analysis of uncertainty. Topics covered include: formulation and solution in sample space, random variables, transform techniques, simple random processes and their probability distributions, Markov processes, limit theorems, and elements of statistical inference.
6.436J / 15.085J Fundamentals of Probability, Fall 2005
Highlights of this Course
This course features exams given in the course and a list of topics and associated readings in the readings section. Lecture notes are still under development.
Course Description
This is a course on the fundamentals of probability geared towards first or second-year graduate students who are interested in a rigorous development of the subject. The course covers most of the topics in 6.431 but at a faster pace and in more depth. Topics covered include: probability spaces and measures; discrete and continuous random variables; conditioning and independence; multivariate normal distribution; abstract integration, expectation, and related convergence results; moment generating and characteristic functions; Bernoulli and Poisson processes; finite-state Markov chains; convergence notions and their relations; and limit theorems. Familiarity with elementary notions in probability and real analysis is desirable.
2.
Stanford University, Winter 2006-2007
http://eeclass.stanford.edu/ee178/
EE 178: Probabilistic Systems Analysis
Catalog description
Introduction to probability and statistics and their role in modeling and analyzing real world phenomena. Events, sample space, and probability. Discrete random variables, probability mass functions, independence and conditional probability, expectation and conditional expectation. Continuous random variables, probability density functions, independence and expectation, derived densities. Transforms, moments, sums of independent random variables. Simple random processes. Limit theorems.
3.
The Johns Hopkins University
Department of Electrical and Computer Engineering
The MSE Program in Communication Science
http://www.ece.jhu.edu/~cooper/commsmse.htm
550.420 Introduction to Probability Fall 2006
Probability theory originated in the consideration of gambling problems, but has become an important tool for scientists, engineers, medical practitioners, lawyers, and people working in business. A wide variety of phenomena are characterized by randomness and uncertainty, which is measured by probability. Probability models also play a fundamental role in the statistical analysis of data.
The aim of the course is to provide an introduction to the elementary concepts of probability. The first part of the course will introduce the student to the basic ideas used to describe aspects of randomness, such as events, random variables, independence, and conditional probability. After students have developed familiarity with these concepts, the remainder of the course concentrates on the methods, calculation, and applications of probability, rather than more theoretical aspects. The topics treated are: discrete and continuous distributions, density functions, distribution theory, calculation and interpretation of moments, covariance and correlation, the classical central limit theorem and laws of large numbers, and standard probability inequalities.
Instructor: John Wierman
211G Whitehead Hall
410-516-7211
wierman@jhu.edu
4.
UNIVERSITY OF ILLINOIS
Department of Electrical and Computer Engineering
ECE 313 Probability with Engineering Applications
http://courses.ece.uiuc.edu/ece313/fall07/
Lecture Date Topics Reading Notes Homework due
1 08.22 Introduction 1.1-1.5 info
2 08.24 Probability model 21.-2.3
3 08.27 Axioms of probability I 2.4-2.5
4 08.29 Axioms of probability II 2.6-2.7 hw1, soln1
5 08.31 Axioms of probability III 2.6-2.7
09.03 Labor Day, no class
6 09.05 Random variables 4.1-4.3 hw2, soln2
7 09.07 Mean, LOTUS, and variance 4.4-4.5
8 09.10 Independent trials 4.6
9 09.12 Statistical estimation 4.6 hw3, soln3
10 09.14 Confidence intervals 8.1-8.2
11 09.17 Important counting random variables 4.7-4.8
12 09.19 Conditional probability 3.1-3.2 hw4, soln4
13 09.21 Theorem of total probability 3.3
14 09.24 Bayes’ formula 3.3-3.5
15 09.26 Decision-making under uncertainty hw5, soln5
16 09.28 Decision-making under uncertainty II
17 10.01 Decision-making under uncertainty III
18 10.03 System reliability I hw6, soln6
19 10.05 System reliability II
20 10.08 Cumulative distribution function 4.9
Midterm 1 (7-8:30 PM, 269 EL) fall06, sp07 midterm1, midterm1soln
10.10 No class after midterm
21 10.12 Uniform and Exponential random variables 5.3, 5.5
22 10.15 Other continuous random variables 5.6
23 10.17 Expectation of continuous random variables 5.2 hw7, soln7
24 10.19 Expectation of functions of continuous random variables 5.2-5.6
25 10.22 Gaussian random variable 5.4
26 10.24 Poisson process 9.1 hw8, soln8
27 10.26 Functions of random variables 5.7
28 10.29 Hazard rates and system reliability
29 10.31 Decision-making under uncertainty IV hw9, soln9
30 11.02 Joint distributions of random variables
31 11.05 Joint probability mass functions
32 11.07 Joint continuous random variables I hw10, soln10
33 11.09 Joint continuous random variables II
34 11.12 Joint continuous random variables III
Midterm 2 (7-8:30 PM, 269 EL) fall06, sp07
35 11.14 Functions of many random variables I
11.16 No class
36 11.26 Functions of many random variables II
37 11.28 Functions of many random variables III hw11, soln11
38 11.30 Expectation, covariance, and correlation
39 12.03 Jointly Gaussian random variables
40 12.05 Mean-square estimation hw12, soln12
41 12.07 Limit Theorems
12.10 Final Exam fall06, sp07
5.
Technische universiteit Eindhoven
Probability and Statistics
http://www.win.tue.nl/bs/ps.html
Probability Theory is a mathematical discipline that plays an increasingly important role in our technological society. We are more and more often faced with organizations, systems and processes that are so complex that an explicit description is not feasible. Instead, probabilistic descriptions and methods of analyses are being used. Because of this, Probability Theory is internationally flourishing. We focus on probabilistic problems arising in physics (polymers, porous media and magnetization) and in telecommunication (wireless communication and coding techniques, and network modeling using random graphs).
In Statistics, the focus lies on modeling phenomena using statistical models to explain available data. In this technological age, we have large data sets at our disposal, for example in computational biology. The aim is to explain data using statistical models, thereby learning about the underlying processes that have produced these data sets. Specific areas of expertise include microarray analysis arising in gene analysis, monitoring procedures for industrial processes (control charts), design of experiments, statistical methods for software testing, and statistical signal processing techniques (nonparametric regression, wavelet analysis).
The Probability and Statistics Group is active in teaching. We teach courses for a wide range of audiences and educational programmes. Most courses that we teach are for our Bachelor's or Master's programme in applied and industrial mathematics, for other programmes at Eindhoven University of Technology, or for industrial teaching programmes.
6.
University of Pennsylvania
M.S.E. in Systems Engineering
http://www.ese.upenn.edu/grad/mse.html
Students entering the Master of Science in Engineering (M.S.E.) program usually have baccalaureate degrees in the engineering, mathematical, physical, or economic sciences, although many students with other backgrounds who have a facility with quantitative and computer analyses also matriculate. The requirements for the M.S.E. degree in systems engineering are the satisfactory completion of an approved program of 10 course units. These requirements have two components: the Required Core and the Focus. Effective Fall 2007, GRE scores are required.
The purpose of the Required Core is to provide a solid foundation in systems methodologies appropriate to each students career goal. The purpose of the Focus is to develop in-depth experience in an area of application appropriate to the students interest. A thesis is optional.
Required Core courses for Systems Engineering Majors:
ENM 503 Introduction to Probability & Statistics
ESE 540 Economic Systems Analysis
ESE 603 Simulation Modeling & Analsyis
ESE 504 Introduction to Optimization Theory
ISE majors (Information Systems Engineering): include ESE 670:Information Systems
Please refer to the course descriptions on page 28.
Lockheed-Martin Transfer credit: Lockheed Martin students must petition for transfer credit in person, and bring a letter from the Company (your supervisor), clearly stating which Advanced Course(s) the student completed and the final grade(s) awarded. All documents should be given to Betty Gentner, located in 111 Towne Building. PLEASE DO NOT REGISTER FOR MEAM 901, 902 OR 903. Physics 411 and 412 are acceptable for graduate credit toward the MSE and Ph.D. degrees
7.
Walden University
NMTH 6701 MA 520
Probability and Statistics for Scientists and Engineers
http://www.ntu.edu/online/courses/course.asp
8.
TTU Tennessee Tech University
Electrical and Computer Engineering
http://www.tntech.edu/gcat/asp/specific_engineering_courses.asp
ECE 6250. Random Signals and Systems. Lec. 3. Cr. 3.
Prerequisite: ECE 3910 or equivalent. Probability models used in engineering; transformations of random variables; stochastic processes for engineering applications; linear least-square estimation; spectral analysis; Markoff systems.
9.
Софийски университет "Св. Климент Охридски"
http://www.slav.uni-sofia.bg/Masters/cl/sites/CL/courses.html
Магистърска програма "Компютърна лингвистика"
Вероятностни модели в компютърната лингвистика
Хорариум 2+0 (общо 30 часа)
Анотация
10.
University of Arizona
SIE 500A – Introduction to SIE Methods: Probability and Statistics
http://www.sie.arizona.edu/course_pages/sie500a/public/syllabus.htm
Registration Procedures & Restrictions Master of Engineering students – register through the Tri-University Master of Engineering Website. All other students register through UA Distance Learning by completing the Graduate Registration Form.
Official Catalogue Description Axioms of probability, discrete and continuous distributions, sampling distributions. Applications of statistical estimation, hypothesis testing, confidence intervals.
Session Dates Fall 2007
11.
Министерство образования Российской Федерации
УЧЕБНАЯ ПРОГРАММА
по курсу "Статистическая радиофизика"
для направления подготовки 511500 - Радиофизика
(цикл общепрофессиональных дисциплин)
и для специальности
013800 - Радиофизика и электроника
(дисциплины специальности)
Курс: 4 Программа составлена на основе программ:
ННГУ - зав.кафедрой бионики и статистической радиофизики радиофизического факультета профессор, доктор ф.-м.н. А.А.Мальцев
ТГУ - зав.кафедрой радиофизики профессор, доктор ф.-м.н. В.П.Якубов
Семестр: 7
Аудиторных занятий 90 час.
Экзамен
СОДЕРЖАНИЕ КУРСА
"Статистическая радиофизика"
(наименование тем и их содержание)
Программа предназначена для подготовки специалистов, бакалавров и магистров по специальностям "Радиофизика и электроника", "Оптико-электронные системы" и "Лазерная техника". Курс "Статистическая радиофизика" читается в 7 семестре студентам-радиофизикам, изучившим курсы "Общая физика", "Методы математической физики", "Электродинамика", "Теоретические основы радиотехники" и "Теория волн". Математической основой курса являются разделы курса высшей математики: математический анализ, аналитическая геометрия, линейная алгебра, дифференциальные уравнения, теория функций комплексной переменной, методы математической физики и теория вероятностей. Статистическая радиофизика - это теория описания флуктуационных явлений в радиофизике. Программа охватывает все основные разделы от простейших методов моделирования и анализа случайных процессов до элементов теории информации и синтеза оптимальных методов приема и анализа сигналов в условиях шумов.
В результате изучения курса студент приобретает новое мировоззрение в понимании процессов, происходящих в различных реальных радиофизических системах, используемых для передачи, приема и анализа информации. В результате выполнения практических и лабораторных работ студент приобретает навыки самостоятельной работы по моделированию и анализу случайных процессов с использованием современных компьютерных технологий.
Для контроля усвоения студентами курса предусмотрено проведение коллоквиума, контрольной работы и зачета по итогам семинарских занятий и лабораторному практикуму. Итоговая оценка знаний проводится на экзамене по всем разделам курса.
Лекции
Введение.
Предмет изучения статистической радиофизики. Физика возникновения флуктуаций. Единство случайных и детерминированных процессов. Примеры случайных явлений в различных областях радиофизики. Историческая справка.
I. Элементы теории случайных процессов.
1.1. Определение и вероятностное описание случайного процесса. Понятие статистического ансамбля. Вероятностное описание случайного процесса с помощью многомерных плотностей вероятностей. Основные свойства многомерных плотностей вероятностей. Условные плотности вероятностей, их свойства и связь с многомерными безусловными плотностями вероятностей.
1.2. Классификация случайных процессов по их вероятностному последействию. Совершенно случайные процессы, марковские процессы и их описание. Уравнение Смолуховского для условной плотности вероятности марковского процесса. Квазидетерминированные случайные процессы.
1.3. Многомерные характеристические, моментные и кумулянтные функции случайного процесса. Характеристическая функция, определение и свойства. Моментные и кумулянтные функции, их взаимосвязь. Корреляционная и ковариационная функции случайного процесса. Коэффициент корреляции.
1.4. Гауссовские случайные процессы. Многомерная характеристическая функция и плотность вероятностей гауссовского процесса. Информация необходимая для полного описания гауссовского случайного процесса. Ковариационная матрица отсчетов случайного процесса. Основные свойства гауссовских случайных процессов. Обоснование использования гауссовской модели случайных процессов и центральная предельная теорема.
1.5. Стационарные и эргодические случайные процессы. Понятие стационарности в узком и широком смысле. Усреднение по статистическому ансамблю и по времени. Эргодичность случайных процессов. Необходимые и достаточные условия эргодичности по отношению к среднему значению, корреляционной функции, одномерной плотности вероятности. Экспериментальное измерение основных статистических характеристик эргодических случайных процессов.
1.6. Совокупности случайных процессов. Общее описание совокупности двух случайных процессов. Статистическая независимость случайных процессов. Взаимные корреляционные и ковариационные функции. Стационарность, эргодичность, гауссовость совокупности двух случайных процессов.
2. Спектрально - корреляционный анализ случайных процессов.
2.1 Корреляционные функции. Свойства корреляционных функций нестационарных и стационарных случайных процессов. Среднее значение и корреляционная функция производной и интегрального преобразования от случайного процесса. Непрерывность и дифференцируемость случайного процесса в среднеквадратическом смысле.
2.2. Спектрально-корреляционный анализ сигналов 1-ой группы с конечной энергией. Спектральная плотность энергии, функция корреляции первого рода и их свойства. Преобразование сигналов первой группы линейными системами.
2.3. Спектрально-корреляционный анализ сигналов П-ой группы с конечной мощностью. Спектральная плотность мощности. Соотношение между спектральной плотностью мощности и корреляционной функцией для стационарных случайных процессов (формула Винера-Хинчина). Спектральная плотность мощности нестационарных сигналов П-ой группы. Функция корреляции второго рода. Ширина спектра случайного процесса, ее связь со временем корреляции. Преобразование сигналов П-ой группы линейными системами. Приближение "белого" шума.
2.4. Узкополосные случайные процессы. Квазигармонические флуктуации и узкополосный случайный процесс. Представление узкополосного случайного процесса с помощью аналитического сигнала и с помощью квадратурных составляющих. Основные свойства сопряженных процессов и квадратурных составляющих.
Гауссовский узкополосный случайный процесс. Распределения огибающей, фазы и квадратурных составляющих гауссовского узкополосного процесса. Распределения Релея и Райса.
Теорема Котельникова для случайного процесса с ограниченным спектром. Дискретизация процесса и обрезание спектра процесса.
2.5. Совместные (взаимные) спектральные плотности энергии и мощности случайных процессов. Взаимные функции корреляции первого и второго рода. Взаимные спектры, синфазная и квадратурная составляющие взаимных спектров. Взаимная спектральная плотность мощности входа и выхода линейной системы, выходных сигналов двух линейных систем. Основные неравенства для взаимных спектров. Функция когерентности. Применение взаимных корреляционных функций и спектров для определения источников шума и каналов его распространения.
2.6. Корреляционная функция спектральных компонент случайных процессов. Определение и основные свойства корреляционной функции спектральных компонент стационарного случайного процесса. Взаимная корреляционная функция спектральных компонент.
2.6. Нелинейные преобразования случайных процессов. Случайный процесс на выходе нелинейной системы. Преобразование закона распределения случайного процесса на выходе нелинейной безынерционной системы. Методы моделирования случайных процессов на ЭВМ.
Спектрально-корреляционный анализ нелинейных безынерционных преобразований (НБП) случайных гауссовских процессов. Выражение корреляционной функции выходного процесса в виде ряда по ковариационной функции входного процесса. Взаимная корреляционная и ковариационная функции входа и выхода НБП. Метод производных, формула Прайса. Метод кумулянтных уравнений. Анализ прохождения случайных процессов через цепочки инерционных и безынерционных элементов. Блок-схема анализатора спектра, точность измерения спектральной плотности мощности.
3. Шумы и флуктуации в радиотехнических системах. Импульсные случайные процессы.
3.1. Импульсные случайные процессы. Пуассоновский импульсный случайный процесс. Характеристическая функция пуассоновского процесса. Кумулянтные функции пуассоновского процесса. Ковариационная и спектральная плотность мощности. Формула Кэмпбелла. Преобразования пуассоновского процесса линейными системами.
3.2. Естественные шумы в радиотехнических системах. Дробовой шум. Кинетическая теория дробового шума. Спектральная плотность мощности дробового тока. Формула Шотки, предела ее применимости. Тепловой шум. Кинетический вывод формулы для корреляционной функции теплового шума. Формула Найквиста, пределы ее применимости.
4. Элементы теории оптимальной обработки сигналов.
4.1. Классификация задач оптимальной обработки сигналов. Статистическая модель канала связи. Оптимальное обнаружение, различение, измерение параметров, фильтрация сигналов.
4.2. Оптимальное обнаружение сигналов при дискретных наблюдениях.
Двухальтернативная постановка задачи. Критерий идеального наблюдателя. Отношение правдоподобия, его основные свойства. Структурная схема оптимального обнаружителя. Другие критерии оптимальности. Обнаружение детерминированного полезного сигнала на фоне аддитивного гауссовского шума в дискретном времени. Дискретный корреляционный приемник и согласованный фильтр.
4.3. Оптимальное обнаружение сигналов при непрерывных наблюдениях. Функционал отношения правдоподобия. Обнаружение детерминированного сигнала на фоне аддитивного белого гауссовского шума. Корреляционный приемник. Согласованный фильтр. Отношение сигнал/шум на выходе согласованного фильтра. Анализ эффективности оптимального обнаружителя.
5. Элементы теории информации
Энтропия, как мера степени неопределенности дискретных и непрерывных случайных систем. Количественное определение информации, средняя собственная и взаимная информации. Теорема Шеннона о кодировании сообщений в отсутствии помех.
Количество информация, передаваемое по дискретному каналу связи с помехами. Пропускная способность дискретного канала связи с шумами. Теорема Шеннона о кодировании сообщений в канале связи с помехами.
Рекомендуемые темы практических занятий
Вероятностное описание случайных процессов с помощью одномерных, двумерных и многомерных плотностей вероятностей. Примеры совершенно случайных, марковских и квазидетерминированных случайных процессов.
Характеристическая функция случайного процесса. Кумулянтные функции, корреляционная и ковариационная функции случайного процесса и их свойства.
Преобразование одномерной плотности вероятностей случайного процесса при прохождении через нелинейные безынерционные системы.
Стационарные и эргодические случайные процессы, необходимое и достаточное условие стационарности и эргодичности.
Спектрально-корреляционный анализ сигналов 1-ой и 2-ой групп. Спектральная плотность энергии и спектральная плотность мощности случайных процессов.
Прохождение стационарных случайных процессов через линейные системы.
Преобразование корреляционных функций и спектров случайных процессов нелинейными системами.
Оптимальное обнаружение дискретных и непрерывных сигналов согласованной фильтрации.
Статистический анализ экспериментальных данных, ошибки измерений. Оценка неизвестной функции распределения. Проверка гипотезы о виде распределения.
Методы оценки параметров распределения: метод моментов, метод максимального правдоподобия и др. Доверительные интервалы и вероятности оценок.
Методы моделирования случайных процессов с заданной функцией распределения.
Моделирование случайных процессов с заданной корреляционной зависимостью.
Литература
Основная
Рытов С.М. Введение в статистическую радиофизику. Часть 1. М.: Наука, 1976.
Тихонов В.Н. Статистическая радиотехника. М.: Радио и связь, 1982.
Левин Б.Р. Теоретические основы статистической радиотехники. М.: Радио и связь, 1989.
Тихонов В.Н., Харисов И.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991.
posted by Калин Димитров at 6:47 pm
18 comments
