.RU

2.6. Выборка для эмпирического исследования - Планирование исследования 16 Выборка для эмпирического исследования...


^ 2.6. Выборка для эмпирического исследования
Основными требованиями к выборке является ее репрезентативность и адекватность. Репрезентативность — представительность, показательность, соответствие характеристик, полученных в результате частичного (выборочного) обследования какого-либо объекта, характеристикам этого объекта в целом, позволяющее распространить выводы частичного обследования на весь изучаемый объект. Адекватной считается выборка достаточного объема (размера) для того, что­бы в количественных характеристиках (числовых показателях) был достигнут предполагаемый уровень достоверности.
^ 2.6.1. Объем выборки
Желательно рассчитывать объем необходимой выборки, используя методы математического планирования эксперимента. Но на практике это происходит редко, так как для большинства случаев требуются предварительные эксперименты с целью получения хотя бы примерных параметров изучаемых явлений, и, кроме того, изучение методов, процедур планирования требует немалого времени. Даже если предполагается использование для этих целей прикладных компьютерных программ, психолог должен достаточно ясно представлять концепцию планирования.

Определение объема выборки обусловлено исследовательскими задачами. Например, в перечень поставленных задач входит исследование некоторого психического феномена, и вами принято решение о том, чтобы влияние этого феномена (психического качества) на другие психические феномены (качества) рассматривать, сопоставляя экспериментальную и контрольную группы. Вами обосновывается существование или отсутствие изучаемого феномена в экспериментальной группе и то же самое — в контрольной группе. Затем формируются группы, которые должны быть одинаковы или схожи по всем релевантным для вашего эксперимента параметрам, но различаться по тому параметру, который выступает основанием для выделения экспериментальной и контрольной групп. Под релевантными имеются в виду параметры, которые по вашим предположениям могут оказывать влияние, или вы знаете, что они оказывают влияние, на изучаемый феномен.

Практически всегда психологи стараются достичь сходства между экспериментальной и контрольной группой по возрастному и половому составу. В большинстве случаев для выявления различий на достаточно значимом уровне суммарный объем экспериментальной и контрольной групп должен быть не менее 50 испытуемых, при условии хотя бы приблизительного равенства числа людей в одной и другой группах. Нередко сформировать экспериментальную группу труднее, чем контрольную. Чем меньше контрольная группа, тем больше должен быть суммарный объем выборки.


^ Объем при планируемом корреляционном анализе

Если в последующей обработке экспериментальных данных планируется проводить корреляционный анализ, то объем выборки должен быть не менее 30-35 человек. По-моему опыту, коэффициенты корреляции менее 0,35 не заслуживают большого внимания. Если считать достаточно выраженной тесноту связи при величине коэффициента корреляции 0,35 и выше, то мы должны вспомнить о том, что значимыми на уровне 5% коэффициенты корреляции можно считать при величине выборки более 35 человек. Если нет оснований ожиданий тесных связей между параметрами, но, тем не менее, хотелось бы доказать наличие достоверно значимых связей, то лучше брать выборку 40-50 человек.

В психологических исследованиях меньшие уровни значимости (например Р=10%) обычно не рассматривают как заслуживающие внимания. Наиболее важные выводы, особенно обосновываемые только на данных корреляционного анализа, желательно подтверждать, ссылаясь на уровень значимости 1%, например, в случае необходимости доказать ретестовую надежность методики.


^ Объем при планируемом факторном анализе

Если вы в обработке данных планируете использовать факторный или компонентный анализ, хотите выявить факторы, то следует иметь предположение относительно числа факторов, при котором возможна удовлетворительная содержательная интерпретация полученной факторной структуры.

Обычно в процессе факторной обработки выявляются следующие тенденции.

1) Чем меньше признаков, в совокупности которых выявляют факторы, тем больше будет обнаружено признаков, которые ни в одном факторе не имеют выраженной нагрузки. Обычно такие признаки удаляют из последующих шагов факторного анализа. (Если только для факторного анализа не оставлены признаки, образующие относительно гомогенную группу, т.е. тесно связанные с одним психическим феноменом).

2) Чем больше признаков, тем больше выявляется факторов и тем более неустойчива факторная структура. Прежде всего, она сильно может измениться, если будут взяты данные, полученные на другой выборке, даже сходной с первой по многим параметрам. Неустойчивость факторной структуры не позволяет делать надежные выводы, принимать обоснованные решения при содержательной обработке, если они строятся только на результатах факторного анализа.

Количество испытуемых, признаков (измеряемых параметров) и факторов — величины взаимосвязанные при математико-статистическом анализе. Надежные выводы о факторной структуре могут быть получены в том случае, если количество испытуемых в выборке не менее чем в три раза превышает число признаков, включаемых в факторный анализ (т.е. параметров, которые вы считаете релевантными и место которых в факторной структуре вам как исследователю интересно выяснить).

Наконец, следует учесть, что уже в ходе первичной обработки данных может выясниться, что некоторое количество протоколов (заполненных листов для ответа) не может быть взято в обработку. Частые причины такой отбраковки: нет ответов на все вопросы, задания и т.п.; в качестве ответов есть записи, не предусмотренные инструкцией; по характеру ответов видно, что испытуемый неправильно понял инструкцию; есть "выскакивающие варианты" и др.

Конечно, забракованных протоколов может и не оказаться, но если вы запланировали набрать минимально необходимое количество, то могут возникнуть трудности — может оказаться, что расширить объем при необходимости сложно или невозможно. Поэтому лучше сразу обследовать испытуемых примерно на 10% больше требуемого объема, т.е. с запасом. На практике, случаи, когда студент с тем же набором методик продолжает увеличение выборки, встречаются реже, чем противоположные. Наращивание выборки является обычным явлением в штатных исследовательских группах, для которых обследования являются профессиональной деятельностью. Но в инициативных исследованиях, проводимых единолично, дело обстоит иначе. В них почти всегда что-то мешает "добрать" объем.

^ 2.6.2. О психологии определения объема выборки
Ввиду особого значения адекватности выборки, сделаю отступление. Начну с вопроса об ответственности двух лиц — научного руководителя и студента — за результаты, за итог в виде текста готовой дипломной работы. Роль научного руководителя редко обсуждается в этой диаде открыто, но бывает весьма различной: от высоко авторитетного лидера (каждое слово — закон) до консультанта по отдельным аспектам научной работы и/или эксперта лишь по вопросам соответствия формальным требованиям к дипломной работе. Большинство руководителей на этой шкале занимает промежуточные позиции. Соответственно, руководитель дает советы, рекомендации (а не приказы), которые студент может выполнять, а может и не выполнять. Понятно, что при разных ролях руководителя ответственность делится в разных пропорциях.

Далее, необходимо вспомнить где и зачем выполняется квалификационная работа. И по сути высшего образования, и по букве соответствующих министерских постановлений научный руководитель должен быть в большей мере консультантом, чем начальником. Только в этом случае научная работа будет действительно самостоятельной (как это традиционно подчеркивается в соответствующих постановлениях министерства) и по ней можно будет оценить квалификацию выпускника и профессиональную компетентность автора, а не малой научной группы (преподаватель и студент).

Научный руководитель штатной исследовательской группы является начальником, он может и должен администрировать, потому что несет персональную ответственность за итоги работы группы. И в такой группе его роль может быть разной, но диапазон вариаций более узкий. Например, если ему не удается глубиной своих идей сплотить группу, он вынужден организационными мерами ограничивать самостоятельность членов группы. В квалификационном исследовании (дипломной работе, магистерской или кандидатской диссертации) самостоятельность не только допустима, но и необходима.

Далеко не все студенты чувствуют разницу в статусе научного руководителя в инициативном исследовании (курсовой или дипломной работе, магистерской или кандидатской диссертации) и научного руководителя в штатной исследовательской группе.

Может показаться, что этот экскурс в «науковедение» не к месту. Однако мой опыт научного руководства показал, что в обсуждении объема выборки чаще, чем в других моментах общения возникает недопонимание (не со всеми студентами).

Сбор данных (эксперимент, тестирование, анкетирование и т.п.), конечно, занимает немало времени, требует умений найти испытуемых или респондентов. У начинающего исследователя возникает желание сократить до минимума эту сложную работу с сопутствующими ей неприятными моментами (просить у респондента согласия потратить свое время, выслушивать замечания по поводу неясных инструкций, надуманных заданий…). Студент воспринимает руководителя как начальника, которого можно убедить ограничиться меньшей выборкой, объясняя сложности сбора данных. Дискуссия об объеме выборки не бывает долгой: одни принимают все значение адекватности выборки и потом выполняют все намеченное, а другие не решаются обсуждать, решив, что будут стараться сделать так, как советовал руководитель, а там как получится.

Во втором случае получается чаще всего примерно одинаково. Некто, имеющий какую-либо власть, обещал прислать на тестирование 50 человек, минимум — 40, но прислал 35. Или: на диагностическое обследование обещали придти 40 человек, а пришли 34 (у остальных, как обычно, возникли непредвиденные обстоятельства). Поскольку тестирование было групповым или быстротечным, часть листов для ответов в обработку не пошли. Из 34 оставшихся листов 20 или 25 от респондентов-женщин и 10 или 5 — от мужчин. Это весьма распространенное соотношение испытуемых по полу. Мужчин-испытуемых (или респондентов) много только в воинских частях. Заметьте, много потенциальных испытуемых. Далеко не во всех воинских частях с радостью встречают психолога-диагноста. Мужчины менее охотно соглашаются на эксперименты и тестирование, чем женщины. (Это не означает, что они «плохие» испытуемые).

После математической обработки собранных данных базовые статистики, подсчитанные по данным 5-10 мужчин, ничего не позволяют сказать, даже предположительно, - ни о том, как выражено измеряемое качество, ни о том, как часто встречается некоторый феномен у мужской популяции. Невозможно подтвердить или опровергнуть половые различия в показателях. Мы также не знаем можно или нельзя объединять мужскую и женские подвыборки. Если провести корреляционный анализ на данных женской подвыборки, то значимыми на уровне 5% будут коэффициенты корреляции более 0,44. Их может быть совсем немного. Выделение полярных групп по некоторому интересующему нас параметру возможно, но различия должны быть очень сильны, чтобы можно было говорить об их достоверности. В соответствии с законом нормального распределения большая часть значений, конечно же, будут близки к средней арифметической. Если выделить промежуточную группу (с показателями, близкими к средней), слишком мало испытуемых остается в полярных группах. И т.д. Что в результате можно анализировать и на чем строить выводы?

Полный тревоги взор студента в ситуации общения с руководителем предлагает разделить ответственность за небогатые итоги. В самом деле, ведь все было выполнено точно, как советовал руководитель, при обработке не было никаких отклонений от правил, описанных в руководствах к методикам… Единственная недоработка — в размере выборки. Неужели это так важно? Если бы не объективные трудности, и тут все было бы точно. Возникает надежда, что преподаватель — более опытный исследователь что-нибудь придумает. Однако придумать ничего не возможно. Неадекватность выборки ничем не исправляется и не компенсируется.

Часто в таких случаях автор квалификационной работы поздно понимает, что не слишком настойчивые рекомендации научного руководителя (руководителя-консультанта) стоило выполнять точно во всем. Заблуждение думать, что предложенный руководителем объем нужен, чтобы написать работу на пять с плюсом. На деле, к сожалению, материала может не хватить и на тройку с минусом. Вместо внутренних диалогов — «а если мне достаточно оценки четыре с плюсом, то можно взять выборку поменьше», лучше обсудить с руководителем все открыто и детально.

Очень важно понимать, что при написании дипломной работы недостаточно продемонстрировать умения лаборанта проводить эксперимент или диагностическое обследование, фиксировать изменения в ходе обучения детей или взрослых, обрабатывать протоколы, высчитывать шкальные оценки, затем составлять таблицы, вычерчивать диаграммы и т.п. Если в работе отсутствуют выводы, имеющие научную новизну, то подтверждена квалификация лишь лаборанта, но не специалиста. Для выводов же нужна доказательная база. В эмпирическом исследовании она может быть получена только на адекватной и репрезентативной выборке. В краткой форме итог этих рассуждений выглядит так:

^ ЗА МАЛЕНЬКОЙ ВЫБОРКОЙ СТОЯТ
БОЛЬШИЕ ПРОБЛЕМЫ!

Высказанные выше суждения об объеме выборки относятся к одному из фрагментов исследования, отдельному его блоку. В выпускной работе студента, получающего в университете диплом специалиста, обычно необходима выборка не менее 70 человек. На разных частях выборки используют разные обучающие процедуры, разный набор методик или один набор методик, стараясь затем выделить несколько групп, различающихся по выбранному критерию. Полезно сравнивать подвыборки, различающиеся по социально-демографическим и возрастным параметрам. Много различных подходов можно и нужно использовать, но для этого выборка должна быть адекватной. Тогда можно получить достаточно полную и точную картину изучаемого психического феномена.

Примерно такая же выборка (не менее 70 человек) может оказаться достаточной и для магистерской диссертации. Но магистерская диссертация, с моей точки зрения, должна содержать более широкий и основательный аналитический обзор, включать более разнообразную обработку данных и более развернутые интерпретации полученных данных.

Для кандидатской диссертации часто бывает достаточной выборка в 110-120 человек. Нередко можно встретить диссертации с объемом выборки значительно превосходящим названную. Определение объема в большой мере зависит от поставленной цели и набора используемых методик.
^ 2.6.3. Состав выборки по полу
Если исследование нацелено на изучение межполовых различий в данном психическом явлении, то лучше взять подвыборки мужчин и женщин, равные или близкие по объему. Тогда при меньшем общем количестве испытуемых можно будет выявить различия с более высоким уровнем достоверности. Если цель иная, определенных предположений о половых различиях по измеряемым параметрам нет, то предпочтительнее иметь состав либо однородный по полу, либо по количеству лиц мужского и женского пола примерно равный. Нередко автор может неожиданно для себя обнаружить половые различия в выраженности того или иного качества, которое при планировании исследования не относилось к числу имеющих половую специфичность. Тогда встанет вопрос оценки выраженности и достоверности этих различий.

Рассмотрим выраженность половых различий на примере числовых показателей популярной методики ДМО — адаптированного Л.Н.Собчик (1990) варианта теста интерперсональной диагностики Т.Лири. Используем собранные нами данные на выборке 344 человека. В таблице 1 приведены первичные статистики шкальных показателей методики ДМО мужской и женской подвыборки.

Табл. 1. Первичные статистики шкальных показателей методики ДМО

Пол:

Мужчины

Женщины

Шкала

Средн

-95%

+95%

Сигма

Средн

-95%

+95%

Сигма

1

6,71

6,13

7,28

3,46

5,63

5,21

6,06

3,09

2

6,29

5,90

6,69

2,36

4,68

4,39

4,97

2,08

3

6,55

6,08

7,02

2,80

5,32

4,99

5,64

2,38

4

5,81

5,29

6,33

3,11

4,82

4,45

5,20

2,72

5

5,27

4,79

5,74

2,82

6,30

5,87

6,73

3,11

6

5,14

4,73

5,55

2,44

5,44

5,03

5,85

2,97

7

6,50

6,02

6,99

2,88

7,30

6,93

7,67

2,70

8

6,24

5,63

6,85

3,64

7,09

6,60

7,58

3,56



Примечание.

Средн. — средние величины;

-950% и +95.0% — доверительные интервалы средних величин;

Выделены средние величины, значимо превышающие соответствующие показатели у лиц противоположного пола.


В подвыборке мужчин 139 человек в возрасте от 20 до 57 лет, средний возраст 31,4 года (сигма 7,2), средняя величина ранга образования 4,2 (ранжирование уровней образования приведено в таблице 9). В подвыборке женщин 205 человек в возрасте от 19 до 60 лет, средний возраст 37,1 года (сигма 10,1), средняя величина ранга образования 4,5. Подвыборки достаточно схожи по должностному статусу и принадлежности к социальной группе. Практически все в одной и другой подвыборке проходили обследование по предложению психолога.

Представленные данные показывают, что в семи из восьми шкал (октантов, по терминологии руководства) есть значимые различия между обследованными мужчинами и женщинами. В руководстве к данной методике говорится о том, что интерпретация октанта зависит от величины балла. Выделены четыре градации: 3-4 балла, 5-8 баллов, 9-12 баллов, более 12 баллов. Вместе с тем, средние величины варьируют у мужчин от 5,14 балла до 6,71 балла и еще больше у женщин: от 4,68 балла до 7,30 балла.

Повышенные оценки по первым четырем шкалам означают преобладание неконформных тенденций, склонность к конфликтным проявлениям, большую независимость мнения, упорство в отстаивании собственной точки зрения, тенденцию к лидерству и доминированию. У мужчин эти оценки по этим шкалам значимо выше, чем у женщин. Повышенные оценки по следующим четырем шкалам означают преобладание конформных установок, тенденцию к сотрудничеству, неуверенность в себе, податливость мнению окружающих, склонность к компромиссам. У женщин по трем шкалам из четырех оценки значимо выше, чем у мужчин. Корреляционный анализ показывает тесные связи между шкальными оценками ДМО, особенно внутри первой и второй четверок. Нетрудно догадаться, что связи положительные внутри четверок и — отрицательные между четверками. Из этого можно сделать вывод, что и без учета статистических параметров шкальных оценок не будут сделаны грубые ошибки в интерпретации профиля отдельного испытуемого или усредненного профиля группы испытуемых.

Тем не менее, при интерпретации полученных результатов почти по всем шкалам будет происходить некоторое смещение в оценках и характеристиках. Предположим, что сравниваемые группы состоят из испытуемых одного пола или распределение по полу в них далеко не в равных долях. Тогда сопоставляя «мужскую» и «женскую» группы, исследователю может быть трудно принять решение о том, чем именно обусловлены различия: влиянием половой специфичности в коммуникативных установках и тенденциях или влиянием иной независимой переменной.

Статистически достоверные половые различия обнаружены нами и при сравнении шкальных оценок опросника Шмишека (выборка 343 человека, мужчин 282 человека, женщин 61 человек.). У мужчин выше показатели по первой (гипертимность) и девятой (дистимность) шкалам, а у женщин — по третьей (эмотивность), пятой (тревожность), шестой (лабильность), седьмой (демонстративность) и десятой (экзальтированность). В параграфе 4.2.3. представлены данные показывающие, что половая принадлежность испытуемых является значимой переменной в доминировании той или иной стратегии поведения в конфликтной ситуации. По результатам обследования с использованием методики Томаса в двух шкалах из пяти половые различия значимы.

Этот перечень может быть продолжен. Таким образом, достаточно выраженные половые различия совсем не редкость. Существование половых различий обсуждалось и обсуждается, интерпретируется многими учеными. Заметим, что очень часто рассмотрение идет без обращения к количественным оценкам. Это ограничивает возможности учета таких фактов и в фундаментальных, и в прикладных исследованиях. Возвращаясь к вопросу планирования исследования, еще раз подчеркнем, что выборка не должна формироваться без учета состава по полу. Напомним, если не отслеживать этот параметр выборки, то основную часть выборки составят лица женского пола.

^ 2.6.4. Возрастной состав выборки
Возрастные параметры выборки имеют большое значение, особенно если необходимо сделать выбор какого-либо возраста до взрослости. Для некоторых исследовательских целей в пределах периода взрослости выбор того или иного диапазона может и не иметь большого значения. Но такая исследовательская ситуация встречается нечасто.

Если автор ставит основной задачей изучение возрастных различий, то выбор возрастов, по понятным причинам, случайным быть не может. Выбор возрастов может быть определен исходя из исследовательской гипотезы относительно возрастной специфичности изучаемого явления. Например, если авторские предположения касаются кризисных периодов развития некоторых личностных подструктур в определенные возрастные моменты, то выбор возрастов обусловлен гипотезой.

Если же нет предположений о такой узкой локализации феномена на определенном отрезке онтогенеза, то лучше при выделении возрастных диапазонов опираться на имеющиеся периодизации жизненного цикла человека, а в каждую возрастную группу брать примерно одинаковое число испытуемых.

Довольно распространенной является следующая периодизация:

— новорожденный 0 - 10 дней;

— грудной 11 дней - 1 год;

— раннее детство 1 – 3 года;

— первый период детства 4 – 7 лет;

— второй период детства 8 - 12 лет для мальчиков,

8 - 11 лет для девочек;

— подростковый 13 - 16 лет для мальчиков,

12 - 15 лет для девочек;

— юношеский 17 - 21 год для мужчин,

16 - 20 лет для женщин;

— средний (зрелый) возраст:

первый период зрелости 22 – 34 года для мужчин,

21 - 34 года для женщин;

второй период зрелости 35 - 59 лет для мужчин,

35 - 54 лет для женщин;

— пожилой возраст 60 - 74 лет для мужчин,

55 - 74 лет для женщин;

— старческий возраст 75 - 89 лет для мужчин и женщин

— долгожители 90 лет и старше.

Примечание. Верхняя граница возраста означает число полных лет плюс неполный год (все месяца и дни до нового дня рождения).

Даже если рассмотрение возрастной специфичности феномена не входит в число исследовательских задач, не следует набирать испытуемых без соотнесения с какой-либо принимаемой вами периодизацией. В любой рукописной или опубликованной работе должны быть указаны: размах выборки по возрастным параметрам, средний возраст испытуемых (а нередко и более точные возрастные характеристики выборки). Когда выборка укладывается в один или ряд определенных возрастных периодов, легче давать содержательную интерпретацию, поскольку в числе других можно более обоснованно использовать и положения, концепции, объяснительные схемы возрастной психологии. Но если выборка небольшая и в ней есть небольшое число испытуемых из разных возрастных групп, то из-за малочисленности каждой возрастной группы нет возможности сопоставить их между собой, и нет возможности подтвердить или исключить существование возрастных различий. При выборке, целиком укладывающейся в один возрастной период, есть определенное основание считать выявленные черты относящимися к этому возрастному периоду, оставляя вопрос о возрастной динамике для следующего вашего, или других авторов, исследования. Если в число задач специально не входило изучение возрастной специфичности, то исследование можно будет считать в этом аспекте законченным.

154-razrabotka-vnutrennej-normativnoj-dokumentacii-godovoj-otchet-o-deyatelnosti-ulyanovskogo-gosudarstvennogo.html
154-transportno-zagotovitelnie-rashodi-kursovoj-proekt-po-discipline-organizaciya-i-planirovanie-proizvodstva.html
15406-aktivnaya-zhizn-tretij-tom-dramaticheskoj-vselennoj-sleduet-schitat-v-to-zhe-vremya-chetvertim-i-poslednim.html
1541411-obektivnaya-moral-tretij-tom-dramaticheskoj-vselennoj-sleduet-schitat-v-to-zhe-vremya-chetvertim-i.html
155-general-understanding-posobie-yavlyaetsya-osnovnoj-chastyu-uchebno-metodicheskogo-kompleksa-prednaznachennogo.html
155-realizaciya-socialno-orientirovannoj-politiki-zhilishnogo-stroitelstva-i-razvitie-zhilishno-kommunalnogo-hozyajstva.html
  • universitet.bystrickaya.ru/tema-razvivayushee-obuchenie-na-urokah-geografii-cherez-ispolzovanie-aktivnih-form-obucheniya.html
  • obrazovanie.bystrickaya.ru/programma-po-matematike-dlya-postupayushih-na-baze-osnovnogo-obshego-obrazovaniya-9-klassov.html
  • obrazovanie.bystrickaya.ru/predlagaemaya-chitatelyu-kniga-predstavlyaet-soboj-perevodi-publikacij-i-dokumentov-otrazhayushih-po-mneniyu-sostavitelej-mnogoobrazie-pozicij-i-ocenok-otnositelno-stranica-22.html
  • knowledge.bystrickaya.ru/metodicheskie-ukazaniya-k-vipolneniyu-kursovih-rabot-dlya-studentov-specialnosti-finansi-i-kredit-po-discipline-gosudarstvennij-byudzhet.html
  • obrazovanie.bystrickaya.ru/pravoslavnij-prosvetitelskij-centr-v-chest-s-a-rachinskim-v-1882-godu-21-rasprostranenie-obshestv-trezvosti.html
  • literature.bystrickaya.ru/blokada-leningrada.html
  • ekzamen.bystrickaya.ru/sokrashayu-znaki-sokrasheniya-i-uprosheniya-notnogo-pisma-abbreviatura-ispolzuetsya-dlya-oboznacheniya-povtoreniya-chastej-pesi-ili-otdelnih-taktov-grupp-not-stranica-5.html
  • shpargalka.bystrickaya.ru/v-p-ivanickij-zav-kafedroj-stranica-4.html
  • thesis.bystrickaya.ru/proekt-kulturnie-landshafti-tradicii-dlya-sohraneniya-rezolyuciya-ustanovochnoj-vstrechi-partnerov-4-7-dekabrya-2011-goda.html
  • assessments.bystrickaya.ru/centralizovannaya-sistema-gorodskih-bibliotek-centralnaya-gorodskaya-biblioteka.html
  • uchitel.bystrickaya.ru/programma-vstupitelnogo-ekzamena-v-aspiranturu-iki-ran-po-specialnosti-01-03-03-fizika-solnca-obshaya-fizika.html
  • otsenki.bystrickaya.ru/sanitarnaya-ochistka-blagoustrojstvo-i-ozelenenie-territorii-generalnij-plan-ilskogo-gorodskogo-poseleniya-severskogo-rajona.html
  • zadachi.bystrickaya.ru/uhod-za-terrariumom-i-zhivotnimi.html
  • desk.bystrickaya.ru/okruzhnaya-nauchnaya-konferenciya-uchashihsya-sekciya-fizicheskaya-kultura.html
  • znaniya.bystrickaya.ru/programma-razvitiya-liceya.html
  • thescience.bystrickaya.ru/kalendarnij-plan-meropriyatij-po-podgotovke-i-provedeniyu-viborov-glavi-donskogo-selsoveta-tambovskogo-rajona-tambovskoj-oblasti-den-golosovaniya-01-iyulya-2012-goda.html
  • obrazovanie.bystrickaya.ru/programma-meropriyatij-soprovozhdayushih-vistavku-pozvolit-posetitelyam-otkrit-dlya-sebya-sovsem-druguyu-ameriku-drevnie-zhiteli-kotoroj-otkrili-celebnie-svojstva-kakao-bobov.html
  • knigi.bystrickaya.ru/schet-02-iznos-osnovnih-sredstv-proekta.html
  • university.bystrickaya.ru/glava-vtoraya-pravda-i-vimisel-v-romane-abbata-prevo-anglijskij-filosof-ili-istoriya-klivlenda.html
  • abstract.bystrickaya.ru/34-tovarodvizhenie-marketing.html
  • shpora.bystrickaya.ru/zakon-respubliki-gruziya-ob-uprazdnenii-yugo-osetinskoj-avtonomnoj-oblasti-27.html
  • books.bystrickaya.ru/der-teufel-mit-den-drei-goldenen-haaren-chert-s-tremya-zolotimi-voloskami-das-haar.html
  • college.bystrickaya.ru/224-poryadok-zaklyucheniya-dogovorov-pravo-zaklyucheniya-dogovora-servisnogo-obsluzhivaniya-i-remonta-sredstv-izmerenij.html
  • otsenki.bystrickaya.ru/reglament-opredelyaet-sroki-i-posledovatelnost-administrativnih-procedur-ispolneniya-departamentom-gosudarstvennoj-funkcii-poryadok-vzaimodejstviya-mezhdu-ego-strukturnimi-podrazdeleniyami-i-dolzhnostnimi-licami.html
  • portfolio.bystrickaya.ru/poleznie-iniciativi-moskovskij-komsomolec-30032009-novosti-7.html
  • occupation.bystrickaya.ru/obiknovennij-shitomordnik.html
  • writing.bystrickaya.ru/istoricheskie-etapi-razvitiya-massovih-kommunikacij-chast-6.html
  • essay.bystrickaya.ru/doklad-mdou-41-gvozdichka.html
  • teacher.bystrickaya.ru/glava-ii-gosudarstvennoe-regulirovanie-federalnogo-zakona-o-zemleustrojstve.html
  • exchangerate.bystrickaya.ru/glava-3-postmodernizm-germenevtika-fenomenologii-57-d-a-leontev.html
  • university.bystrickaya.ru/gorizontalnoe-operenie-rukovodstvo-po-letnoj-ekspluatacii-rukovodstvo-po-lyotnoj-ekspluatacii-samoleta-yak-52.html
  • teacher.bystrickaya.ru/glava-9-joga-iskusstvo-kommunikacii-izdanie-vtoroe-ispravlennoe.html
  • studies.bystrickaya.ru/denezhnij-oborot-3.html
  • lektsiya.bystrickaya.ru/problemi-rossijskih-sirot-za-granicej-raskritie-religioznih-i-nacionalnih-tradicij-v-kontekste-prav-roditelej.html
  • knowledge.bystrickaya.ru/o-konstitucionnoj-palate-verhovnogo-suda-kirgizskoj-respubliki.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.