Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АрхитектураБиологияГеографияДругоеИностранные языки
ИнформатикаИсторияКультураЛитератураМатематика
МедицинаМеханикаОбразованиеОхрана трудаПедагогика
ПолитикаПравоПрограммированиеПсихологияРелигия
СоциологияСпортСтроительствоФизикаФилософия
ФинансыХимияЭкологияЭкономикаЭлектроника

Психодиагностика как наука и практическая деятельность психолога.

Создание и редактирование таблиц, диаграмм в программе Microsoft Word. | Малоформализированные методики | Стандартизация диагностической методики | Преимущества компьютерной психодиагностики | Корректирующие процедуры |


Читайте также:
  1. II этап (середина XVII в. - середина XIX в.) – психология как наука о сознании.
  2. III этап (середина XIX в. – середина XX в.) – психология как наука о поведении.
  3. IV Всероссийская научно-практическая студенческая конференция
  4. IV этап(с середины XX в. по настоящее время)– психология как наука, изучающая факты, закономерности и механизмы психики
  5. V Всероссийская научно-практическая студенческая конференция
  6. V. Деятельность.
  7. VI. Финансирование и хозяйственная деятельность

Основой теоретической психодиагностики как науки являются:
1. Предметная область психологии, изучающая данное явление. Общая психодиагностика связана с общей, социальной и дифференциальной психологиями; частная психодиагностика - с медицинской, возрастной, консультативной, клинической, труда и другими областями психологии.
2. Дифференциальная психометрика как наука обосновывающая и разрабатывающая измерительные диагностические методы.
3. Практика применения психологического знания, в которой выдвигаются психодиагностические задачи и обосновываются выделение переменных, выступающих как объекты психодиагностики.
4. Профессиональный и жизненный опыт.

Психодиагностика как практика относится к теоретической так же, как инженерная эксплуатация техники к ее разработке и конструированию. Как и эксплуатация сложных устройств в полевых условиях, практическая психодиагностика предполагает необходимые навыки и интуицию, богатый клинический и житейский опыт. Также практическая психодиагностика предполагает свод правил применения психодиагностических инструментов, основанных на знании свойств измеряемых переменных и измеряющих инструментов, на знании этических и профессиональных норм психодиагностической работы.

Диагностическое обследование отличается от научного исследования. Психолог-исследователь ориентирован (в том числе и в области психодиагностики) на поиск неизвестных закономерностей, связывающих абстрактные переменные, и использует «известных» (то есть определенных по какому-либо признаку) испытуемых и пренебрегает их индивидуальными отличиями и эмпирической целостностью. Для психолога-психодиагноста на практике именно эти индивидуальные отличия и эмпирическая целостность являются объектом изучения; он ориентирован на поиск известных закономерностей в «неизвестных» обследуемых.

Психодиагностические задачи можно решать различными способами, но специальные психодиагностические методики обладают рядом преимуществ:
1. Позволяют собрать диагностическую информацию в относительно короткие сроки;
2. Возможность получения информации о глубинных неосознаваемых психических явлениях;
3. Предоставляют информацию конкретную, т.е. не о человеке вообще, а о его индивидуальных особенностях (об интеллекте, тревожности, самоответственности, личностных чертах и т.п.);
4. Информация поступает в виде, позволяющим дать качественное и количественное сравнение человека с другими людьми;
5. Информация, получаемая с помощью диагностических методик, полезна с точки зрения выбора средств вмешательства, прогноза его эффективности, а также прогноза развития, общения, эффективности той или иной деятельности человека.

Психодиагностический метод имеет определенную специфику по отношению к традиционным исследовательским методам психологической науки - экспериментальному и неэкспериментальному (описательному). Основой психодиагностического метода является его измерительно-испытательная направленность, за счет которой достигается количественная и качественная квалификация изучаемого явления. Это становится возможным в результате выполнения определенных требований.

1. Первое требование - стандартизация измерения, в основе которого лежит понятие нормы. Поскольку индивидуальная оценка (например, успешность выполнения того или иного задания) может быть получена только путем сопоставления с результатами других обследуемых. Норма теста - это средний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических характеристик.
2. Также важны для психодиагностического метода требования к надежности и валидности инструмента измерения, а также жесткая регламентация процедуры обследования: точное соблюдение инструкции, строго определенные способы представления стимульного материала, невмешательство исследователя в деятельность обследуемого и др.

Кроме квалификации изучаемого явления, обязательным в психодиагностическом методе является его интерпретация.

Психодиагностический метод конкретизируется в трех основных диагностических подходах, которые охватывают практически все множество имеющихся диагностических методик:
1. «Объективный» подход - диагностика осуществляется на основе успешности (результативности) и способа (особенностей) выполнения деятельности.
2. «Субъективный» подход - диагностика осуществляется на основе сведений, сообщаемых о себе, самоописания особенностей личности, поведения в тех или иных ситуациях.
3. «Проективный» подход - диагностика на основе анализа особенностей взаимодействия с внешне нейтральным, как бы безличным материалом, становящимся в силу его неопределенности (слабоструктурированно-сти) объектом проекции.

Также выделяют номотетический и идеографический подходы. Номотетический подход - типизация на основе установленных закономерностей. Используются статистически обобщенные модели. Нацелен на выявление широких обобщений и установление универсальных законов, применимых к множеству частных случаев (например, ко всем людям или достаточно широким человеческим общностям). В нём отдельный факт практически не имеет научной ценности, поскольку в нем может быть много случайных совпадений. Почти все психодиагностические методики соответствуют этому подходу.

Идеографический подход - учитывается своеобразие и уникальность личности. Описание и анализ конкретных, индивидуальных, единственных в своем роде случаев, явлений без стремления к обобщениям на другие аналогичные случаи. Примером является Техника репертуарных решеток Дж. Келли.

2. Цели и направления компьютерной психодиагностики.

Основной задачей компьютерной психодиагностики можно считать обеспечение психологов качественными психодиагностическими инструментами, создаваемыми на базе новых информационных технологий.

Исследования в области компьютерной психодиагностики смело можно отнести к междисциплинарным, находящимся на стыке психодиагностики и информационных технологий или компьютерных наук (computer science) [Червинская, 2003]. Творческая интеграция этих дисциплин приводит к появлению нового качества психодиагностических исследований и совершенно иного стиля работы практических психологов. Более того, в практической психологии происходит постепенный переход компьютерных технологий из области вспомогательных в сферу обязательных средств, аналогично тому, как это уже произошло в многих сферах практики.

Использование информационных технологий приводит к постепенному сближению клинического и статистического подходов, долгое время рассматривающиеся как антогонисты, а также к интеграции помогающих и организационных функций психолога-практика. Организационные аспекты деятельности практического психолога, в большей мере опирающиеся на групповые данные, всё более остро нуждаются в информационных технологиях.

На сегодняшний момент в психодиагностике активно используются такие информационные технологии, как: анализ данных, инженерия знаний и Интернет-технологии.
Каждая из этих технологий лежит в основе конкретных психодиагностических задач, которые и определяют ключевые направления работ в области компьютерной психодиагностики [Червинская, 2003; Васищев, 2006]:

1. Конструирование психодиагностических методик в рамках традиционной психометрической парадигмы на основе технологии анализа данных, в рамках психосемантического подхода на основе субъектной парадигмы анализа данных.

2. Разработка психодиагностических экспертных систем для прогноза поведения в рамках нетрадиционных подходов, например, опирающиеся на внешние критерии в рамках стохастического (вероятностного) подхода (прецедентные экспертные системы).

3. Создание компьютерных психодиагностических методик, использующих компьютер в качестве организатора стимульного материала, т.е. реализация психофизиологических тестов, систем адаптивного, игрового, дистанционного и мультимедийного тестирования.

4. Разработка на основе технологии инженерии знаний (внедрение в компьютер опыта работы эксперта-психолога) компьютерных интерпретаторов результатов тестирований, моделей прогноза.

5. Разработка гибридных систем для психологического сопровождения конкретных видов деятельности (например, кадрового отбора, обучения...).

6. Создание оболочек-конструкторов для компьютеризации (визуального конструирования) различных компонентов, важных в практической работе психологов (методик, профилей, интерпретаторов и т.д.).

7. Обучение искусству психодиагностики с помощью компьютера.

В последние годы в практической работе психологов произошли коренные сдвиги. И связано это, прежде всего, с тем, что значительно увеличился вес использования компьютерного психодиагностического инструментария по сравнению с традиционными тестовыми методиками «карандаша и бумаги».

Такое положение дел создаёт определённые трудности для психологов и ставит перед ними новые задачи. Наибольшую трудность вызывает подбор адекватного, отвечающего целям исследования, компьютерного психодиагностического инструментария. В связи с этим часто задаются вопросы: какие методики и для каких целей лучше всего использовать, какие компьютерные психологические заключения можно получить в результате исследования испытуемых и как компьютерный психодиагностический инструментарий может быть полезен в практической работе психолога.

Знание компьютера, информационных технологий, умение подбирать для решения своих задач качественный инструментарий становится актуальным ещё и в связи с развитием электронных коммуникаций, в частности компьютерной сети Интернет, позволяющей «скачивать» любую информацию, в том числе непрофессиональные психологические тесты. Подбирая инструментарий, прежде всего, необходимо чётко представлять, что лежит в основе той или иной компьютерной методики, кто и как её разрабатывал, каковы принципы разработки, какой эмпирический материал при этом использовался, где компьютерная методика проходила апробацию, каковы принципы интерпретации результатов тестирования и учитывают ли они особенности различных популяций.

Перечисленные выше направления исследований, каждое по-своему, как раз и дают ответы на эти вопросы. В основе каждого направления исследований в области компьютерной психодиагностики лежит собственный, специфический подход, или парадигма конструирования психодиагностического инструментария.

Следующий качественный для психодиагностики эффект связан с возможностью создания психодиагностического инструментария, включающего компьютер в качестве необходимого элемента, без которого в принципе невозможно осуществить психодиагностический эксперимент.
Речь идёт о принципиально новом классе инструментов, где компьютер выступает организатором стимульного материала. Яркими примерами здесь являются процедуры адаптивного тестирования, дистанционного, игрового и мультимедийного тестирования, а также компьютерные методики, основанные на возможности измерения с помощью компьютера психофизиологических особенностей человека.

К этому же классу психодиагностического инструментария можно отнести те методики, в которых осуществляется специфическое компьютерное представление стимульной информации.
Так, Клайн (1994) приводит пример, в котором испытуемый с помощью компьютера должен решать задачу подсчёта точек с негативной обратной связью: в случае правильного ответа испытуемый информируется о том, что он осуществил подсчёт неверно, и наоборот. Основанием этого теста является тот факт, что настойчивые испытуемые будут продолжать выполнять задание дольше при условии, что им разрешено прекратить работу по собственному желанию.

3. Классификация компьютерных методов в психодиагностике.

 

Компьютерные методы можно классифицировать по целям применения: собственно диагностика, документирование данных, обработка данных, презентация данных (включая дизайн).

Компьютерные методы диагностики можно классифицировать по предмету исследования на: психофизиологические, психологические и социально-психологические.

Психофизиологические компьютерные методы представлены рядом методик, направленных на исследование свойств нервной системы (подвижность и лабильность процессов возбуждения и торможения, скорость реакции), свойств анализаторов (преимущественно – зрительного, аудиального) и некоторых других характеристик (например, поля зрения, «вызванных потенциалов» в течение некоторого контролируемого процесса).

Психологические компьютерные методы представлены методиками, направленными на исследование психических процессов (восприятия, внимания, памяти и пр.), личностных свойств (темперамента, характера, уровня субъективного контроля, интеллекта, способностей, мотивации и пр.), психических состояний (например, цветовой тест М. Люшера).

Социально-психологические методы представлены методиками, диагностирующими социально-психологические свойства личности (направленность, потребность в достижении, предрасположенность к конфликтному поведению и пр.), а также социально-психологические характеристики группы (социометрия, методы диагностики социально-психологического климата, сплоченности группы и пр.). Отдельным комплексом представлена клиническая диагностика (например, уровень невротизации и психопатизации).

Компьютерные методы, применяемые в целях диагностики, можно также классифицировать по типу (способам) построения самих методик на: «плоские» и «интерактивные». Наиболее распространенными на данный момент являются «плоские» компьютеризированные версии стандартизованных психологических методик, предполагающие индивидуальную диагностику. То есть – стандартный бланк опросника, ограниченный выбор ответов из предъявленных альтернатив, унифицированная, стандартная (по «ключу») обработка результатов. Для обследуемого разница между компьютерной и традиционной диагностикой заключается в том, что вопросы предъявляются не на бумажном бланке, а на мониторе компьютера, и отвечает он при помощи не шариковой ручки, а клавиатуры либо мышки; для исследователя электронная версия методики, в данном случае, отличается только автоматизацией и скоростью обработки результатов. «Интерактивные» методики, предполагающие «диалог» между обследуемым и машиной, значительно менее распространены, в них возможна не только индивидуальная, но и групповая диагностика (например, диагностика группового принятия решения). В данном случае алгоритм компьютерной программы имеет несколько «степеней свободы» и реализуется не по одному жестко заданному образцу, а зависит от действий обследуемого(ых).

 

Еще одним критерием для классификации компьютерных диагностических средств служит их комплектование в определенных целях. Под комплектованием подразумевается объединение нескольких психодиагностических методик в одну программу, то есть – создание психодиагностической «батареи» тестов с разным целевым назначением. Так, батарея тестов профессионально-психологического отбора будет значительно отличаться от комплекса методик, направленных на исследование профориентации. В свою очередь, если ряд тестов по профориентации носит универсальный характер, то батареи методик профессионального отбора для разных специалистов значительно отличаются друг от друга, поскольку в их основе лежит профессиограмма конкретной профессии и научно-обоснованный набор профессионально-важных качеств. Отдельно можно выделить батареи, создающиеся для конкретного психологического исследования, а также «универсальные» батареи, представляющие собой совокупность наиболее часто используемых в психологической практике тестов.

Еще одним критерием классификации может служить тип программного обеспечения, требуемый для применения той или ной компьютерной методики. Не включая в данный обзор аппаратурные психодиагностические методы и методики (для которых требуется специфическое оборудование, помимо собственно компьютера), и исходя из наиболее распространенной программной продукции компании Microsoft, можно условно разделить компьютерные методы на созданные в форматах MS-DOS и Windows. Многие отечественные компьютерные психодиагностические методики создавались в 80-е гг., соответственно, сделаны в MS-DOS, что, во-первых, накладывает определенные ограничения на их использование на современных компьютерах, во-вторых, требует специфических умений как при проведении диагностики, так и при последующей обработке данных.

Документирование, создание удобных и защищенных компьютерных архивов психодиагностических данных возможно в нескольких программах Microsoft Office – Word, Excel, Access.

Статистическая обработка данных возможна как в программе Microsoft Excel, так и в специализированных статистических программах, таких как Sistat, Statgraphics, SPSS, Stadia, Statistica и ряде других.

И, наконец, презентация данных возможна при помощи графических возможностей всех выше перечисленных программ, а также при использовании специальных графических программ, таких как Photoshop, CorelDraw и других.

Хотя компьютерные психодиагностические средства доступны многим пользователям, их корректное использование даже специалистами-психологами возможно лишь при соблюдении ряда условий и правил:

1) теоретическая подготовка. Большинство профессиональных психодиагностических средств рассчитано на психологов-специалистов, что проявляется в форме вывода данных по окончании тестирования, обычно это – аббревиатура шкал методики (например, результат тестирования по методике Г. Айзенка EPI – «Л-5, Н-18, Э-17»). Подразумевается, что психолог знаком как с содержанием методики, ее достоинствами и ограничениями (то есть в целом – с курсом «психодиагностики»), так и с ее теоретическими основаниями (в зависимости от предмета диагностики это могут быть как общепсихологические знания, так и содержательные знания конкретных отраслей психологии), сможет интегрировать полученную информацию (в данном случае – сделать заключение о типе темперамента «холерик», согласно Г. Айзенку, об уровне искренности обследуемого по показателям шкалы «лжи», соотнести результаты со свойствами нервной системы – силой, подвижностью, лабильностью, преобладанием того или иного процесса – торможения или возбуждения, и так далее) и предоставить обследуемому корректную и исчерпывающую интерпретацию полученных им результатов;

2) надежность и валидность методики, надежность компьютерной программы. Собственно «компьютерные методы» являются лишь вспомогательным средством, психологическая диагностика с их помощью должна соответствовать классическим критериям, в том числе – применению валидных и надежных диагностических средств. Как и в периодической печати, среди компьютерных средств нашли широкое распространение «популяристические» ненаучные методики. Отдельной проблемой является надежность компьютерной программы, с помощью которой производится диагностика. Если по отношению к методике термин «надежность» (упрощенно) означает «помехоустойчивость», то по отношению к программе этот термин означает правильность, во-первых, предъявления материала (соответствие традиционному варианту методики – содержания вопросов и их последовательности, формы ответов – то есть количества и содержания альтернатив), во-вторых, обработки данных (соответствие подсчета по «ключу» оригиналу), и лишь в-третьих, – «помехоустойчивость», то есть одинаковость работы программы (включая подсчет результатов) при последовательных и одновременных ее предъявлениях обследуемым.

Рекомендуется применять описанные в научной литературе, адаптированные к соответствующей популяции, валидные и надежные методики, выполненные в лицензированных программах, созданием и распространением которых занимаются научные организации и центры. В крайних случаях, если методика соответствует всем описанным критериям, надежность программы можно проверить самостоятельно путем сверки с традиционным вариантом методики. Данное правило, кроме прочего, распространяется на два типа «новаторской» деятельности психолога-исследователя: апробацию вновь созданных методик и создание компьютерного варианта традиционных методик;

3) навыки работы с программой. Компьютерные психодиагностические средства зачастую строятся по принципу «простоты использования обследуемым» и «защищенности от случайных повреждений»; другими словами, они четко ограничивают возможности воздействия обследуемого на программу альтернативой предложенных ему вариантов ответов (минимум кнопок, на которые человек может нажать, клавиш, которые «функционируют» и «иконок», которые обследуемый может «активировать»). Для исследователя, чаще всего, это оборачивается необходимостью знать соответствующие наборы функциональных клавиш (либо специфических кодов, либо «путей» – своего рода компьютерных «адресов»), которые позволяют просмотреть, сохранить, распечатать результаты тестирования.

Таким образом, без предварительной подготовки, «тренировки» обследование с помощью компьютерных психодиагностических средств иногда попросту невозможно, и в целом не рекомендуется. Ниже (табл. 1) приведены некоторые общие характеристики работы с программами в формате MS-DOS.

Таблица 1.

Особенности психодиагностических методик, выполненных в форматах MS-DOS и Windows.

MS-DOS Windows
1. Установка программы зачастую производится простым перемещением папки с нею. 1. При установке часто требуется поиск в папке и активация файла setup.exe, затем выполнение ряда последовательных шагов, предлагаемых программой.
2. Запуск программы часто осуществляется либо активацией ярлыка с логотипом и надписью MS-DOS, либо активацией файла с расширением.exe или.bat., имеющего графический значок белого прямоугольника с синей полосой вверху. 2. Ярлык, запускающий программу, обычно имеет яркий графический значок, отличающийся ото всех остальных в папке.
3. Работа в программе и на этапе тестирования, и на этапе обработки данных производится без мышки! 3. Компьютерная мышка может быть использована на любом этапе.
4. В большинстве случаев требуется знание функциональных клавиш или их сочетаний для работы с программой на любом этапе. 4. Использование функциональных клавиш – скорее исключение.
5. Переход по программе с «уровня» на «уровень» (имеются в виду пункты и подпункты меню) стандартно совершается с помощью двух клавиш: «вход» – Enter, «выход» – Esc. 5. Переход по программе совершается с помощью мышки.
6. Сохранение результатов производится не всегда (иногда предполагается сразу вывод на печать, иногда требует специфических действий, иногда не сохраняется вовсе, иногда сохраняется автоматически – полностью зависит от особенностей программы). 6. Сохранение результатов производится практически во всех случаях, и в большинстве – автоматически.
7. Сохранение часто производится в разноформатных файлах, требующих сначала трансформации в текстовый (txt) формат, лишь после этого возможен импорт данных в современные программы для документирования и обработки полученных результатов. 7. В большинстве случаев сохранение производится либо в текстовом формате, либо сразу импортируется в Word или Excel, в ряде случаев – в графические форматы.
8. При сохранении довольно часто требуется прописывать «путь» сохранения и (помимо имени) расширение файла. Например, «C:\Мои документы\results.txt». 8. При отсутствии автоматического сохранения, выбор папок производится с помощью мышки и визуального поиска, требуется только написание имени файла.
9. При открытии через программу «Блокнот» (NotePad) либо импорте шрифт меняется на бессмысленный набор символов, поэтому требуется смена шрифта (Формат→Шрифт) на Terminal, System, Windows (ANSI) или MS-DOS (PC-8) – в зависимости от предоставляемого выбора. 9. -
10. Обычно имеется алгоритм корректного выхода из программы, при его нарушении могут произойти сбои. 10. Выход из программы прост и стандартен.
11. Уже на уровне Windows-98 могут возникнуть трудности работы программы, в более новых версиях (2000, 2002, XP и Millennium) они гарантированы. 11. -
12. Графическая презентация данных используется очень редко, графические решения крайне просты. 12. Графическая презентация возможна во многих случаях, графика разнообразна.
13. Большое количество программ с использованием русского языка. 13. Небольшое количество русскоязычных программ.

4. Правила работы с компьютерными диагностическими средствами.

Хотя компьютерные психодиагностические средства доступны многим поль- зователям, их корректное использование даже специалистами-психологами воз- можно лишь при соблюдении ряда условий и правил: 12 1) теоретическая подготовка. Большинство профессиональных психодиаг- ностических средств рассчитано на психологов-специалистов, что проявляется в форме вывода данных по окончании тестирования, обычно это – аббревиатура шкал методики (например, результат тестирования по методике Г. Айзенка EPI – «Л-5, Н- 18, Э-17»). Подразумевается, что психолог знаком как с содержанием методики, ее достоинствами и ограничениями (то есть в целом – с курсом «психодиагностики»), так и с ее теоретическими основаниями (в зависимости от предмета диагностики это могут быть как общепсихологические знания, так и содержательные знания кон- кретных отраслей психологии), сможет интегрировать полученную информацию (в данном случае – сделать заключение о типе темперамента «холерик», согласно Г. Айзенку, об уровне искренности обследуемого по показателям шкалы «лжи», соот- нести результаты со свойствами нервной системы – силой, подвижностью, лабиль- ностью, преобладанием того или иного процесса – торможения или возбуждения, и так далее) и предоставить обследуемому корректную и исчерпывающую интерпре- тацию полученных им результатов; 2) надежность и валидность методики, надежность компьютерной про- граммы. Собственно «компьютерные методы» являются лишь вспомогательным средством, психологическая диагностика с их помощью должна соответствовать классическим критериям, в том числе – применению валидных и надежных диагно- стических средств. Как и в периодической печати, среди компьютерных средств нашли широкое распространение «популяристические» ненаучные методики. От- дельной проблемой является надежность компьютерной программы, с помощью которой производится диагностика8. Рекомендуется применять описанные в науч- ной литературе, адаптированные к соответствующей популяции, валидные и на- дежные методики, выполненные в лицензированных программах, созданием и рас- пространением которых занимаются научные организации и центры9. В крайних случаях, если методика соответствует всем описанным критериям, надежность про- граммы (см. сноску) можно проверить самостоятельно путем сверки с традицион ным вариантом методики. Данное правило, кроме прочего, распространяется на два типа «новаторской» деятельности психолога-исследователя: апробацию вновь соз- данных методик и создание компьютерного варианта традиционных методик; 3) навыки работы с программой. Компьютерные психодиагностические средства зачастую строятся по принципу «простоты использования обследуемым» и «защищенности от случайных повреждений»; другими словами, они четко огра- ничивают возможности воздействия обследуемого на программу альтернативой предложенных ему вариантов ответов (минимум кнопок, на которые человек может нажать, клавиш, которые «функционируют» и «иконок», которые обследуемый может «активировать»). Для исследователя, чаще всего, это оборачивается необхо- димостью знать соответствующие наборы функциональных клавиш (либо специ- фических кодов, либо «путей» – своего рода компьютерных «адресов»), которые позволяют просмотреть, сохранить, распечатать результаты тестирования. Таким образом, без предварительной подготовки, «тренировки» обследование с помощью компьютерных психодиагностических средств иногда попросту невозможно, и в целом не рекомендуется. Ниже (табл. 1) приведены некоторые общие характери- стики работы с программами в формате MS-DOS10, особенности каждой из предла- гаемых в рамках курса «Компьютерные методы в психодиагностике» программ описаны в Приложении 1.


Дата добавления: 2015-11-14; просмотров: 169 | Нарушение авторских прав


<== предыдущая страница | следующая страница ==>
ПОРЯДОК ИСЧИСЛЕНИЯ И СРОК УПЛАТЫ| Особенности психодиагностических методик, выполненных в форматах MS-DOS и Windows

mybiblioteka.su - 2015-2024 год. (0.012 сек.)