Експертна оценка на качеството на функциониране на информационните системи в образователната служба. Методи за експертна оценка на показателите за качество на продукта

Лекция 7. Особености на технологията за експертна оценка на качеството.

Същността на експертните методи и организацията на работата по използването

в управлението на качеството

Като научен метод експертният метод е разработен сравнително наскоро и се нарича "Делфи". Впоследствие бяха разработени други подобни методи, базирани на експертни оценки. Първоначално експертните методи се използват главно за решаване на проблеми, свързани с прогнозирането в областта на науката и технологиите, а след това започват да се прилагат и в други области, включително управлението.

Същност експертни методи се състои в осредняване на мненията (преценките) на специалисти експерти по разглежданите въпроси, получени по различни методи. Среден рейтинг (ДА СЕ)се определя по формулата

където н- броят на експертите,

К и - дадена оценка ити експерт.

Най-често срещаните експертни методи за класифициране на базата на оценка на предпочитанията са метод на ранг, метод на пряка оценка и метод на сравнение. Последният включва две разновидности - сравнение по двойки и последователно сравнение.

ДА СЕ различни експертни методис известна степен на условност могат да се припишат органолептични и социологически. Органолептичен методсе основава на използването на сетивата (вкус, слух, зрение, мирис, тактилност) на експерта. Използва се при оценяване, например, на хранителни продукти. социологически методсе основава на проучване, събиране и анализ на мненията на респондентите (например действителни или потенциални потребители). Такова проучване и събиране на мнения се извършва писмено (с помощта на въпросници) или устно (на конференции, търгове, изложения и др.). При използването му трябва да се прилагат научно обосновани методи на разпит, математически принципи за събиране и обработка на информация. Общността на експертните методи се състои в последователността на процедурите за тяхното използване. Те включват организиране на експертна оценка, събиране на експертни становища и обработка на резултатите.

Намаляването на субективността на резултатите от използването на експертни методи съществено зависи от спазването на правилата за организиране, подготовка и провеждане на експертна работа. Това зависи особено от организацията на експертната оценка, назначаването на лице, отговорно за организиране и провеждане на експертно-оценителната работа, както и от сформирането на експертни комисии.

д За общото ръководство на експертната работа се назначава председателят на експертната комисия. В състава на комисията се организират две групи – работна и експертна (фиг. 1).

Ръководителят на работната група е подчинен на технически работници, които извършват техническата страна по подготовка на материали за работата на експерти, обработка на резултатите и др., както и специалисти по решаваните проблеми.

Формирането на експертна група се извършва от ръководителя на работната група, който формулира проблема и определя обхвата на групата; съставя предварителен списък на специалистите експерти; анализира качествения състав на предварителния списък с експерти и уточнява списъка; получава съгласието на вещото лице за участие в работата; съставя окончателния списък на експертната група.

Броят на експертите в групата зависи от много фактори и условия, в частност от важността на решавания проблем, наличните възможности и др. Изборът на специалисти се основава на анализ на качествата на всеки възможен кандидат. В този случай се използват различни методи: оценка на кандидатите въз основа на статистически анализ на резултатите от минало представяне в качеството; колективна оценка на кандидата като специалист в тази област; самооценка на кандидат за експерт; аналитично определяне на компетентността на кандидатите.

Често се използват няколко метода едновременно, например самооценка и колективна оценка на качествата на предложения експерт. Този подход ви позволява разумно да изберете експерти с необходимите качества. Трябва обаче да се признае, че методът за оценка на минали резултати изглежда по-обективен от методите за самооценка и колективни оценки. Във всички случаи кандидат-експертите трябва да притежават следните качества: професионална компетентност; креативност (способност за решаване на творчески проблеми); научна интуиция; интерес към обективните резултати от експертната работа; ефективност (събиране, способност за превключване от един вид дейност към друг, комуникация, независимост на преценката, мотивация на действията); обективност.

Провеждането на събиране на експертни становища включва предварително определяне на: място и час; форми и методи; броят на кръговете за събиране на становища, състава и съдържанието на документацията, реда за вписване на експертни заключения в документи. Важно е да изберете формата за събиране на експертни мнения.

Сред всички известни форми на събиране на мнения могат да се отбележат индивидуални, колективни и смесени. Всяка от тези форми има разновидности: разпит, интервюиране, дискусия, мозъчна атака, среща, бизнес игра. В много от тях те се използват заедно, което дава по-голям ефект и обективност. Този подход за събиране на експертни мнения, когато се използва смесена форма, се използва в случаи на неяснота на проблема, разминаване на индивидуални мнения или несъгласие на експерти в колективна дискусия.

На практика по-често се използва разпит, което позволява събирането на експертни мнения с по-малко усилия. Обикновено процесът на разработване на въпросник включва:

Определяне формата и съдържанието на жалбата до вещо лице;

Избор на типа въпроси;

Формулировката на въпросите;

Изявление на необходимата информация за вещото лице;

Разработване на формуляр за въпросник.

През последните години сред видовете въпроси най-често се използват т. нар. вентилатор (предполага се един отговор от поредица от отговори), затворен (отговори „да”, „не”, „не знам”) и отворен (отговорът на въпроса може да бъде даден под всякаква форма) .

При разпит на експерти е много важно въпросите във въпросниците да се формулират правилно, просто и недвусмислено, накратко и в същото време с необходимата пълнота, и да се посочи в текста на обяснителната бележка какво точно се изисква от експерта. За да се отговори на въпроси, тоест да се вземе решение от всеки експерт, обективните и (или) субективни измервания на въпросния обект се извършват в изрична или имплицитна форма. При субективното измерване експертите по правило използват един от гореспоменатите методи (рангове, директна оценка, сравнения).

Метод на рангове и пряко оценяване.

Според метода на ранговете експертът извършва класиране (подреждане) на изследваните обекти в зависимост от относителната им важност (предпочитание). В този случай на най-предпочитания обект обикновено се присвоява първия ранг, а на най-малко предпочитания - последния, равен по абсолютна стойност на броя на поръчаните обекти. Такова подреждане става по-точно с по-малък брой обекти на изследване и обратно.

П

Таблица 1.9.2Определяне на получения ранг на обектите за класиране

Обект за класиране №	Експерт №							Сума от ранговете на обектите

При предпочитано (по ранг) подреждане на обектите на експертиза от един експерт, сборът на ранговете трябва да е равен на сбора от числата на целия естествен ред от броя на обектите H,като се започне от един [ H х (Н+ 1):2]. Получените рангове на класирани обекти по данни от проучването се определят като сбор от ранговете за всеки обект. В този случай в крайна сметка първият ранг се присвоява на обекта, получил най-малък сбор от рангове, а последният - на този с най-голям сбор от рангове, т.е. най-малко значимия обект (пример за определяне на резултата ранг на три обекта от седем експерти е даден в таблица 2) .

Методът на пряка оценка (точкуване) е подреждането на изследваните обекти в зависимост от тяхната важност чрез присвояване на точки на всеки от тях. Най-значимият обект получава най-голям брой точки по приетата скала, диапазонът на скалата за оценка обикновено се приема от 0 до 1, до 5, до 10 или до 100. В най-простия случай оценката може да бъде 0 или 1. Понякога оценката се извършва в устна форма, например „много важно, важно, маловажно. За по-голямо удобство при обработката на резултатите от анкетата, такива оценки могат да бъдат преобразувани в точкова скала (например съответно 3, 2, 1).

Х

Таблица 3Определяне на резултатите от пряката оценка на обектите

Обект на оценка No.	Експерт №							Общо точки за обекти	Получен ранг на обекта	Тегло на обекта

Пряката оценка следва да се използва, ако експертите са напълно професионално информирани за свойствата на изследваните обекти. Въз основа на резултатите от оценките се определят рангът и тежестта (значението) на всеки изследван обект (пример за оценка на три обекта по 10-бална скала е даден в таблица 3).

Според резултатите от експертни оценки мястото на всеки обект може да се определи по формулата:

(2)

Където V и - значение и-ти обект ( и = 1, 2,.., P),изчислено на базата

експертни оценки ( j = 1,2,.., к),

А ij - даден резултат (в точки). и- на обекта jти експерт.

Метод на съвпадение.

Методът на съвпадение се осъществява чрез сдвоено сравнение и последователно съвпадение.

В сравнение по двойкиекспертът сравнява изследваните обекти по тяхната важност по двойки, като определя най-важните във всяка двойка. Експертът представя всички възможни двойки обекти под формата на запис на всяка от комбинациите (обект 1 - обект 2, обект 2 - обект 3 и т.н.) или под формата на матрица. Общият брой на двойките за сравнение е

, (3)

където H -броя на изследваните обекти на експертиза.

V

Таблица 4. Матрица за оценка на обекта чрез сравнение по двойки

Име на обекта	номер на обекта						Общо предпочитания

В резултат на сравнението експертът изразява мнение за важността на даден обект, т.е. дава предпочитание на един от тях. Понякога експертите стигат до извода за еквивалентността на всеки от обектите на двойка. За да подредите всички разглеждани обекти, е необходима последваща обработка на резултатите от сравнението. Най-удобно е да се извършват сравнения по двойки и тяхната обработка с помощта на матрици като инструмент (Таблица 4). В някои случаи, когато в големи количестваот изследваните обекти, резултатите от сравнението по двойки се влияят от психологически фактори, т.е. понякога се дава предпочитание не на обекта, който наистина е за предпочитане пред другите, а на този, който е посочен първи в списъка с двойки или се намира в матрицата над сравняваната, следователно понякога, за да се изключи психологическото влияние, се извършва двойно сравнение на двойки, т.е. отново се извършва сравнение на двойки, но само с обратното подреждане на обекти и обекти във всяка двойка. Броят на двойките при двойно сравнение по двойки е съответно два пъти по-голям, отколкото при единично сравнение по двойки.

При изписването на всяка комбинация експертът подчертава най-важното във всяка двойка сравнявани обекти. На пресечната точка на вертикалните и хоризонталните редове на матрицата за всяка двойка обекти той поставя 1 или 0 (или плюс или минус) в зависимост от значението на този или онзи обект, определен от него.

Теглото на всеки обект за сравнение се изчислява по формулата:

(4)

където А i/i,j- брой предпочитания (единици, или плюсове, долни черти)

и-тия обект по-горе и-тия обект е посочен j-ти експерт;

А -общия брой двойки обекти.

Р

Таблица 5. Обобщаваща матрица на резултатите от сравняване по двойки на обекти

Име на обекта	номер на обекта	Брой предпочитания аз-обект, даден от експерти					Сумата от предпочитания	Тегло на обекта

резултатите от попълването на матриците от всички експерти и изчислените данни могат да бъдат обобщени в матрица (Таблица 5).

Изчисленията за двойно сравнение на двойки се извършват по същите формули като за обикновено сравнение на двойки, но броят на двойките се удвоява.

Същността на метода на последователното съвпадениесе състои от следното. Експертът подрежда всички изследвани обекти по реда на тяхната важност (като ранговия метод). Преди това на всеки обект се приписва определен брой точки, например по скала от 0 до 1 (като метод за оценка). Освен това най-важният обект получава оценка, равна на 1, а всички останали - в низходящ ред на тяхната важност от 1 до 0. След това експертът решава дали важността на обекта с ранг 1 ще бъде по-голяма от сбора от резултатите от всички останали обекти. Ако е така, тогава стойността на оценката на първия обект се увеличава до това ниво, а ако не, тогава експертът намалява тази стойност до такава числова стойност, че става по-малка от сумата на оценките на всички други обекти. Стойностите на оценките на втория, третия и следващите обекти по важност се определят последователно по същия начин като оценката на първия най-важен обект.

Методът на последователно сравнение за експертите е най-отнемащ време, особено когато броят надвишава шест или седем обекта, които се изследват.

Обработка и оценка на съгласуваността на експертните данни.

Обработката на събраните мнения на експерти се извършва както количествено (числови данни), така и качествено (съществена информация). Използват се различни методи за обработка. При наличието на числени данни се използват методи за осредняване на експертни преценки за решаване на въпроси, които имат достатъчно информационен материал. Но дори при наличните числени данни, но при недостатъчна информация по разглеждания въпрос, наред с количествените методи за обработка на експертни данни се използват методи за качествен анализ и синтез.

При използване на разглежданите експертни методи (рангове и др.) мненията на експертите често не съвпадат, поради което е необходимо да се определи количествено степента на съгласуваност на експертните мнения и да се определят причините за несъответствието между преценките. Мярката за последователност, разбира се, се определя въз основа на статистическите данни на цялата група експерти. Като правило, за да се оцени мярката на консенсуса на мненията на експертите, коефициенти на съгласуване.

Мярката за последователност се определя от математическата и статистическа обработка на всички налични резултати от изпитите. По този начин съгласуваността на мненията на компетентните експерти при използване на всички посочени експертни методи, при които се определят ранговете на обекти, може да се определи с помощта на коефициента на съгласуване (съгласие) по формулата:

(5)

където C е сумата на квадратите от отклоненията на сумите на ранговете за всеки обект от средната сума на ранговете за всички обекти и експерти, т.е.

(6)

където
- средната сума на ранговете.

Коефициентът на съответствие може да бъде в диапазона
. В У=0 няма консенсус между експертите и кога W= 1 - пълна консистенция. Обикновено се приема, че последователността е достатъчна, ако W >= 0,5.

Да предположим, че въз основа на резултатите от работата на компетентни експерти са получени определени данни за класиране и е необходимо да се изчисли коефициентът на съответствие от тях (Таблица 6)

Коефициентът на съгласуване е равен на

, (7)

т

Таблица 6. Данни за изчисляване на коефициента на съгласуваност

Експерт №	Класации, дадени от експерти Пет класирани обекта ( H=5)

.e експертните заключения могат да бъдат признати за договорени, тъй като получената стойност на коефициента на съгласуване отговаря на условието W>= 0,5.

При използване на експертни методи, при които ранговете не се определят, за да се намери съответствие, изчислените стойности на обектите трябва да се преобразуват в рангове. Ранг 1 се присвоява на обекта с най-висока значимост и т.н., в противен случай оценката на съгласуваността на мненията се извършва по други критерии за съгласие.

Изчислената стойност на коефициента на съгласуваност трябва да бъде претеглена според критерия на Пиърсън (Х 2 ) с определено ниво на значимост (V),т.е. максималната вероятност за неправилен резултат | работа на експерти. Обикновено е достатъчно да зададете значимостта в диапазона от 0,005 - 0,05.

В случай на получаване на изчислената стойност х 2 изчислен> табличен х 2 маса (с избраното ниво на значимост) мненията на експертите окончателно се признават за договорени.

Стойности в таблицата х 2 маса(Таблица 7) зависят от приетото ниво на значимост и броя на степените на свобода (С), което се определя от формулата

, (8)

Прогнозна стойност х 2 изчисленсе определя по формулата

По този начин, за данните от предишния пример

. (10)

При ниво на значимост от 0,05, стойността на таблицата х 2 масае приблизително 9, т.е. мненията на експертите могат окончателно да бъдат признати за договорени с вероятност 0,95, тъй като х 2 изчислен > х 2 маса .

Механизмът на потребителския избор е доста консервативен, тъй като по правило се основава на използването само на това, което вече се е доказало добре. До голяма степен тя е ориентирана към миналото, а не към възможно бъдеще.

При пазарни условия обективната социална полезност на продуктите трябва да стане основа за оценка на качеството на продукта, което ще отразява неговата прогресивност и съответствие с особеностите на новия начин на живот. Един от методите, които могат да осигурят точно такава оценка на продуктите, може да бъде експертният метод.

експертен методоценката на качеството на продукта включва изясняване на мненията на експертите.

Експерте квалифициран специалист, който отговаря на изискванията за професионална и квалиметрична компетентност, ефективност и обективност, а също така се интересува от работата на експертната комисия.

Използването на експертни методи е рационално при наличието на една от двете причини:

Задачата не може да бъде изпълнена по друг метод;

Други методи за изпълнение на задачата са или по-малко точни, или отнемат повече време.

Експертните методи, заедно с други или самостоятелно, могат да се използват за:

класификация на продуктите;

· определяне на номенклатурата на показателите за качество на продукта;

определяне на теглови коефициенти на отделни качествени показатели;

подбор на основни проби на продукта и определяне на стойностите на отделните качествени показатели на тези проби;

Определяне на органолептични показатели за качеството на оценяваните продукти;

определяне на комплексни показатели за качество на продукта.

Включването на висококвалифицирани експерти в експертни комисии позволява получаването на точна и възпроизводима оценка на качеството на стоките. Извършените експерименти потвърждават това правилна методологияСпоред експертната оценка грешката на резултатите е в рамките на 5-10% и може да се сравни изцяло с резултатите от инструменталните методи.

За оценка на качеството на продуктите по експертен метод се създават експертни комисии. Редът за създаване, целите и задачите на такава комисия се определят със заповед или заповед на ръководителя на министерството, отдела, сдружението, фирмата. Общият алгоритъм за създаване и функциониране на експертна комисия, която използва методи за групово проучване, е показан на фигура 7.1.

Работата на експертната група завършва със статистическа обработка на експертни оценки, техния анализ и приемане на обосновани решения.

Основните предимства на груповата експертна оценка е възможността за цялостен анализ на проблемите, свързани с определянето на индивидуалните характеристики на продукта. Взаимодействието между експертите увеличава количеството обобщена информация в сравнение с информацията на всеки член на групата. При групова оценка има по-малка вероятност от грешка в крайния резултат от работата. В повечето случаи груповата оценка е по-надеждна от оценката на всеки експерт поотделно.

Работната група изготвя и извършва експертна оценка на качеството на продукта. Неговата задача е да обучава експерти, да съдейства за оценка на качеството, обработка, анализ, обобщаване на резултатите и установяване на колективно мнение на експертите. Започва дейността си с подбор на експерти и сформиране на експертна група.

Ориз. 7.1. Общ алгоритъм на операциите за създаване и работа на експертна комисия

Експертната комисия се състои от две групи – работна и експертна.

Работната група включва:

· организатор(председател е и на експертната комисия) осигурява методическо ръководство на всички етапи. Той трябва да е квалифициран специалист в областта на методологията за оценка на качеството на продукта, да познава основите на неговото производство и процесите, които могат да протичат в този продукт, по време на неговото производство, транспортиране и съхранение. Той създава работна група; съставя програма за работа; участва в анкетата на експерти; анализира резултатите от всяка операция, както и крайните резултати, формулира заключения и предложения въз основа на резултатите от дегустацията;

· специалист -това е висококвалифициран служител на фирмата, в който е сформирана експертна комисия. Желателно е той да има универсални познания за продукта, както за неговото производство, така и за характеристиките на употреба. Задачата на специалиста е да анализира информацията, получена от експерти, за да коригира по-нататъшната работа на компанията. програмист.Ако оценката на качеството на продукта или обработката на резултатите се извършва с помощта на компютърни технологии, тогава основната задача на този специалист е да разработи програма за извършване на такава работа и последваща обработка на получените резултати;

· технически работнициразясняват разпоредбите на въпросника, ако не са достатъчно ясни за експертите, провеждат тяхното проучване, получават въпросници от експертите, могат да изяснят резултатите, но не трябва да изразяват мнението си относно оценката на експертите.

Формиране на експертна група.Организаторът и специалистът съставят списък от експерти (като се вземат предвид длъжността, времето и естеството на работа, професията). Групата трябва да включва специалисти от различни области на производство и оценка на качеството на продукта (дизайн, производствена технология, естетика, изследване на качеството).

Експертна група може да се формира от служители на една или повече фирми, които произвеждат (продават) стоките от тази група. В същото време е необходимо да се вземат предвид тенденциите и възгледите за качеството на продуктите, които преобладават в тази компания, официалната позиция (подчинение) на експертите, създаването и поддържането на психологически климат в групата. Препоръчително е да се даде предпочитание на създаването на експертна група на базата на една фирма с покана за работа с няколко специалисти от други фирми.

Резултатът от работата на експертната комисия до голяма степен зависи от броя на експертите и тяхната компетентност. Изборът на експерти е изключително трудна задача. То е свързано с:

Необходимо е да се вземат предвид индивидуалните способности на експертите и няма надежден метод за определяне на тези способности;

Психофизиологичните характеристики на човек, от които до голяма степен зависи работата на експертите, не са достатъчно проучени;

· Съществува противоречие между желанието за намаляване на разходите за експертиза чрез използване на ограничен брой експерти за оценка на качеството на широка гама от продукти и желанието за повишаване на точността и надеждността на партньорската проверка.

Според Г.Г. Азгалдова и Е.П. Райхман, компетентността на експертите се определя от 4 групи имоти (фиг. 7.2).

Професионална тренировкапредоставя познания за различни аспекти на проектирането и производството на продукти, изискванията на потребителите, условията и естеството на използване (експлоатация).

Квалиметричниобучението предоставя на експерта ясно разбиране на принципите и методите за оценка на качеството на продукта, познаване на методи за определяне на отделни показатели за качество и способност да ги използва в процеса на практическа работа (използване на различни видове скали за оценка, способност за разграничаване на достатъчен брой градации на продуктите, които се оценяват).

Ориз. 7.2. Индикатори за експертна компетентност

Интересексперт в работата на експертната комисия зависи от много фактори:

целите на изпита;

естеството на заключенията;

· индивидуални характеристикиексперт,

Заетост на основната работа;

· възможността за използване на резултатите от партньорската проверка в собствената им практическа работа.

ефективностекспертът включва мобилността и еластичността на вниманието (способността за бързо превключване на вниманието от един индикатор към друг); хладнокръвие; ефективност; валидност на заключенията; контакт (способност за работа с хора в конфликтни ситуации); мотивация на дадената оценка.

Обективностексперт се крие в това, че прави заключения въз основа на действителното ниво на качество на оценяваните продукти, а не се ръководи от други мнения.

Методи за оценка на компетентността на експертитеса разделени на 5 групи: евристични, статистически, тестови, документални и комбинирани.

Евристичен(от гр. heurisko - търся, отварям) оценката на експерта се основава на оценка на други хора или самооценка. Има такива видове евристични оценки: самооценка, взаимна оценка, оценка на работната група.

Самочувствие- това е метод, при който експертът сам дава оценка на собствената си компетентност. Установено е, че достоверността на средната експертна оценка е толкова по-висока, колкото по-голяма е средната стойност на самооценката на членовете на експертната група. Междувременно трябва да се има предвид, че резултатите от самооценката почти винаги са субективни, което е недостатък на този метод.

За да се подобри точността на резултатите от самооценката, тя се извършва диференцирано. Показателят за самооценка се дефинира като функция на два коефициента: осведоменост и познаване на оценяваните продукти и мотивация на оценката. T.G. Роднина и Г.О. Vuks предлага да се определи осведомеността и познаването на оценените продукти от експерта с помощта на „Въпросник за самооценка“ (Приложение А). Във въпросника експертът отбелязва редовността на запознаване с източниците на информация, както и степента на запознаване с оценяваните продукти. Самочувствието се изчислява по формулата:

Самият K \u003d B, особено I ex,

където К е самият коефициент на самооценка на експерта;

В ех - тежестта на показателите за информираност и знания;

I ex - оценка, която зависи от степента на информираност.

Пример за изчисляване на самия K е даден в Приложение Б.

Взаимна оценкае евристична оценка на експерт, която се дава от други експерти, тя трябва да намали субективността на самооценката на всеки експерт. Известно е, че има връзка между компетентността на експерта и средната оценка, която той е получил от колегите си. Същността на този вид оценка е, че всеки член на експертната група дава оценка на всички останали експерти, след което се изчислява средната оценка на всеки експерт.

Недостатъци на партньорската проверка:

· Експертите може да не знаят достатъчно един за друг;

• взаимните симпатии или неприязън могат да повлияят на резултатите от оценката;

Различните експерти могат да възприемат понятието „експертна компетентност” двусмислено;

Използвайте взаимна оценка само в онези комисии, където експертите се познават добре;

провеждат анонимни анкети;

обясни, че резултатите от проучването ще се използват само за коригиране на рейтингите на продуктите.

Оценяване на експерта от работната група- това е евристична оценка, която трябва да даде количествено описание на интереса на експерта към партньорската проверка и неговата внимателност в процеса на проучване. Оценката се дава от анализатори, които провеждат анкета на експерти след експертна оценка на продуктите. В същото време те оценяват отношението на експертите към изследването, както и тяхната активност при обсъждане на резултатите. Най-често за такава оценка се препоръчва да се използва оценка от 10 точки.

Статистическа оценка. - това е оценка, получена след статистическа обработка на експертни мнения за обекта на оценка. Тези оценки се използват за намаляване на грешките, които възникват при експертни преценки. Необходимостта от статистическа обработка на резултатите от изследването се дължи на факта, че за разлика от измерванията, които се извършват с помощта на технически средства и се основават на сравнение на неизвестни стойности с известни, при експертни методи често няма известни стойност. Освен това върху точността на експертните оценки влияят множество фактори от обективен и субективен характер, в резултат на които възникват системни или случайни грешки.

Систематична грешка е грешка, която постоянно се повтаря в процеса на дадено определяне. Основната причина за появата му е недостатъчна или неточна информация от експерти. Тя може да бъде намалена чрез запознаване на експертите с необходимата информация преди началото на работата на експертната комисия. Системна грешка може да се определи по стойността на отклонението на всяка експертна оценка от средната стойност, получена в експертната комисия.

Случайна грешка зависи от психофизиологичните характеристики на експерта (събиране, внимание, самочувствие). То намалява, ако експертът често участва в работата на експертни комисии и има практически опит.

Оценяване на обективността на експерт- това е оценка на способността на експерт да оцени неволно определена извадка от стоки. Това е много важна характеристика на експертната компетентност, която значително влияе върху точността на резултатите от експертната оценка.

Тестови оценкипозволяват използването на тестове за определяне на психофизиологичните характеристики на експертите. Те се използват за оценка на обективността, квалиметричността и професионалната подготвеност на експерт. Тестването ви позволява да оцените личностни чертикоето не може да се направи по друг метод. Недостатъкът на този метод е невъзможността да се сравнят данните, получени чрез метода на тестване, с данните, получени чрез други обективни методи.

Когато пишете тестове, трябва да се придържате към следните изисквания:

Експертът трябва да разбира формулировката на тестовата задача и условията, на които отговаря нейното решение;

вероятността за произволно отгатване на решението на задачата трябва да бъде близка до нула;

Тестовата задача трябва да има точен отговор;

· необходимо е да се обоснове приближаването на тестовата задача и реалните проблеми, които експертът решава при оценка на качеството на продукта.

Оценка на квалиметричната подготовкаексперт е оценка на теоретичните познания за методите за оценка на показателите за качество на продукта и способността да се използват в практическата работа. Тази оценка може да се извърши чрез устен или писмен контрол на знанията с помощта на тестове.

Малко по-трудно е да се тестват такива знания като способността да се използват различни видове скали за оценка, да се определя субективна вероятност, да се разпознава достатъчноградации на качествени показатели.

Документална оценка- това е оценка на експерт въз основа на документи, които потвърждават съответствието му с установените изисквания. Например може да се потвърди компетентността на експерт Главна информация, които са дадени във въпросника: опит – копие работна книжка; професионално обучение - диплома за професионално образование; специално обучение - сертификат или стандартизиран сертификат за специално обучение; повишаване на квалификацията - съответното удостоверение.

Документалната оценка може да бъде само допълнение към други методи за оценка на компетентността на експерт и няма самостоятелна стойност. Това се дължи на факта, че част от информацията, която е в документите, дублира други оценки.

Комбиниран резултатвключва използването на различни методи за оценка на компетентността на експертите. Тъй като различните методи на тази оценка имат своите предимства и недостатъци, тяхното комбинирано използване може да подобри предимствата и да смекчи недостатъците на отделните методи.

Контролни въпросии задачи

1. Каква е същността на потребителските методи за сензорен анализ?

2. Какви условия трябва да се създадат при създаване на дегустационни комисии за оценка на потребителите?

3. Какви са правилата, които трябва да следвате при съставянето на въпросник за оценка на потребителите?

4. Каква е същността на сдвоените и триъгълни методи на изследване?

5. Каква е същността на аналитичните методи на сензорния анализ?

6. С каква цел най-често се използва методът на отглеждане?

7. Какъв е смисълът да оценяваме качеството на стоките?

8. Какви изисквания трябва да се спазват при разработването на точкова система за оценка на качеството на стоките?

9. С каква цел се установяват коефициентите на значимост на качествените показатели?

10. Каква е същността на експертния метод за оценка на качеството на стоките?

11. Назовете основните етапи и операции, които се извършват по време на партньорската проверка.

12. Какви са методите за оценка на компетентността на експертите?

13. Опишете основните методи за оценка на компетентността на експертите (евристични, тестови, документални).

V1: Качеството като фактор за успеха на предприятието в пазарна икономика

V1: Насоки за международни стандарти ISO 9000 за осигуряване на качество

Експертът е специалист (професионалист), чиито оценки и преценки вземащият решения смята за полезни за вземане под внимание при вземането на решения.

Нека дадем някои обяснения. Естествено, мненията на начинаещ терапевт и световноизвестен кардиолог не са съпоставими по отношение на нивото на оценка на състоянието на пациента и препоръките за неговото лечение в доста трудна ситуация. Ако обаче пациентът се нуждае от спешна помощ и високопрофесионален специалист по една или друга причина не може да бъде поканен, тогава решението ще бъде взето от този, който е наблизо, дори и да е по-малко квалифициран. В тази ситуация той е експертът.

По този начин формирането на състава на експертната комисия зависи от:

конкретна ситуация за вземане на решения;

· възможности за организатори на експертиза да привличат за работа висококвалифицирани специалисти;

· Възможности за участие на специалисти в работата на експертната комисия.

Трябва също да се отбележи, че в момента няма общоприета единна методология за оценка на качествата на експерт, така че мненията за професионалното ниво на специалист често се различават значително. В реалната практика вземащият решение се стреми или да формира мнение за професионалното ниво на кандидат за експерт, или го доверява на тези, на които е поверено организирането на изпита. Следователно, при липса на възможности и опит в организирането и провеждането на изпити, има смисъл да се обърнете към услугите на независими експертни центрове, информационни и аналитични центрове и т.н., чиито основни задачи са да анализират ситуацията, да оценят обектите на експертиза , подготвят и оценяват алтернативни решения.

При оценката на качествата на експерт е необходимо да се вземат предвид неговите професионални познания, опит и ефективност на работа като част от експертни комисии. Има много начини за оценка на качествата на експерт, всеки от които може да се използва успешно в конкретен случай. Те са разделени на три основни групи:

априори;

a posteriori;

тест.

Априори се наричат ​​методи за оценка на качествата на експерт, при които не се използва информация за резултатите от участието му в предишни изпити.

А posteriori се наричат ​​методи за оценка на качествата на експерт въз основа на информация за резултатите от участието му в предишни изследвания.

Методите за изпитване са методи за оценка на качествата на експерт, включващи специален тест.

Априорни методи за оценка на експерт.Тази група включва преди всичко най-често срещаните методи за самооценка, чиято същност е, че самият експерт оценява своите качества. В този случай могат да се използват следните методи:

самооценка по една от точковите скали (3, 5, 10 или 100 точки);

самооценка с помощта на словесно-цифрови скали, които наред с числовите стойности на градациите съдържат тяхното качествено описание;

самооценка по словесна скала, при която експертът дава словесна оценка на своите знания и опит, като използва за целта качествени градации по предварително разработена скала;

самооценка чрез диференциален метод, при който експерт оценява качествата си по два основни частни критерия: критерий, който характеризира познаването му с основните източници на информация в тази област (например специални местни и чуждестранни периодични издания, патентна информация, в - домашна информация и др.); и т.н.) и критерий, който характеризира познаването на обекта на експертиза (например познаване на спецификата на индустрията, конкретно предприятие, запознаване с мостри на продукти и др.).

В този случай комплексната самооценка на експерта се изчислява по формулата:

ДА СЕдо = ( ДА СЕи +ß ДА СЕз) / 2,

където ДА СЕ k - комплексна самооценка на експерта, ДА СЕи - коефициент на информираност (в части от единица), ДА СЕ h - коефициент на запознаване с проблема, ß - коефициент на тежест.

Повече подробности за измерването на показателите и видовете скали ще бъдат разгледани в следващата тема.

Точността на методите за самооценка е донякъде противоречива. От една страна, никой по-добър от самия експерт не представя съвкупността от знания и опит, които притежава. От друга страна, човек най-много греши, когато оценява собствените си възможности.

Друга група априорни методи за оценка на качествата на експерт включва методи за взаимна оценка, използването на които предполага, че експертите се оценяват взаимно. Най-често срещаният от тях е методът на експертния списък. Процедурата за прилагането му е следната. Всеки от експертите съставя списък със специалисти, които счита за компетентни в тази област. След това на базата на тези списъци се изчислява коефициентът на компетентност на експерта - съотношението на броя на списъците, в които присъства този специалист, към общия брой съставени списъци.

Сред априорните методи за оценка на качествата на експерт е и най-разпространеният документален или анкетен метод. За да се оценят определени качества на специалист, се предлага да се използват обективни характеристики, които имат документални доказателства, например: трудов стаж, академична степен, академично звание, заемана длъжност, брой публикации, индекс на цитиране и др. В същото време трябва да се има предвид, че само въз основа на тези обективни фактори е невъзможно да се оцени адекватно пригодността и полезността на участието на експерт в работата на определена експертна група.

Апостериорни методи за оценка.Тези методи включват използването на резултатите от неговото участие в предишни проучвания при оценка на качествата на експерт. С тяхна помощ до известна степен могат да се идентифицират качества като съответствие, опортюнизъм, експертна компетентност. По-специално, методът на двойните сравнения може да се използва за оценка на нивото на компетентност на специалист. Същността му се крие във факта, че на експерта се представят последователно двойки сравнени обекти на оценка и той избира от всяка двойка най-предпочитания обект от негова гледна точка. След представяне на всички двойки, анализаторите разполагат с информация за сравнителните предпочитания на експерта по отношение на оценяваните обекти. В този случай може да възникне ситуация, когато при директно сравнение първият обект е за предпочитане пред втория, вторият е за предпочитане пред третия, но в същото време третият обект е за предпочитане пред първия, т.е. има очевидно противоречие. В реалната практика подобни противоречия (разбира се, в по-дълги вериги за сравнение) не се случват толкова рядко. Естествено, колкото по-малко противоречия в оценките на експерта, толкова по-оправдана е неговата компетентност.

Апостериорният метод включва и оценка на надеждността на експертните преценки. Като критерий за оценка на такава надеждност се използва коефициентът на надеждност - относителната честота на случаите, в които експертът приписва най-висока вероятност на последващо потвърдени събития. При използването на този метод се изчислява и средната стойност на коефициента на надеждност на експертната комисия и с нея се сравняват индивидуалните коефициенти на експертите.

Друг метод за апостериорна оценка е методът на отклонение от получената групова оценка.Този метод се основава на изчисляване на коефициента на отклонение - Ko.

ДА СЕoi = Doi / дмакс ,

където За да- коефициент на отклонение на преценките на i-то вещо лице, Doi- отклонение на индивидуалната оценка на i-тия експерт от получената оценка, д max - максималното възможно отклонение на оценката на експерта от получената оценка.

Методи за изпитване за оценка на качествата на експерт.Тяхната същност е изпълнението от предметния експерт на предварително подготвена задача. Тези методи са добре познати, т.к се използват широко за определяне на професионалната пригодност на специалисти в различни области на дейност. Предимството на тези методи е, че те позволяват не само да се установи дали експертът притежава определено професионално ниво, но и да се идентифицират уменията и опитът, необходими за продуктивно участие в работата на експертна комисия. Трябва обаче да се помни, че провеждането на тестови експерименти изисква спазване на следното важни правила:

Тестът трябва да бъде проектиран специално за конкретни обекти на партньорска проверка;

· истински ценностипараметрите, които се оценяват (верните отговори), трябва да са известни на аналитичната група, провеждаща теста, но неизвестни на тествания експерт;

· Трябва да се разработи скала за определяне на точността на оценките, дадени от експерт;

Вероятността за произволно отгатване на истинската оценка трябва да е много малка.

Използването на тестови методи дава възможност да се оцени такъв важен професионално качествоексперт като възпроизводимост на експертните оценки. За да направите това, се провеждат няколко тестови експеримента, които са близки до условията на истинско изследване. В същото време интервалът от време между тях трябва да е достатъчен, за да може субектът да забрави резултатите от предишния. След това получените резултати се сравняват един с друг. По-стабилните (възпроизводими) оценки на експерт показват както неговата по-голяма професионална компетентност, така и по-голямата му пригодност за участие в експертната комисия.

Експертни методи - методи за оценка, извършени от група експерти при условия на несигурност или риск.

Експертни методи се използват за определяне на номенклатурата на качествените показатели, техните тегловни коефициенти, за измерване на качествени показатели и оценката им по органолептичен метод. Оценката на показателите за качество чрез измерване, регистрация, методи на изчисление се използва за определяне на комплексните показатели за качество на различни нива от йерархията.

Предназначен за експертна оценка на стоки в случаите, когато други изброени по-рано методи са неприложими или неикономични.

Експертните методи се основават на вземане на евристични решения, които се основават на знанията и опита, натрупани от експерти в определена област в миналото.

Експертните методи имат определени предимства и недостатъци.

Предимствата са, че позволяват вземането на решения, когато обективните методи не реагират. Други предимства включват тяхната възстановимост. Обхватът на тези методи е не само оценката на качеството на стоките, но и изследването на операциите на технологичния цикъл, вземането на решения, управлението, прогнозирането.

Експертните методи, прилагани от квалифицирани експерти, позволяват точна оценка на стоките. Проведените експерименти показват, че при правилния метод на експертна оценка грешката на резултатите е 5-10%, което е позволено за методи на измерване. Резултатите от експертни оценки, получени експериментално в различни групи експерти, показаха тяхната доста висока възстановимост.

Недостатъците на експертните методи включват субективност, ограничено приложение, високи разходи за тяхното прилагане.

Субективизмът на експертните методи е следствие от факта, че експертната оценка се извършва от всеки експерт поотделно и според Е. П. Райхман и Г. Г. Азгалдов е „нищо друго освен неговата психологическа реакция към физико-химичните характеристики на продукта“. Трябва обаче да се има предвид, че експертната оценка се състои от мненията на няколко експерти, всеки от които е не само специалист в определена област на знанието, но и потребител. Следователно експертната оценка до известна степен отразява мненията на потребителите, което не може да се направи с други методи.

Поради значителна субективност, експертните методи имат определени ограничения. използването им е рационално в два случая: първо, когато поставените пред експертите цели не могат да бъдат решени с други методи; второ, когато наличните алтернативни методи дават по-малко точни и надеждни резултати или са свързани с високи разходи.

За да се премахне този недостатък, експертни методи по време на стокова експертизакомбинирано с други методи. Най-често експертни и органолептични методи се използват заедно. Освен това при разработването на органолептични скали за оценка, избора на номенклатура от показатели за качество и определяне на тегловни коефициенти, експертните методи са незаменими.

Експертните методи се разделят на три подгрупи: 1) методи за групово проучване на експерти; 2) математически и статистически методи за обработка на експертни оценки 3) методи за експертна оценка на показателите за качество.

Всяка група експертни методи от своя страна е разделена на видове и разновидности. Класификацията на експертните методи е показана на фиг. 1.3.

Ориз. 1.3. v

Методи на групово проучване на експерти - методи, базирани на провеждане на проучване на група експерти с последващ анализ и обработка на получената от тях информация.

Целта на тези методи е да се получи групово експертно мнение за вземане на окончателни решения.

Обосновката за избора е необходимостта да се вземат сложни решения в ситуация на несигурност или да се направи научно обоснована прогноза, която изисква участието на група от независими и компетентни специалисти в тясна област или много области на знанието (например знанието на хомогенна група стоки или всички хранителни продукти).

Основните предимства на груповата експертна оценка са възможността за цялостен анализ на количествените и качествените аспекти на проблемите за определяне и/или прогнозиране на индивидуалните характеристики на стоките или тяхната комбинация. Взаимодействието между експертите позволява значително да се увеличи обемът на общата информация, притежавана от група експерти, в сравнение с информацията на всеки член на групата. Освен това, броят на факторите, взети предвид при груповата оценка и влияещи върху ефективността на взетото решение, е по-голям от сбора на факторите, взети предвид от един експерт. При груповата оценка има по-малко грешки при вземането на основни решения и показатели, които не са от съществено значение за решаването на проблема. Така важно предимствогруповата оценка е възможността за получаване на обобщен резултат.

Недостатъците на груповите оценки включват: трудности при получаване на надеждна и последователна оценка; получаване на неравностойни отговори на един и същ въпрос с голяма разлика в мненията поради различната компетентност на експертите; получаването на недвусмислени отговори не гарантира тяхната валидност и надеждност и това не може да бъде проверено по време на изпита; повече невярна информация от група експерти, отколкото от отделен експерт може да доведе до значителни грешки в крайните резултати; възможността за конфронтация, когато отделни експерти поради несигурност или други причини могат да се съгласят с мнението на мнозинството.

Въпреки посочени недостатъци, експериментално е установено, че при определени изисквания груповата оценка е по-надеждна от индивидуалната. Тези изисквания включват: приемливо разпределение на оценките; групова надеждност; подготовка за изпит.

Ефективността на изследването зависи от точността и надеждността на получените резултати, тоест от използваните методи и от квалификацията на експерта. Изборът на експерт е трудна задача, най-често се вземат предвид няколко личностни характеристики: компетентност - професионална и квалиметрична, интерес на експерта към резултатите от проверката, отношение към бизнеса, обективност. Почти не се вземат предвид такива черти като апетит за риск и други психологически характеристики.

Все още не е разработен системен подход за оценка на качеството на експерт; съществуващите методи за оценка са разделени на пет групи:

евристичен;

Статистически - оценки, които се получават в резултат на анализа на експертни оценки с определяне на отклонения от средните стойности;

Тест - оценки, получени в резултат на изпълнение на тестови задачи от експерти;

Документални - оценки за компетентност, получени при анализ на индивидуални документални данни от извършени експертизи;

Комбинирани - оценки, получени по време на анализа на данните, получени чрез комбиниране на горните методи.

Евристичен оценките включват самооценка и оценка, направена от екип от експерти. Самочувствието най-често е субективно; за намаляване на субективността се използва точкова скала за индивидуални свойства на експерт. Самооценката се извършва според видовете стоки и показателите за качество, например естетиката на продуктите, експертът се оценява чрез разпит. Въпросникът включва честотата на запознаване със съвременните домашни и чужда литература, със съвременни продуктови мостри, с резултатите от социологически проучвания.

Като вид самооценка се използва методът на оценка чрез разсъждение и запознаване с продуктите, които се анализират. Оценяването се извършва с помощта на въпросник с определяне на коефициента на компетентност.

Чрез тестови оценки възможно е да се оценят такива важни свойства на експерт като квалиметрична и професионална компетентност, обективност. Квалиметричната компетентност при извършване на органолептична оценка се състои в многократно проучване на експерти за неколкократно определяне на тегловните коефициенти и определяне на надеждността на оценките.

Професионалната компетентност се тества под формата на контрол, способност за използване на различни видове скали за оценка - ред, връзки, интервали, както и способност за разграничаване на значителен брой характеристики, градации при оценка на свойствата на анализирания продукт .

С участието на експерти в колективна оценка и обсъждане се наблюдава явлението конформизъм, тоест експертът попада под влиянието на заключенията на други експерти, което се отразява негативно на формирането на обективна оценка на експерта. Следователно умението за придържане към мнението и защита на заключенията е от положително значение при изследването по колективен метод и формирането на обективна оценка.

Експертни методи оценките на качеството се основават на използването на експертни мнения. Те се използват, когато е невъзможно или нецелесъобразно, неикономично да се използват методи за измерване или изчисление. Това се случва при липса на информация, необходимост от използване и разработване на специални технически средства, при оценка на показателите за естетично качество и други подобни. Експертните методи могат да се комбинират с други методи или да се използват като самостоятелен вид при оценка на качеството на нормативната документация за продукти и продукти, определяне на обхвата на показателите и техните теглови коефициенти, при избор на основни образци и показатели за качество, при определяне и измерване на показатели за качество по органолептичен метод, през времето за оценка на единични и комплексни качествени показатели, определени по метода на измерване или изчисляване.

В основата на експертната оценка на качеството е обективната социална полезност на продуктите, която отразява неговата модерност. Мнението за качеството на продуктите, изразено от квалифициран експерт, отговаря на обществените нужди и съвпада с мнението на масовия потребител.

При избора на продукт обаче потребителят се придържа към консервативна позиция и внимателно приема новите продукти, а понякога изобщо не ги възприема. Според мнението на експертите за качеството на стоките се обобщава набор от мнения на потребителите на продукти. Проучванията показват, че оценките за качество на стоките на експертите съвпадат с оценките за качеството на продуктите, получени по време на масово проучване на потребителите. Определянето на точността на експертните изследвания за съответствие с методиката на изследването показа, че тя е 5-10%.

По отношение на качеството на продукта, неговите потребителски свойства се използват експертни методи в такива случаи:

Определяне на номенклатурата на показателите при прегледа;

Избор на критерии за оценка на продукт или продукт и поставяне на индикатори по принципа на йерархията;

Определяне на тегловни коефициенти на качествени показатели за определяне нивото на качество на продукт, стока;

Изучаване на показателите по органолептичен метод с помощта на методите за тяхното количествено изразяване;

Оценка на показателите за качество чрез измерване, регистрация, методи за изчисляване за определяне на комплексни показатели за качество на различни нива от йерархията.

Най-често използваните експертни методи са:

Водещ експерт (единичен);

комисионни;

комбинирани.

Водещият експертен метод дава възможност за бързо провеждане на изследване, намаляване на времето за процедурата за координиране и обсъждане и статистическа обработка на данните от членовете на групата. Въпреки това резултатите от изпит, проведен от един експерт, зависят от нивото на неговите професионални познания, личност и ниво на компетентност.

Методът на експертните комисии включва участието на група специалисти, които извършват анализ и оценка. Този метод ви позволява да получите надеждни, обективни резултати, но изисква значителна инвестиция на време в подготовката и организацията на изследването. Броят на експертите, които формират комисията, зависи от необходимата точност и достоверност на резултатите от изследването. Експертната комисия се състои от две групи – работна и експертна. Работната група изготвя, организира и провежда експертна оценка на качеството на продукта, последвана от анализ на резултатите от нея. Работната група включва организатор, консултант, който има професионални познания за продуктите, а техническите работници ги оценяват. Експертната група може да се състои от няколко подгрупи, всяка от които е специализирана в решаването на съответните задачи - определяне на номенклатурата на показателите, оценка на отделни групи показатели и др.

В някои случаи се използва комбинираният метод, който се основава на последователното използване на работата на водещ експерт и малък брой експертни комисии.

В Общата класификация няма експертни методи. Въпреки това се използва класификация в зависимост от съотношението на количеството данни, получени чрез експертен или аналитичен метод, метода за получаване на информация от експерт и някои други фактори.

В зависимост от метода за получаване на информация от експерт се разграничават следните методи:

Колективна;

Индивидуален.

При колективен метод технически работник провежда проучване на цялата група експерти наведнъж, с индивидуален метод, всеки експерт поотделно. За да се получат надеждни резултати, е необходимо ясно и правилно да се поставят целта и задачите на експерта, с груповия метод е трудно, но възможно с постоянно формирана група. При индивидуален метод се използват интервюта, анкети за интервю, въпросници, смесени въпросници. Проучванията могат да се провеждат лице в лице и чрез кореспонденция. При метода лице в лице експертът изразява своите преценки пред лицето, което провежда анкетата. При дистанционна анкета няма контакт между тях и експертът сам попълва въпросника или анкетната карта.

По време на интервюто техническият работник прави бележка под формата на разговор, който преминава през програмата и конкретен списък с въпроси. По време на въпросника за интервю списъкът с въпроси е по-специфичен, насочен, последователността на въпросите е строго дефинирана. Анкетата се попълва в присъствието на експерт.

Разпитът е различен по това, че експертът самостоятелно попълва въпросника, като има обяснителна бележка за попълването му. Смесеният въпрос включва предварително обяснение на експерта относно попълването на въпросника с уточняване на задачата.

По информативност най-големи възможности имат методите на интервюто, интервютата - въпросници, и анкетните карти. Най-голямата независимост на преценките е характерна за метода на въпросника.

За решения трудни ситуациинесигурност или при формирането на научно-техническа прогноза, проверката изисква участието на група ерудирани специалисти, които са добре запознати с много области на знанието. Основното предимство на колективната оценка е във възможността за цялостен анализ на количествените и качествените аспекти на проблемите. Има проблеми, които не могат да бъдат решени без участието на специалисти. Приема се, че мнението на група експерти е по-надеждно от мнението на отделно лице, тоест две групи от еднакво компетентни експерти са по-склонни да намерят обективно решение.

Комбинацията от операции за подготовка и провеждане на проучвания на експерти, както и технически операции, направи възможно създаването на няколко експертни метода, които получиха най-голямо признание и разпространение. Те включват Delphi, PATTERN и комбинираните методи.

Делфи метод (в някои източници - Delphi) - метод за интервюиране на експерти, базиран на последователно прилагани процедури, които имат за цел формиране на групово мнение за процедури с недостатъчна информация.

Методът Delphi е разработен в американската изследователска компания RAND Corporation от W. Helmer, N. Dolki и T. Gordon. Използван е за военно научно и техническо прогнозиране на бъдещето. Терминът Делфи идва от името на града в Гърция, където оракулите са живели в храма на бог Аполон.

Характеристиките на метода Delphi са: отказ от съвместна работа на експерти; анонимност на оценките; регулируема обратна връзка; групов отговор.

Отказът от съвместна работа на експертите и анонимността се постигат от факта, че всеки експерт изразява мнението си във въпросника, без групова дискусия. Използват се и други техники на индивидуално проучване, например отговорите на въпроси се въвеждат от експерти в компютър. Това ви позволява да намалите несъответствието между индивидуалните оценки и да получите групов отговор, който правилно отразява мнението на всеки експерт.

Анонимността на анкетата намалява съответствието на авторитарното влияние на отделните доминиращи експерти, регулираната обратна връзка намалява влиянието на индивидуални и групови интереси. Въвеждането на обратна връзка също повишава критерия за обективност и надеждност на оценките.

При използването на този метод за целите на експертна оценка на качеството на потребителските стоки се появяват следните недостатъци: сложността на интервюирането на експерти и попълването на въпросници, сложността на оценката поради големия брой показатели за качество (понякога до 20 -40) и попълване на няколко въпросника (3-10), тромави записи с обяснения поради липсата на пряк контакт между организатора и експертите.

Методът е перспективен за получаване на групова експертна оценка и задълбочен анализ на събития в ситуации на несигурност.

PATTERN метод - метод за интервюиране на експерти, основан на изграждане на йерархична структура - дърво от цели - и вземане на решение за тези цели след открита дискусия.

Името на метода се състои от първите букви на английските думи, което означава „Подпомагане на планирането чрез количествено определяне на технически данни“.

Методът е разработен от американската компания "Honquell" за оценка на проекти на нови оръжейни системи. Методът има аналози: PROFILE, във Франция - KPI метод, PROPLEN и др.

Методът PATTERN включва няколко етапа.

I етап - формулирането на основния проблем, който трябва да бъде решен, и разделянето му на редица второстепенни задачи от първи, втори и т.н. ред, които след това се разделят на по-тесни задачи. Разделянето продължава, докато се получат прости елементи, които могат да бъдат оценени от експерти.

В резултат на това разделение се получава йерархична структура от основни, второстепенни проблеми и задачи, свързани помежду си, наречена дърво на целите.

II етап - определяне с помощта на експерти на коефициентите на тежест (или значимост) на всяка задача спрямо основната цел, докато експертите вземат решение след открито обсъждане в експертната група.

Такава открита дискусия, наред с положителен фактор - взаимодействието на експерти, които се стремят да вземат положително решение - също има Отрицателни последиципоради съответствие, т.е. изкривяване на действителното мнение на експертите поради внушение или адаптиране към мнението на мнозинството.

III етап - използването на компютри за обработка на получените данни и техния анализ. Предимството на метода PATTERN е опростяването на процедурата на експертно проучване. Недостатъци: липса на обосновка за оптимален брой членове на експертната група, както и методика за подбор на компетентни специалисти за експертната група; обработка на резултатите от анкетата, без да се вземат предвид различията като отделни експерти; липса на бариери за проява на експертно съответствие; недостатъчно развитие и неопределеност на принципите за изграждане на дърво от цели.

Тъй като методите Delphi и PATTERN имат значителни недостатъци и не отговарят напълно на целите на партньорската проверка, Oe. L. Raikhman и G. G. Azgaldov предложиха комбиниран метод, при който бяха използвани положителните характеристики на други експертни методи и бяха изключени техните недостатъци.

Комбиниран метод - метод, базиран на комбинация от индивидуални и колективни експертни оценки.

Предимствата на комбинирания метод са достатъчна гъвкавост, която позволява да се отстранят грешките при интервюиране на експерти и да се повиши надеждността на резултатите от изследването, ясно дефиниране на стратегията чрез класифициране на задачите според степента на значимост и операциите за тяхното изпълнение, висока възпроизводимост на резултатите.

Недостатъците на метода включват богата операция, която изисква значителна инвестиция на време и пари. Този недостатък обаче се компенсира с повишена надеждност и възстановяване на резултатите.

За оценка на качеството на стоките, комбинираният метод има общ алгоритъмекспертни операции:

1. Подготвителен етап:

Формиране на работна група;

Формиране на експертна група;

Класификация на продуктите и потребителите;

Сграда блокова диаграмапоказатели за качество.

2. Етап на получаване на индивидуални експертни оценки:

Избор на процедурата за възлагане на оценки от експерти;

Избор на метод за получаване на информация от експерт и изготвяне на документи, необходими за проучването;

Проучване на експерти.

3. Етап на получаване на колективни експертни оценки:

Обобщения на индивидуални експертни оценки;

Определяне последователността на индивидуалните експертни оценки;

Определяне на обективността на колективните експертни оценки.

За всеки етап има съответни задачи. По време на подготвителна фазарешават се задачи като определяне на функциите и структурата на работната група, нейния количествен състав и задълженията на отделните членове. Определят се и се разработват принципите за формиране на експертна група: по отношение на броя на експертите, тяхната професионална подготовка и др.

На втория етап се определя техниката на интервюиране на експерти, оценява се наличието на контакт между експертите, методът на предаване на информация и формата на експертни оценки. Експертите могат да определят резултатите самостоятелно или след обсъждане с други експерти или запознаване с анонимни експерти. Резултатите са обосновани, количествено и дихотомични, като отговорите се дават под формата на „да“, „не“ или 0-1.

Рационалното използване на информацията, получена от експерти, е възможно, ако се преобразува във форма, удобна за анализ, подготовка и вземане на решения. Възможностите за преобразуване на информацията в подходящи форми зависят от специфичните характеристики на обекта, пълнотата на данните за него, надеждността, нивото на вземане на решения, както и от приетия критерий в зависимост от изследвания проблем.

Един от елементите, общи за много експертни методи, е коефициентът на тегло.

Коефициентът на тежест е количествена характеристика на степента на значимост на конкретен показател за оценка на качеството.

Определянето на тегловните коефициенти на качествените показатели се извършва по експертен метод. Коефициентите на тежест имат за цел да повишат надеждността на експертната оценка на качеството на стоките.

Всеки показател заема определено място в номенклатурата на показателите за качество по важност. Експертите подреждат показателите според степента на значимост на базата на професионални знания и умения. Освен това всеки квалифициран експерт се стреми да оцени показателите за качество на изследваните стоки от гледна точка на масовия потребител.

Ако експертът има способността да сравнява и оценява възможните варианти за действие, като дава на всеки от тях определен брой, тогава той има определена система или скала от предпочитания. Правилно приложениескалите са от съществено значение за гарантиране на точността на експертните оценки. Има следните видове везни: номинално, порядково, интервал, отношения. Но скалата на поръчката има най-големи предимства пред останалите поради относителната простота на експертната оценка на показателите за качество по отношение на значимостта. Характеристиките на скалите са дадени в табл. 1.1.

Номинална скала за имена използвани за разграничаване на един обект от друг. Обектите трябва да бъдат номерирани, но числата показват обекта, а не неговите количествени характеристики. Това е по-прост тип измерване, което използва само числа или символи за класифициране на обекти. Везната може да се използва за цифрово кодиране на отделни имоти във въпросници, за определяне на тегловни коефициенти.

Редна скала (рангове) - такъв метод за оценка, при който параметрите, показателите или обектите, които се оценяват, са подредени в реда на нарастване или намаляване на показателя на параметъра (индикатора) или свойствата на обекта. Класически пример за оценка с помощта на порядкова скала е оценката на твърдостта на минералите по скалата на Mops (скалата за относителна твърдост се състои от 10 стандарта за твърдост, като твърдостта на талка се приема за 1, диаманта - 10). Този метод може да се използва за определяне на интензивността на цвета на брашното, аромата на плодови сокове, букета от вина, текстурата на сирената. Редовната скала има предимства, когато се използва за определяне на коефициенти на тежест, тъй като опростява процеса на поръчване на показатели за качество по отношение на важността за потребителите.

маса 1.1. Видове скали и техните характеристики

Тип скала	Дефиниция на мащаба	Взаимоотношения, поставени на кантара
Оценено	Прост тип измерване, който използва числа или символи само за класифициране на обекти.	Еквивалентност (=)
Пореден (ранг)	Обектите от един клас са в съответна връзка с 3 обекта от друг клас (повече от, повече предимства, по-силни и т.н.). Ако [A]>[B] за някои обекти от класове A и B, тогава има частично подреден мащаб.	Еквивалентност (=). По-голямо от (>).
Интервал	Ординалната скала, която е разделена на известни разстояния между произволни две числа на скалата, нулевата точка на скалата и мерната единица се избират произволно.	Еквивалентност (=) По-голяма от (>). Известно е съотношението на всеки два интервала.
Отношения	Интервална скала, използваща истинска нулева точка, съотношението на всеки две точки е независимо от единицата.	Еквивалентност (=). По-голямо от (>). Дефинира се съотношението на всеки два интервала. Връзката между произволни две точки е определена.

При определяне на тегловните коефициенти на показателите за качество експертите първо оценяват най-важния от тези показатели (според тяхно мнение) и му приписват определен брой, например 1. Всички следващи показатели се оценяват в намаляващ или нарастващ ред по важност.

След това данните на всички експерти се осредняват за всеки показател.

В практиката за оценка на качеството на стоките често се използва метод за определяне на тегловни коефициенти, наречен „метод с фиксирана сума”. Същността му се крие във факта, че експертите определят коефициент на тежест за показателите, включени в индикатора на горното ниво, като сумата от тези коефициенти трябва да бъде равна на предварително определено число.

„Методът с фиксирана сума” е целесъобразно да се използва само за малък брой показатели.

Практическият опит показва, че е препоръчително да се приложи следната процедура за определяне на тегловните коефициенти при експертната оценка на качеството на стоките.

1. Предварително класиране от експерти на показатели от хомогенна група. Ранг 1 се присвоява на най-важния индикатор, 2 - на следващия по важност и т. н. Ако индикаторите са еквивалентни по важност, тогава им се присвояват едни и същи рангове. Броят на индикаторите в една хомогенна група трябва да бъде 4 или повече. Ако броят е по-малък, класирането не се извършва.

2. Определяне от експерти на коефициенти на тежест на показателите. На индикатор от 1-ви ранг се приписва коефициент на тежест 10. Коефициентът на тежест на следващия по важност индикатор се определя като съотношение на значимостта на първия показател. При определяне на третия и следващите показатели се взема предвид тяхното значение в сравнение с предишните. В резултат на тези последователни действия експертът определя тегловните коефициенти на единични, а след това и комплексни показатели за качество.

3. Запознаване на експертите със стойностите на тегловните коефициенти (техните обосновки), определени от други експерти.

Обосновката на тегловните коефициенти е много трудоемка операция, поради което се използва с ограничен брой показатели (около 10-15). В противен случай експертите се приканват да дават обосновка само за някои показатели по своя преценка.

4. Осредняване на стойностите на тегловните коефициенти, определени от всички експерти. Извършва се от технически работници чрез изчисляване на средноаритметичната или среднопретеглената.В последния случай се взема предвид цялостна оценка на качеството на експерта.

Недостатъците на скалата са неточността на оценките за класиране поради липсата на уравнение за интервали, невъзможността да се изчисли дори средноаритметичната стойност.

Интервална скала. Това е такъв метод за оценка, при който съществената характеристика е разликата между стойностите на оценените параметри, която може да бъде изразена с броя на единиците, предвидени за тази скала. С помощта на такава скала обектите се подреждат, като също така се установява в определени единици колко един обект е по-голям от другия. Пример за интервална скала е скалата на Целзий, която е разделена на 100 равни интервала и се използва за характеризиране на такива свойства на продукта, които са свързани с температурни условия, например, устойчивост на замръзване на синтетична кожа, минимална температура на фризера в хладилника.

Скала на взаимоотношенията ви позволява да постигнете най-високо ниво на измерване. Това е метод за оценка, който използва мерна единица, използва се за повечето параметри, които са физически величини: размер, тегло, плътност, сила, напрежение, честота и други подобни. Резултатите от измерване на мащаба имат свойствата на числа, които могат да бъдат подложени на статистическа обработка. Пример за такава скала е температурната скала на Келвин, която започва от абсолютна нула.

При сравняване на скалата на интервалите и съотношенията се установи, че с помощта на последните се получават по-точни резултати. В допълнение, резултатите, получени от интервалната скала, могат да се използват за изчисляване на среднопретеглени стойности, чиито изчисления са типични за експериментални проучвания. Скалата на съотношението може да бъде основа за експертния метод, скалата на поръчката може да се използва с достатъчна обосновка.

В практиката на партньорската проверка се използват два основни типа скали – размерни и безразмерни. Данните на безразмерните скали се изразяват във части от единица, проценти, точки.

Математическите и статистически методи за обработка на експертни оценки са методи, предназначени да повишат надеждността на резултатите от оценката на качеството на стоките от експерти.

Те са разделени на четири подгрупи: класиране, директна оценка, последователни предпочитания и сравнения по двойки.

Обхват - метод, основан на подреждането на предметите на експертиза във възходящ или низходящ ред.

Проектиран за решаване на много практически проблеми, когато обектите, които определят крайните резултати, не подлежат на директно измерване. Освен това отделните обекти, характеризиращи се с различна природа, са несъвместими, тъй като нямат обща мярка за сравнение. Основата за класиране е необходимостта да се поръча всеки обект във времето и пространството, както и в съответствие с измеримото качество, без да се правят прецизни измервания. И накрая, в ситуация, в която качеството, което се измерва, по принцип не може да бъде измерено по практически и теоретични причини.

Процедурата по класиране се състои в поставяне на обекти от експерт в най-рационалния ред и присвояването им на определен ранг под формата на естествено число. В този случай най-важният обект получава ранг 1, а най-малко важният получава ранг n. В резултат на това се получава порядкова скала, в която броят на ранговете е равен на броя на обектите.Ако два обекта имат еднакви рангове, тогава им се приписват така наречените стандартизирани рангове, които се изчисляват като средна стойност от сбор от местата на обекти със същия ранг.

Например на шест обекта се присвояват следните рангове:

Обекти 2 и 5 си поделиха 2-ро и 3-то място. техният стандартизиран ранг ще бъде

(2 + 3) /2 = 2,5.

Точки 3, 4 и 6 са изравнени за 4-то, 5-то и 6-то място, като стандартизираният им ранг е 5:

(4 4-5 + b) / 3 = 5. Резултатът е следното класиране:

Методът за класиране рядко се използва в чист вид. Най-често се комбинира с метода на директно оценяване или неговите модификации (класиране по сбор от оценките, комбиниран метод и др.).

Метод на директна оценка се състои във факта, че диапазонът на промяна на всяка количествена променлива е разделен на няколко интервала, на всеки от които се приписва определен резултат в точки, например от 0 до 10. Скалата за оценка може да бъде положителна и отрицателна, напр. от +3 до -3. Експертът трябва да включва всеки обект в определен интервал в зависимост от неговата стойност. Броят на интервалите, на които е разделен целият диапазон от промяна на качеството, може да бъде различен за различните експерти. На отделните експерти е позволено да оценяват качествено различни фактори с еднакъв брой.

В някои случаи е по-удобно първо да изберете най-предпочитания фактор за оценка и след това за класиране.

Общите оценки на ранговете могат да се нормализират, това ви позволява да установите по-тясна връзка между оценките, които експертите са предоставили на отделни обекти. За целта оценките за всички обекти се сумират и след това всеки от тях се разделя на получената сума. Изчислените по този начин нормализирани резултати могат да бъдат класирани отново.

При извършване на преглед от няколко експерти, те се стремят да получат средна оценка за всеки обект. За тази цел нормализираните оценки на всеки обект се сумират, получената сума се разделя на броя на експертите. Вторият начин за определяне на връзката между оценките на факторите е, че на най-важния фактор се дава оценка (задава се тежест) за определен брой от 1 или 10, следните фактори се оценяват като дял от най-важния фактор. Предимството на метода е, че опростява процеса на избор на оценки, тъй като не е необходимо всеки път да се сравнява цялата серия, а се взема предвид само стойността на първата и предишните оценки по важност. Оценките се осредняват чрез изчисляване на средноаритметичната стойност.

Метод на последователно предимство - въз основа на сравняване на отделен обект със сумата от последващи обекти, за да се установи неговата важност. използва се при измерване на нивото на качество, оценка на изпълнението научни организации. Методът има толкова голямо предимство пред другите методи, че дава възможност да се сравняват и измерват качествено различни фактори.

Методът е разработен от В. Чърчман и Г. Акоф и е предназначен за сравнения в рамките на определени толеранси.

Редът, в който са представени или групирани резултатите, не оказва влияние върху ползите.

Процедурата за последователни сравнения е както следва. На експерта се представят редица обекти (показатели, фактори, резултати), които трябва да бъдат оценени по относителната им важност (значимост), и той извършва класирането. На най-важния обект се приписва оценка, равна на 1, на останалите обекти - точки под 1 до 0 по реда на относителната им важност. След това експертът определя дали обектът с оценка 1 е по-важен от сбора на последните фактори. Ако важността на даден обект е голяма, тогава той увеличава резултата, така че да е по-голям от сбора на всички останали.

Ако стойността на даден обект е по-ниска от сумата на всички останали, той коригира оценките.

По този начин използваната процедура е систематично да се проверяват резултатите чрез последователното им сравняване.

Целесъобразно е да се приложи методът на последователните предпочитания, ако броят на сравняваните обекти не надвишава 7. Когато Повече ▼обекти, те трябва да бъдат разделени на подгрупи, които включват 6 обекта. Когато това не е възможно, трябва да се използват сравнения по двойки.

Метод за сравнение по двойки - въз основа на сравняване на предметите на експертиза по двойки, за да се установи най-важното във всяка двойка.

Използва се за идентифициране на предимства сред значителен брой фактори, проблеми, показатели. Експертите могат просто да направят сравнение с твърдение за превъзходството на един фактор над друг. Възможно е да се използва специална скала за предпочитания, където всяка степен на предимство има своя специфична оценка.

Методът на сравненията по двойки може да се използва и за установяване на общия ред на факторите.

За да се улесни процедурата, се съставят матрици от уравнения на двойки, в които всички обекти (фактори) се записват в един и същи ред два пъти: в горния ред и най-лявата колона. Всеки експерт трябва да постави на пресечната точка на реда и колоната оценка за двата сравнявани фактора. В зависимост от това кой фактор е най-важен, този резултат ще бъде равен съответно на 1 или 0. В главния диагонал на такава матрица се поставят тирета или нули (табл. 1.2).

маса 1.2.

Всяка двойка фактори може да се сравнява веднъж или два пъти. Има различни опции за частично сравняване по двойки: избор на предпочитания обект от предварително групирани двойки; частично двойно сравнение на една група обекти с всички останали, докато останалите фактори се сравняват с някои други; установяване на общия клас от фактори.

Методът за сравнение по двойки понякога се комбинира с предварително класиране на обекти, като сдвоеното сравнение се използва за изясняване на предимството на отделните обекти. В този случай се изгражда допълнителна матрица, която показва дела на случаите, при които един фактор е по-значим от другия, в общ бройполучени оценки.

Методи за експертна оценка на показателите за качество на продукта- това са методи за определяне на действителните стойности на единични и комплексни показатели за качество.

Предназначени за определяне на стойностите на индекса на качеството чрез изчисление или евристични средства в случаите, когато използването на методи за измерване е невъзможно или неикономично поради прекомерни разходи за тяхното прилагане или дълго време за тестване. Например при определяне на вкус и мирис хранителни продуктисе използват само органолептични методи. Методите за измерване не дават точна надеждна оценка, въпреки увеличените разходи.

За диференциална и комплексна оценка на проби, които се различават значително по качество, се препоръчва да се определи стойността на единичен индикатор P, както следва:

където P;5 е основата (референтна стойност).

Друг, по-точен метод се основава на изследване на показателите, за да се определят видовете зависимост и, т.е., за да се разработят формули за изчисляване на оценките на индикатора:

Оценка на единични показатели за качество започва с определяне на допустимите интервали за тяхното изменение (P; - P;) P; - най-добрата стойност на индикатора, превишаването на което е непрактично или невъзможно. Принципите за определяне на максимално допустимата стойност на даден индикатор зависят от целта на оценката на качеството, като е необходимо този принцип да бъде еднакъв за всички показатели.

Повишаването на надеждността на експертните оценки се постига чрез разделяне на сложни операции на прости, които съставляват многоетапна процедура за оценка на допустимите стойности на индикатора. Преходът към всяко следващо ниво се извършва след приемане на съгласувани решения по предходното.

Експертната процедура за определяне на приемливите стойности на показателите за качество се състои от редица операции:

издаване на въпросници и обяснителни бележки до експертите, които изброяват показателите за качество и описват принципите за избор на приемливи стойности на показателите;

попълване на въпросници от експерти и инструкции специфични моделипродукти, чиито стойности считат за максимално допустими;

запознаване на всеки експерт с оценките, посочени от други експерти, и тяхното обсъждане;

провеждане на втори (понякога трети и четвърти) кръг на проучването;

Осредняване на резултатите от оценката.

При значителна разлика в мненията се провежда допълнителен кръг от гласуване. Стойността на индикатора се приема за максимална, ако за него са подадени най-малко 70% от гласовете. Ако това условие не е изпълнено, средната стойност от 50% от най-големите pmax стойности се приема за максимална допустима стойност, средната от 50% от най-големите стойности се приема като минимална допустима стойност, стойностите се използват от експерти при определяне на оценките на показателите за качество K.

Да се ​​определи чрез експерти вида на зависимости (i) между стойността на показателите G; и техните оценки K често се използва " основен методточки". Необходимостта от използването му се дължи на факта, че разделянето на процедурата за оценка на няколко етапа опростява работата на експерта и му позволява да даде оценки на някои характерни точки, въз основа на които е възможно да се изгради модел от реалната стойност.

"Метод на основната точка" Има няколко разновидности в зависимост от броя им.

"Метод на трите основни точки" - базиран на разделяне на стойностите на показателите G; за максимални, минимални, средни стойности и определяне на стойностите на оценките P; в тези точки. Интервалът на скалата между максималната и минималната точка е предварително зададен (0-1 или 0-10 скали). Задачата на експерта включва и определяне на тенденцията на зависимостта в интервала между основните точки и графиката. След това, от графичната зависимост, можете да преминете към аналитичната формула за изчисляване на оценките на индикатора за качество Ki "Метод на трите основни точки" ви позволява да разработите само приблизителен модел за оценка.

"Метод на седемте основни точки" - метод за оценка на показатели по седемстепенна скала за оценка на показателите, чиито стойности се определят експериментално или чрез изчисление, както и по органолептичен метод.

Скалата от седем точки е еднородна, тоест при преминаване от един качествен клас в друг резултатът се променя с една точка. Тези скали са намерили широко приложение, особено в органолептичната оценка. За да получите по-точни резултати, трябва да преминете към определяне на вида на връзката между оценките и точките.

За да се улесни работата на експерт в обяснителна бележкаКъм въпросника са приложени пет графики. Експертът избира кривата (или комбинация от криви), която според него най-добре отразява естеството на зависимостта и След това на всеки качествен клас се присвоява оценка в съответствие с естеството на зависимостта и стойностите на качествените показатели. В този случай е препоръчително да използвате числа от порядъка на 0-10, кратни на 0,5, а класът "най-високо качество" получава оценка от 10.

По този начин, изградената от експерта графика характеризира връзката между абсолютните стойности на показателите Pi и техните оценки K;, а за показателите, оценени по органолептични методи, между класовете по качество и техните оценки.

В заключение получените резултати се обсъждат, обработват и анализират. За показатели, които се определят чрез методи за измерване и изчисление, е желателно да се даде аналитично описание на кривите, което дава възможност да се изчисли оценка за всякакви стойности на показателите.

Използването на „метода на главните точки“ дава възможност за групиране и класифициране на показателите според видовете зависимости.

Дефинирането на сложни показатели за качество се извършва по два вида методи:

методи за цялостна оценка на качеството на пробите на продуктите;

методи за изграждане на модели на комплексни показатели за качество.

Има две разновидности на интегрирани методи за оценка на качеството – експресният метод и методите за преминаване през нива без обучение и с обучение.

Експресни методи за цялостна оценка на качеството на пробите на продуктите се основават на определянето на комплексен показател за качество чрез анализиране на стойностите на отделните единични показатели и външния вид без тяхната предварителна оценка и отчитане на тегловните коефициенти.

При използването на тези методи трябва да се има предвид, че максималният брой оценени показатели, дори за висококвалифициран експерт, е 7-9 индикатора, разположени на едно и също ниво на йерархията, които съставляват доста хомогенна група. Освен това експертите трябва да вземат предвид важността на отделните показатели с помощта на коефициенти на тегло, връзката между тях, както и да разгледат качеството на продукта като система.

Методът за преминаване през нивата без подготовка е набор от операции, които се извършват последователно, с постепенно повишаване на нивото. В този случай анализът започва от долното ниво на индикаторното дърво. Отчитайки стойността на показателите от по-ниското ниво, експертът оценява показателите от по-високото ниво. Тези операции се повтарят с нарастващо ниво до достигане на горното ниво - цялостна (обобщена) оценка на качеството.

Метод за преминаване през нива с подготовка въз основа на предварително определяне от експерти на тегловните коефициенти на качествените показатели и техните оценки. При назначаване на комплексни оценки експертът знае средните стойности на коефициентите на тежест и оценките на отделните показатели. Процедурата за определяне на комплексни показатели е подобна на процедурата за метода за преминаване през нива без подготовка.

Формализиране на процеса на партньорска проверка е да се намери връзката между стойностите на качествените показатели G; (или техните оценки K) и индикатора за качество от по-високо ниво, т.е. при определяне на типа решаваща функция, която експертите използват при определяне на сложни показатели. В същото време решаващата функция, както всеки модел, опростява обекта на изследване, тъй като не всички показатели и връзките между тях се вземат предвид.

Изходните данни за определяне на вида на функцията могат да бъдат резултатите от оценка на качеството на различни проби чрез експресни методи или методи за преминаване през нива. След това определените от експертите оценки се свеждат до обща матрица, всеки ред от която е набор от оценки на отделни показатели на извадката и комплексни експертни оценки. Въз основа на това могат да се разработят машинни алгоритми и да се компилират програми за намиране на решаващите функции с помощта на компютър.

Количествените оценки, като бизнес и организационни качества на служителя, обикновено се правят с помощта на експертни оценки. В същото време, за да се характеризира кандидат за позиция, първо се установяват 6-7 критерия (като се вземат предвид спецификата на производството и условията на труд). Например:

1. способност за организиране и планиране на работата;

2. професионална компетентност;

3. съзнание за отговорност за извършената работа;

4. контактност и общителност;

5. способност за иновации;

6. старание и ефективност.

За всеки един от тези критерии, въз основа на проучване на дейността на кандидатите за позицията, се дава подходяща оценка по избрана, например, петобална скала (отличен - 5; добър - 4; задоволителен - 3; незадоволителен - 2; лошо - 1).

Резултатите от критериите обикновено са подредени във възходящ числов ред. Например, при оценяване според критерия "способност за организиране и планиране на работата":

"1" - явно неорганизиран работник и ръководител;

"2" - не знае как да организира и планира работата си и работата на подчинените си;

"3" - знае как да организира трудовия процес, но не винаги успешно планира работата;

„4” – знае как да организира и планира добре работата си и работата на подчинените си;

"5" - умее да създава и поддържа ясен ред в работата въз основа на ефективно планиране.

По своята значимост в цялостната оценка на кандидат за определена длъжност, определени качества винаги имат различен дял, който се установява с експертни средства. Например, определени стойности могат да бъдат приети за шестте критерия по-горе.

За определяне на цялостната оценка на бизнес и организационните качества на кандидат за ръководна длъжност се съставя специален лист за оценка.

Естествено, колкото по-висока е общата оценка за всяка група качества, толкова по-достоен е кандидатът да заеме позиция в управленския апарат. Най-високият възможен резултат е 5, а най-ниският е 1.

При оценката на бизнес качествата трябва да се вземат предвид образованието, трудовият опит и възрастта на служителя. Факт е, че образованието е една от основните качествени характеристики при определяне на нивото на квалификация на служителя, трудовият опит е количествена мярка за опит, а възрастта е взаимосвързана с трудовия стаж.

Данните за образованието на кандидата, неговия стаж и възраст се вземат предвид чрез изчисляване на коефициента на професионалните перспективи по формулата:

K \u003d Oy.arr. (1 + C/4 + B/18), където

О. обр. - оценка на нивото на образование, което обикновено се приема (е

0,15 за лица с незавършено средно образование;

0,60 - за лица със средно образование;

0,75 - за лица със средно техническо и непълно висше образование;

1.00 - за лица с висше образование по специалността си;

C - трудов стаж по специалността. В съответствие с препоръките на Научноизследователския институт по труда, той се разделя на 4 (поради факта, че, както е установено, опитът има 4 пъти по-малко влияние върху производителността на труда от образованието);

Б - възраст. В съответствие с препоръките на Научноизследователския институт по труда се дели на 18 (установено е, че влиянието на възрастта върху производителността на труда е 18 пъти по-малко от влиянието на образованието). В същото време за горна възрастова граница за мъжете се приема 55 години, а за жените 50 години.

На етапа на определяне на общата оценка на кандидат за позиция, стойността на коефициента на професионалните перспективи се добавя към общата оценка на бизнес и организационни качества. Съвсем очевидно е, че предпочитание се дава на кандидата, който в крайна сметка получи най-висока оценка, а освен това е необходимо да се вземат предвид и оценките, получени по същия начин за групи от лични качества.

Тестването чрез практика е безспорно от решаващо значение за оценката на всеки мениджърски работник. В тази връзка се препоръчва внимателно и търпеливо да се тестват и разпознават сред тях реални организатори, които съчетават интереса към въпроса със способността за установяване на съвместна работа на екип от хора. За да направите това, при работа с резерв от персонал за повишение, широко се практикува включването им във временното изпълнение на задълженията на лидер по време на неговото отсъствие, стажове и други форми и методи на практическа проверка. Но дори и в такива случаи резултатите от работата изискват обективни оценки.

Редица руски организации са натрупали положителен опит в оценката на управленския персонал. Същността на един от най-изпитаните и верни ефективни методие да използваме квалификацията, опита и интуицията на най-компетентните специалисти в своята сфера на работа – експерти. Най-важните условия за прилагане на този метод са осигуряването на анонимност на оценките, дадени от експерти, и валидността на подбора на състава на експертните комисии.

Ако анонимността се постига чрез специално разпитване или тестване, тогава валидността на подбора на експертите се състои в тяхната внимателна предварителна оценка, както и в методически компетентното и целенасочено формиране на количествения и качествения състав. Например, основните изисквания за експерт са неговата компетентност в управлението на производството, морал, дълбоки познания и призната способност да решава специални проблеми в съответствие с определени функции.

Едно от изискванията е да бъде добре запознат с една от свързаните специални области на дейност, например за технолог - в икономиката, за икономист - в технологиите, за прекия мениджър - в правни въпросии т.н. Традиционното изискване за формиране на група от експерти е тяхната способност да провеждат експертиза, като се вземат предвид различните аспекти на дейността на оценявания служител.

Основната опасност при подбора на състава на експертите е надценяването на дела на всяка подгрупа от експерти, които очевидно са близки по мнението си. Тази опасност се крие не само в едностранчивостта на оценката, но и във факта, че при обработка на експертни заключения всички останали оценки ще загубят значението си. По същата причина е нежелателно в експертната група да се включват специалисти, чийто авторитет се различава рязко от средния авторитет на членовете на комисията.

Експертните групи се използват по два начина – индивидуално или групово. Индивидуални, по-често срещани и ефективен метод, се крие във факта, че всеки експерт дава оценка анонимно и независимо от останалите, след което тези оценки се обобщават. Груповият метод се основава на съвместната работа на експерти и получаване на обобщена оценка от цялата група като цяло. При този метод съгласуването на индивидуалните оценки се съчетава с последователно запознаване на всеки експерт с оценките на останалите. С този метод е възможно да се спази изискването за анонимност, но с "хартиената технология" вече възникват трудности.

Груповият преглед включва следните задължителни стъпки:

Разработване на програма (избор на форма на групова преценка със списък от опции или оценки), препоръки, решения; разработване на принципи и методи за получаване на групова преценка;

Избор на техника на проучване или начини за идентифициране на индивидуални мнения;

Формиране на експертна група;

Провеждане на анкета на експерти;

Обработка на резултатите (получаване на групова преценка);

Анализ на резултатите.

Резултатът от работата на експертите е отразен в документа, чиито варианти могат да бъдат препоръки, обобщаващи оценки, решения. Най-публичната версия на дизайна на изпита е решението. Най-често срещаните са препоръките, но посочващи определени признаци за бъдещо решение.

Изборът, координацията и одобрението на експертни комисии обикновено се извършват от ръководителя на отдела за персонал и ръководителя на организацията (организацията). Ръководителят на отдел „Човешки ресурси” запознава експертите с методологията за оценка с помощта на научен консултант, който за първи път практически ръководи цялата работа. На ниво организация съставът на експертните комисии (комисия за оценка на ръководителите на управленския апарат, комисия за оценка на преки ръководители на производствени звена, комисия за оценка на специалисти от управленския апарат) обикновено включва 3-5, но не повече от 7 души. В същото време както оценяваното лице, така и неговият ръководител трябва да са сред експертите.

Въпросник за оценка за ръководител или специалист, експертна карта за сертифицирано лице, формуляр за резултатите от анкета на експерти за сертифицирано лице, както и формуляр за изчисляване на крайната оценка за сертифицирано лице - това са задължителни документи за почти всеки метод, независимо от метода на изчисление (ръчно или с помощта на компютър).

Основният инструмент за оценка е въпросник, който е специално разработен въпросник, който включва списък с определени качества и възможности за отговор. В същото време списъкът с качества, които трябва да притежава специалистът, зависи от обхвата на неговата дейност и позиция. Ето защо, правилният подбор на качествата, техният списък за всяка конкретна позиция, както и точкуването се препоръчва да бъдат установени от конкретна експертна комисия в организацията. Това е едно от най-важните условия за обективна оценка на служителя.

След обсъждане на резултатите всяка експертна комисия одобрява не само списъка с качества, които трябва да бъдат включени във въпросника, но и определя количествената оценка на всяко качество в точки. Например, във въпросника се препоръчват десет качества и всички те се оценяват по десетобална система за оценяване (вж. Таблица 1).

Маса 1.

Тези качества са разположени във въпросника в подредени редове – от повече към по-малко значими. В съответствие с това първата оценка се дава на сертифицираното лице. Той характеризира степента на важност на качеството. Втората оценка е оценка на степента на проява на същите качества на удостоверяваното лице по четири варианта на отговор. В същото време експертът трябва да установи колко често определеното качество се проявява у сертифицираното лице по следната точкова скала:

1. ако винаги - 1,5 точки;

2. ако в повечето случаи - 1 точка;

3. ако понякога - 0,5 точки;

4. ако почти никога - 0 точки.

При първата оценка в колоната срещу качеството и оценката му в точки се поставя знак "+". При втората оценка се поставя знак "+" в колоната, съответстваща на мнението на вещото лице.

Обработката на резултатите от оценката на удостоверяваното лице се извършва чрез попълване на специален формуляр - "Формуляр на резултатите от анкетата на експертите за лицето, което се сертифицира". За тази цел знаците "+" от предоставените от експертите въпросници се прехвърлят със знака "V" в този формуляр. В друга форма („Формуляр за изчисляване на средната оценка на сертифицираното лице“) за всяко качество средната оценка се изчислява по формулата:

Където Zav - средната оценка за оценка на качеството на степента на нейната функционална значимост;

Z10 ... 31 - оценка от експерта на степента на значимост на качеството по десетобална скала;

N10 ... n1 - броят на експертите, поставили оценка на качеството според степента на значимост (в точки);

В същото време в една и съща форма за всяко от качествата се изчислява средната оценка на степента на проявление на това качество в сертифицираното лице по формулата:

Където Psr - средната оценка на степента на проявление на качествата в сертифицираното лице;

P1.5 ... P0.5 - степента на проявление на качества в лицето, което се удостоверява според експерти;

N1.5 ... n0.5 - броят на експертите, които приписват качеството на степента на неговата проява в лицето, което се сертифицира, към една или друга оценка за оценка;

N е общият брой на експертите.

След това за всяко качество среднопретегленият резултат се определя по формулата:

K \u003d Zsr * Psr, където K е качеството.

Стандартът се изчислява по следния начин: сборът от точки за всички 10 качества (10+9+8+7+6+5+4+3+2+1 = 57) се умножава по 1,5 (коефициентът на степента на проявление на качество, ако винаги се появява ), или с 1,0 (ако се появява в повечето случаи), или с 0,5 (ако качеството понякога присъства). В резултат на това получаваме следните резултати:

1) 57 x 1,5 = 85,5;

2) 57 x 1,0 = 57,0;

3) 57 X 0,5 = 28,5.

Така в първия случай, ако резултатът на служителя е повече от 85 точки, те формулират заключение за неговото увеличение или включване в резерва за повишение. Във втория случай, ако резултатът е от 57 до 85 точки, се прави извод за пригодността на заеманата длъжност. В третия случай, ако резултатът е под 28 точки, се записва заключението, че служителят не отговаря на заеманата длъжност. В същото време фактът, че подробен анализоценките на експертите по качеството могат да помогнат да се определи за всеки служител конкретни посокиподобряване на дейността му.