ISO 11056:2021
(Main)Sensory analysis — Methodology — Magnitude estimation method
Sensory analysis — Methodology — Magnitude estimation method
This document specifies a method for applying magnitude estimation to the evaluation of sensory attributes. The methodology specified covers the training of assessors, and obtaining magnitude estimations as well as their statistical interpretation.
Analyse sensorielle — Méthodologie — Méthode d'estimation de la grandeur
Le présent document décrit une méthode permettant d’appliquer l’estimation de la grandeur à l’évaluation des propriétés sensorielles. La méthodologie spécifiée recouvre l’entraînement des sujets et l’obtention des estimations ainsi que leur interprétation statistique.
General Information
Relations
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 11056
Second edition
2021-05
Sensory analysis — Methodology —
Magnitude estimation method
Analyse sensorielle — Méthodologie — Méthode d'estimation de la
grandeur
Reference number
©
ISO 2021
© ISO 2021
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii © ISO 2021 – All rights reserved
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Principle . 2
5 General test conditions . 2
6 Selection and training of assessors . 3
6.1 General conditions for selection and training . 3
6.2 Training specific to the magnitude estimation method . 3
7 Number of assessors . 4
7.1 General . 4
7.2 Analytical and research panels . 4
7.3 Consumer panels . 5
8 Procedure. 5
8.1 Presentation of samples . 5
8.2 External reference sample . 5
8.3 Order of presentation of samples . 5
8.4 Magnitude estimations . 5
8.4.1 General. 5
8.4.2 Without fixed modulus for the external reference . 6
8.4.3 With fixed modulus for the external reference . 6
8.4.4 Without external reference . 6
9 Analysis of data . 7
9.1 Choice of data analysis method . 7
9.2 Presentation of raw results . 7
9.3 Establishment of product differences . 7
9.4 Regression . 7
9.5 Rescaling methods . 8
9.5.1 Total rescaling . 8
9.5.2 Rescaling in relation to the reference sample. 8
9.5.3 External rescaling . 8
10 Test report . 9
Annex A (informative) Questionnaire models .10
Annex B (informative) Examples of data analysis .12
Bibliography .31
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/ patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO’s adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT), see www .iso .org/
iso/ foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12,
Sensory analysis.
This second edition cancels and replaces the first edition (ISO 11056:1999), which has been
technically revised. It also incorporates the amendments ISO 11056:1999/Amd.1:2013 and
ISO 11056:1999/Amd.2:2015. The main changes compared with the previous edition concern the
statistical treatment of the examples in Annex B:
— the Assessor factor is considered as fixed factor or as random factor (in the previous edition, the
Assessor factor was always considered as a fixed factor);
— the R commands used to process the examples and to obtain the different tables are given explicitly
(in the previous edition, only the tables of results were given);
— the numerical examples have been preserved without any modification to allow the user to
understand the evolution in the processing of the tables;
— a new example has been added as B.2.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/ members .html.
iv © ISO 2021 – All rights reserved
Introduction
Magnitude estimation is a psychophysical scaling technique where assessors assign numerical values
to the estimated magnitude of an attribute. The only constraint placed upon the assessor is that the
values assigned should conform to a ratio principle, i.e. if the attribute appears to be twice as strong in
sample B in comparison with sample A, the value assigned to sample B has to be twice that assigned to
sample A. Attributes such as intensity, pleasantness or acceptability may be assessed using magnitude
estimation.
Magnitude estimation method is often considered as being less susceptible to “end-effects” than the
methods which employ an experimenter-defined continuous or discontinuous response scale. These
“end-effects” occur when the assessors are unfamiliar with the extent of the sensations elicited by the
products. Then assessors can assign one of the initial samples to a category which is too close to one
of the ends of the scale. Consequently, they then find themselves short of graduations and are obliged
to classify samples perceived as being different into the same category. This should not occur with
magnitude estimation since, in theory, there are an infinite number of categories.
Allowing each assessor to start the process at any numerical value, i.e. to use their own scale, gives rise
to a particularly important “assessor” effect. However, there are various ways of solving this problem:
— the analysis of variance (ANOVA) allows the “assessor” effect and the interactions to be taken into
account;
— the assessors can be forced to a common scale by use of a reference sample to which a value has
been assigned;
— the data supplied by each assessor can be reduced to a common scale by applying one rescaling
methods.
It is up to the experimenter to choose the most appropriate approach based on the circumstances.
Magnitude estimation is the privileged method to determine the Steven’s equation psychophysical
power function. It can also be used to solve concrete problems.
NOTE The magnitude estimation method is not the most efficient technique for determining small
differences between stimuli or for conducting assessments in the vicinity of a detection threshold.
EXAMPLE 1 A company produces a moderately successful beverage, but recent products which are sweeter,
produced by a competitor, have made inroads into their shares of the market. It is decided to increase the
sweetness level by one third in an attempt to recapture some of the market loss. In formulating the new product,
knowing the power function of the sweetener will provide an estimation of the amount of sweetener necessary
to reach the one third increase in sweetness level.
EXAMPLE 2 In the formulation of the new diet beverage, the intensity of the desired sweetness is known, but
it is not yet decided whether to use aspartame or sucrose as a sweetener. Knowing the power functions of each
substance, the iso sweetness lines can be plotted to determine the concentrations of each sweetener necessary
for the desired sweetness level. This information coupled with cost/volume information can help inform the
decision about which sweetener is more cost effective.
The calculations in Annex B were performed using R functions. Access to R packages is free. This
information is given for the convenience of users of this document and does not constitute an
endorsement or recommendation by ISO of the exclusive use of R packages. Other software may be used
to perform the calculations required by this document.
The files are in the ME folder under the USB DISK H (format Text (separator: tabulation)).
The results can sometimes vary due to rounding errors, depending on the software used.
INTERNATIONAL STANDARD ISO 11056:2021(E)
Sensory analysis — Methodology — Magnitude estimation
method
1 Scope
This document specifies a method for applying magnitude estimation to the evaluation of sensory
attributes. The methodology specified covers the training of assessors, and obtaining magnitude
estimations as well as their statistical interpretation.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in
probability
ISO 3534-3, Statistics — Vocabulary and symbols — Part 3: Design of experiments
ISO 4121, Sensory analysis — Guidelines for the use of quantitative response scales
ISO 5492, Sensory analysis — Vocabulary
ISO 6658, Sensory analysis — Methodology — General guidance
ISO 8586, Sensory analysis — General guidelines for the selection, training and monitoring of selected
assessors and expert sensory assessors
ISO 8589, Sensory analysis — General guidance for the design of test rooms
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 3534-1, ISO 3534-3, ISO 5492
and the following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
magnitude estimation
process of assigning values to the intensity of a sensation elicited by a product attribute, or to its
hedonic value, so the ratio between the assigned value and the assessor’s perception of the attribute
remains the same
3.2
external reference
first sample presented as a reference in a sample series in relation to which all subsequent samples are
then assessed
3.3
internal reference
first sample introduced in a sample series in relation to which all subsequent samples are then assessed,
and presented to the assessor as if it was a test sample
3.4
modulus
numerical value assigned to the external reference (3.2), which can be defined by the person conducting
the test (fixed modulus) or left to the assessor to choose (non-fixed modulus)
3.5
rescaling
process that consists of multiplying the raw data supplied by each assessor by a factor which reduces
the data of all the assessors to a common scale
Note 1 to entry: Adding the logarithm of this factor to the logarithm of the raw data is an equivalent process.
3.6
Steven’s equation psychophysical power function
relationship that is expressed as:
n
RK= S
where
R is the assessor’s response (e.g. perceived intensity);
K is the constant which reconciles the units of measurement used for R and S;
S is the stimulus (concentration of a chemical substance or physical variable);
n is the exponent of the power function and the slope of the regression curve for R and S when they
are expressed in logarithmic units.
Note 1 to entry: In practice, Stevens’s equation is generally transformed into natural logarithms:
lnRK=ln +lnSn
4 Principle
Samples are presented successively to assessors, who are requested to record the intensity of an
attribute of each sample by complying with the ratio principle.
The values are assigned by referring to the value of the first sample of the series. For this first sample,
either each assessor is free to assign a value to it, or the value is fixed by the person conducting the test.
The latter case is called “fixed modulus”.
5 General test conditions
For the general test conditions, such as those concerning the facilities, preparation, presentation and
coding of samples, International Standards on general methodology shall be followed, in particular
ISO 6658 and ISO 8589, as well as those describing the methods using scales and categories, in
particular ISO 4121.
2 © ISO 2021 – All rights reserved
6 Selection and training of assessors
6.1 General conditions for selection and training
The general conditions for selection and training shall be in accordance with ISO 8586.
As in all other sensory analysis methods, it is the responsibility of the panel leader to judge the required
level of proficiency of the assessors. The objectives of the test, the availability of the assessors, the
costs incurred by recruiting additional assessors, as well as their training, shall be taken into account
when planning a training programme. Assessors are generally able to use the magnitude estimation
methodology after three or four training tests.
6.2 Training specific to the magnitude estimation method
6.2.1 The assessment of surface areas of geometric shapes has been proved to be particularly suited for
introducing assessors into the basic concepts of magnitude estimation. A set of 18 shapes (see Table 1)
comprising six circles, six equilateral triangles and six squares ranging in size from approximately 2 cm
to 200 cm has been used successfully for training assessors.
For the consumer panels, a shorter version may be used. For example, the training can be limited to
area estimations.
Table 1 — Dimensions and areas of the training exercise shapes
Circles Triangles Squares
Radius Surface area Side Surface area Side Surface area
2 2 2
cm cm cm cm cm cm
1,4 6,2 2,2 2,1 3,2 10,2
2,5 19,6 4,1 7,3 4,2 17,6
3,7 43,0 7,6 25,0 8,5 72,3
a
5,4 91,6 12,2 64,4 11,1 123,2
a
6,8 145,3 15,5 104,0 11,1 123,2
8,3 216,4 19,2 159,6 14,2 201,6
a
Two 11,1 cm squares are introduced into the series in order to be able to evaluate the reproducibility of the assessors.
6.2.2 Prior to presenting the shapes to the assessors, instruct them in the principles of the method.
This instruction shall include, but is not necessarily limited to, the following three points:
— the values shall be assigned on a ratio basis: if the attribute is twice as intense, a value twice as high
shall be assigned to it;
— there is no upper limit to the scale;
— the value 0 shall be assigned only in the exceptional case where the attribute is not perceived.
Warn the assessors, at the time of training, that the general tendency is often to use round numbers
(such as 5, 10, 20, 25, etc.) but that, with this method, all numbers are permitted and may be used.
As assessors are also influenced by the ratios mentioned during training, always take care to suggest to
them the use of different ratios, e.g. 3/1, 1/3, 7/5, 5/6 without limiting oneself to 2/1 or 1/2.
6.2.3 Assign codes to the shapes and present the shapes separately by placing them in the centre of a
sheet of white paper of approximately A4 size (21 cm × 29,7 cm).
Instruct each assessor to conduct the magnitude estimation, beginning the series with the presentation
of the 8,5 cm square (external reference). Record the responses.
Depending on the procedure adopted for the test phase, train the assessors with or without a fixed
modulus. With a fixed modulus, the person conducting the test assigns a value between 30 and 100 to
the 8,5 cm square.
Without a fixed modulus, leave the assessors to assign the value of their choice to the first figure, but
advise them not to choose too small a value.
Randomly present the geometric shapes prior to each test, so that their shapes and dimensions do not
form a particular pattern.
6.2.4 After completing the assessment of the set of shapes, allow the assessors to compare their results
with the average results of the group. If this is not practical, carry out this comparison with respect to the
results obtained by a previous group.
The objective is to provide positive feedback to reassure the panellists that they understand the
exercise. Care should be taken not to create the impression that there is a “right” answer. Unless their
results are very different, departures from the group results should be explained as order effects;
that is, their responses are affected by the order in which they evaluate the samples. They should be
reassured that, despite individual order effects, the group’s results will be accurate.
If the results of some assessors are very different, explain once again to these assessors the principles
of the method.
6.2.5 When an assessor has successfully completed the area estimation exercise, further training
should be given based on the product or type of substance that will be assessed in the actual test. This
gives the assessor experience in applying magnitude estimation to attributes characterizing the test
substance. The panel leader may need to design exercises for training panellists to identify correctly the
attributes to be evaluated. This training may be drawn up using the general guidelines given in ISO 8586.
7 Number of assessors
7.1 General
As for the other methods employing scales, the required number of assessors depends on:
— how close together the various test products are in the attribute being evaluated;
— the training received by the assessors;
— the importance that will be attached to the decision following the test results (see ISO 8586);
— the objectives that can be identified in terms of statistical power.
In the absence of such distinctly identifiable objectives, refer to the recommendations given in 7.2 and
7.3.
7.2 Analytical and research panels
The panels shall be made up as given in Table 2.
Issues of statistical power need to be resolved on the variance of individual evaluations and the
magnitude of the differences which need to be detected.
4 © ISO 2021 – All rights reserved
Table 2 — Formation of panels
Types of assessors Minimum number Recommended
of assessors number
Experienced assessors, highly trained in the product and 5 10
in the assessment of the attribute being studied
Experienced assessors, trained in the product and 15 20 to 25
in the assessment of the attribute being studied
Newly trained assessors 20 20 and over
7.3 Consumer panels
The magnitude estimation method can also be used with consumer panels or for conducting market
research studies. The number of persons to be selected shall then be determined on the basis of the
population sampling requirements connected with these types of tests. The use of the magnitude
estimation method does not offer any particular advantage in terms of the number of assessors
required, and this number shall be the same as for a typical consumer type test, namely at least 60
persons and often much more.
8 Procedure
8.1 Presentation of samples
All the samples shall be presented in an identical manner (i.e. identical serving vessels and the same
quantity of product).
The vessels containing the samples shall be coded, preferably using randomly selected three-digit
numbers.
8.2 External reference sample
It is desirable that the reference sample has, for the attribute being studied, an intensity that is close to
that of the geometric mean of all of the products under test.
NOTE A reference that can present an extreme value for the attribute would introduce a distortion.
One or more randomly coded reference samples may be included in the test series without the assessors
being informed. This allows assessment of the repeatability of the assessor within the session.
8.3 Order of presentation of samples
The samples shall be presented all at once or in a sequential way to the assessors. The assessors shall
follow the order indicated. As in all sensory tests, this order differs from one assessor to the other, the
ideal situation being that the orders of the samples are balanced.
The panel leader can refer to tables proposed in Reference [3], which uses Latin squares to balance the
design for order and carryover effects. Where this is not possible, use random order.
8.4 Magnitude estimations
8.4.1 General
Carry out the test in accordance with one of the techniques described in 8.4.2 to 8.4.4.
Questionnaire models for the reference sample are given in Annex A.
8.4.2 Without fixed modulus for the external reference
Each assessor evaluates the reference and assigns a value to it. Advise the assessors not to choose too
small a value.
The assessor then evaluates each subsequent coded sample, comparing it with the reference, and
assigns to it a value in relation to that which he/she has previously assigned to the reference.
8.4.3 With fixed modulus for the external reference
The panel leader specifies to the assessor that the reference sample has a value of, for example, 30, 50,
100, or whatever seems appropriate to the panel leader.
The leader instructs the assessor to make his or her subsequent judgements relative to the value
assigned to the reference (fixed modulus).
8.4.4 Without external reference
It is possible to use magnitude estimation methodology without using any external reference sample.
Due to the limits of the sensory systems (memory), it may be difficult for the assessors to refer
systematically to the first sample. There are two possible cases, as follows.
a) The assessors are not forced to re-evaluate the first sample prior to evaluating each of the
subsequent samples.
It is then advisable to encourage the assessors to memorize the degree of the attribute being
studied for this reference sample and to re-evaluate this reference if it appears necessary to them.
It is therefore possible:
1) prior to the test: to choose the presentation design in such a way that the first sample is not the
same for each of the assessors; ideally, each sample should be used as a reference for an equal
number of assessors; the variances of the mean differences between samples will therefore be
equal;
2) at the time of analysis: to apply an arbitrarily very high (theoretically infinite) weighting to
the evaluations of the first sample of each assessor, so that the variances of the differences are
correctly estimated.
b) The assessors are asked to evaluate each sample by comparing it to the immediately preceding
sample.
NOTE The problem that then arises is that, for each assessor, the evaluation errors are autocorrelated,
and the variance of the difference of two successive samples will be smaller than the variance of the
difference of two non-successive samples.
It is therefore possible:
1) prior to the test: to choose the presentation design in such a way that all the possible
permutations of the samples are presented to an equal number of assessors; if this is not
possible, try to propose orders which approximate best this ideal model; the variances of the
mean differences between samples will then be equal or, at least, fairly close;
2) at the time of analysis: to employ autocorrelated error models, the methodology of which is,
however, slightly more complicated.
It is to be noted that even if one proceeds as proposed in case a) (systematic comparison with the first
sample in order to carry out the evaluation), an autocorrelation term, linked to the evaluation of the
preceding sample, however small it may be, very probably remains (this is also true, incidentally, for
the tests with reference described in 8.4.2 and 8.4.3). The advice given earlier that the orders of the
samples are balanced is therefore valid in all cases.
6 © ISO 2021 – All rights reserved
9 Analysis of data
9.1 Choice of data analysis method
The method of analysis depends on (see Annex B):
— the experimental design: complete design or incomplete design;
— the presence or not of replications;
— the status attributed to the Assessor factor (fixed factor or random factor), the Treatment factor
being very generally considered as a fixed factor.
9.2 Presentation of raw results
The results may be presented in the form of a dual-entry table, placing horizontally the responses of the
assessors after logarithmic transformation, and vertically the different samples.
When all the assessors have given a score the same number of times for each of the samples, a complete
balanced plan is obtained and the model together with the assessor effect is orthogonal. If certain
products have not been evaluated the same number of times by all the assessors, an incomplete plan is
obtained and the model together with the assessor effect is non-orthogonal.
Since one cannot take the logarithm of zero, any zero response causes a problem. Different approaches
have been used to deal with zeros. Zero values should be replaced by very small values. The specific
value chosen should take into account the scale used by each panellist (e.g. half of the smallest value
assigned by that panellist).
9.3 Establishment of product differences
An ANOVA, which explicitly accounts for all blocking factors (including unbalanced or nonorthogonal
factors) and is carried out on logarithmically transformed data, is the most accurate method. In practice,
it is not always possible to conduct an experiment leading to a complete design where all critical factors
are balanced and orthogonal. For example, when a project extends over multiple sessions, it may be not
possible to assemble exactly the same group of panellists at each session. It is always advisable to ask a
statistician to set up the best possible experimental design.
When significant differences between products are revealed by ANOVA, one of the usual tests of multiple
comparison of means is then carried out. An example of comparison of products without rescaled data
on a complete design is given in B.1.
9.4 Regression
In cases where the values of a related variable S (such as concentration, physical quantity) are known as
being capable of relating to the response R, it is possible to assume that Stevens’s law is followed and to
estimate its parameters by carrying out the linear regression of the sensory responses regarding this
physical or chemical variable, according to Formula (1):
lnRK=ln +lnSn (1)
In such an analysis, the parameter that is of greatest interest is the slope that corresponds to the value
n in Stevens’s equation.
The equality of the slopes of the regression between the different assessors can also be tested.
9.5 Rescaling methods
9.5.1 Total rescaling
The reasoning on which this method is based is as follows. Since each assessor has evaluated the same
set of samples, the total magnitude of the response for this set of samples should be identical for each
assessor. Therefore, the scale for each assessor is brought to the same total magnitude for a set of
common samples.
The procedure is as follows.
For all of the samples evaluated by all of the assessors:
— calculate the mean of the logarithm of the estimations of each assessor;
— calculate the general mean for all the assessors.
For each assessor:
— calculate the correction value which, once added to its mean, will make it equal to the mean of the
group;
— add its correction value to all the estimations of each assessor.
An example of carrying out total rescaling is given in B.2.
9.5.2 Rescaling in relation to the reference sample
If one or more reference samples, randomly coded, have been incorporated into the test series, first
calculate for each assessor the mean of the estimations relating to the reference samples [first sample
and hidden reference(s), if any]. Then, calculate the correction value that would bring this mean to a
fixed value. In order to rescale the data obtained for the test samples, multiply each estimation of an
assessor by the correction value calculated from the reference sample(s).
It is advisable to note that the global ANOVA, as well as the procedure for total rescaling, gives rise
to a smaller mean square error than the procedure of rescaling in relation to the reference sample.
As indicated in 8.2, the reference sample should have an intensity close to the geometric mean of all
the samples for the whole panel. It has been shown that the error is lower when the intensity of the
[6]
reference sample is equal to the geometric mean . The closer the value for the reference sample is to
the true geometric mean, the better.
9.5.3 External rescaling
Various forms of external rescaling have been reported in the literature. After evaluating the test
samples, the assessor receives a verbal response scale comprising between four and eleven graduations.
It consists of expressions such as:
— extremely intense;
— very intense;
— moderately intense;
— slightly intense, etc.
The panel leader requests the assessor to assign magnitude estimations to these expressions in a
manner that is consistent with the scale being used when evaluating the test samples. Results given by
each assessor are rescaled using a correction value calculated by applying the total rescaling method to
the values assigned to the expressions of the verbal response scale.
An example of external rescaling is given in B.4.
8 © ISO 2021 – All rights reserved
10 Test report
The test report shall indicate:
— the objectives of the study;
— the test results;
— the number of samples and a description of the samples;
— recourse, if any, to a reference sample and, if used, the nature of this sample;
— replication, if any, of the tests;
— the number of assessors and their level of qualification;
— the general conditions of testing, such as test environment, date and time;
— any other information allowing the overall validity of the tests to be evaluated;
— the reference to the number of this document, i.e. ISO 11056, together with an indication of
adjustments, if any, made to the method;
— the name of the person in charge of the assay.
— the date of the test.
Annex A
(informative)
Questionnaire models
A.1 Questionnaire model without fixed modulus for the reference sample
Workplace code: . Date: .
1. A reference sample of orange juice coded “R” is presented to you.
You are requested to taste it and to rate the intensity of its acid taste with the aid of a number of your
choice:
Response:
Memorize well the intensity of its acidity.
2. Six orange drinks are presented to you.
You are requested to evaluate them in the order given below.
For each of the samples, assign a value to the intensity of the acid taste, in proportion to the value of the
reference “R”.
You have to retaste the reference before each sample.
Sample 561
Sample 274
Sample 935
Sample 803
Sample 417
Sample 127
10 © ISO 2021 – All rights reserved
A.2 Questionnaire model with fixed modulus for the reference sample
Workplace code: . Date: .
1. A reference sample of orange juice coded “R” is presented to you.
The value assigned to its “acidity” is equal to 50.
Taste this sample and memorize the intensity of its acidity.
2. Six orange drinks are presented to you.
You are requested to evaluate them in the order indicated below.
For each of the samples, assign a value to the intensity of the acid taste, in proportion to the value (50)
given to the reference “R”.
You have to retaste the reference before each sample.
Sample 561
Sample 274
Sample 935
Sample 803
Sample 417
Sample 127
Annex B
(informative)
Examples of data analysis
B.1 Data analysis of an assay without replication and without rescaled data — All
assessors once evaluated all products in the series
B.1.1 Case presented
Table B.1 presents the results obtained by seven experienced assessors having evaluated the intensity
of the bitterness of six samples of a beverage containing various quantities of caffeine. For Assessors 1,
2 and 3, sample 274 is the external reference with an assigned numerical value equal to 20. For
Assessors 5, 6 and 7, sample 803 is the external reference with an assigned value equal to 40. Finally,
for Assessor 4, sample 935 is the reference with a value equal to 32. For each assessor, the external
reference was the first sample in the series; the other five samples were presented in a random order
that was different depending on the assessor. The assessors did not evaluate the external reference (the
scores in Table B.1 are those assigned by the panel leader), but they tasted this reference at least five
times (once before tasting each of the five other products) by associating it with the score given by the
panel leader.
Natural logarithms have been calculated with three digits and are presented in Table B.1 in parentheses.
Table B.1 — Table of data relative to the six samples
Treatment codes
561 274 935 803 417 127
Assessor Concentrations (mg/100 ml)
9 18 36 40 72 144
Magnitude estimations (logarithms)
1 10 (2,303) 20 (2,996) 35 (3,555) 40 (3,689) 70 (4,248) 140 (4,942)
2 8 (2,079) 20 (2,996) 38 (3,638) 44 (3,784) 85 (4,443) 160 (5,075)
3 8 (2,079) 20 (2,996) 36 (3,584) 40 (3,689) 75 (4,317) 150 (5,010)
4 7 (1,946) 15 (2,708) 32 (3,466) 37 (3,611) 70 (4,248) 135 (4,905)
5 12 (2,485) 25 (3,219) 38 (3,638) 40 (3,689) 75 (4,317) 145 (4,977)
6 12 (2,485) 22 (3,091) 35 (3,555) 40 (3,689) 80 (4,382) 160 (5,075)
7 9 (2,197) 18 (2,890) 35 (3,555) 40 (3,689) 74 (4,304) 145 (4,977)
Mean log 2,225 2,985 3,570 3,691 4,323 4,994
This file is in ME(2019) folder (USB DISK F) under the name: Table Annex B1. It is imported into R with
the following three commands:
tableb1<- read.table ("F:/ME(2019)/Table Annex B1.txt", header = T, sep="\t", dec=".")
attach(tableb1)
names(tableb1)
The file tableb1 has 7 columns (Assessor, Treatment, Score, LogScore, LogScoreresc, Conc LogConc) and
42 rows (6 treatments × 7 assessors). The command:
12 © ISO 2021 – All rights reserved
round(with(tableb1,tapply(LogScore, list(Treatment),mean)), digits=3)
leads to the following values of the row “mean log” in Table B.1:
1T 2T 3T 4T 5T 6T
2,225 2,985 3,570 3,691 4,323 4,995
B.1.2 Determination of the existence of significant differences
A two-way ANOVA was applied to the logarithms of Table B.1 using the R command:
summary(aov(LogScore ~ Assessor +Treatment, data= tableb1))
The results are given in Table B.2. This table shows that the effect induced by the Treatment factor is
very significant, which is logical, given the very large differences in caffeine concentration (6, 18, 36,
etc.).
Table B.2 — Results of two-way ANOVA of Table B.1
Source of Degrees of Sum of Mean
F value P > F
variation freedom squares square
Assessor 6 0,24 0,040 4,55 0,002
Treatment 5 33,18 6,635 753,11 < 2e-16
Residuals 30 0,26 0,009 — —
Multiple comparison test: Tukey’s test is one of the numerous multiple comparison tests likely to be used
for determining which samples differ significantly from one another. In this test, the least significant
difference (LSD) is determined as shown by Formula (B.1):
1 11
Cs×+ (B.1)
2 nn
ij
where
s is the mean square of the row “residuals” in Table B.2;
n is the number of observations used for the calculation of the first mean;
i
n is the number of observations used for the calculation of the second mean;
j
C is a factor; a function of the degrees of freedom of the row “residuals”, of the total number of
treatments, and of the α-risk chosen; its value is given, for example, in Table B.6. Critical values
of Tukey’s studentized range in Reference [1].
In this example (6 treatments and 30 degrees of freedom for residuals), C is equal to 4,30 for an
α-risk = 0,05 and the LSD is equal to Formula (B.2):
1 1
43,,00×√ 009××05,,+ =0 154 (B.2)
7 7
The only two samples not differing in any significant manner (see the last row in Table B.1) are 803 and
935. Their means differ by only 0,121. This conclusion is logical. The caffeine concentrations of samples
803 and 935 are close: they only differ (in log) of 0,046, whereas the difference of caffeine concentration
(in log): between the other pairs of adjacent treatments is equal to 0,255 (treatment 417 versus 803)
and to 0,301 (treatment 274 versus 561, treatment 935 versus 274, treatment 127 versus 417).
The calculation above can be obtained by using the TukeyHSD command of R:
TukeyHSD(aov(LogScore ~ Assessor + Treatment, data= b1), "Treatment")
This command leads to:
$Treatment
diff lwr upr p adj
2T-1T 0.7602857 0.60768686 0.9128846 0.0000000
3T-1T 1.3452857 1.19268686 1.4978846 0.0000000
4T-1T 1.4665714 1.31397258 1.6191703 0.0000000
5T-1T 2.0978571 1.94525829 2.2504560 0.0000000
6T-1T 2.7695714 2.61697258 2.9221703 0.0000000
3T-2T 0.5850000 0.43240
...
NORME ISO
INTERNATIONALE 11056
Deuxième édition
2021-05
Analyse sensorielle — Méthodologie
— Méthode d'estimation de la
grandeur
Sensory analysis — Methodology — Magnitude estimation method
Numéro de référence
©
ISO 2021
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2021
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii © ISO 2021 – Tous droits réservés
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d'application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Principe . 2
5 Conditions générales d’essai . 2
6 Sélection et entraînement des sujets . 3
6.1 Conditions générales de sélection et d’entraînement . 3
6.2 Entraînement spécifique à la méthode d’estimation de la grandeur . 3
7 Nombre de sujets. 4
7.1 Généralités . 4
7.2 Jurys constitués dans un but analytique et de recherche . 4
7.3 Jurys de consommateurs . 5
8 Mode opératoire. 5
8.1 Présentation des échantillons . 5
8.2 Échantillon présenté comme une référence externe . 5
8.3 Ordre de présentation des échantillons . 5
8.4 Estimations de la grandeur . 5
8.4.1 Généralités . 5
8.4.2 Sans module fixe pour la référence externe . 6
8.4.3 Avec module fixe pour la référence externe . 6
8.4.4 Sans référence externe . 6
9 Analyse des données. 7
9.1 Choix de la méthode d’analyse des données . 7
9.2 Mise en forme des résultats bruts . 7
9.3 Recherche de différences entre produits . 7
9.4 Régression . 7
9.5 Méthodes de réétalonnage. 8
9.5.1 Réétalonnage global . 8
9.5.2 Réétalonnage par rapport à une référence . 8
9.5.3 Réétalonnage externe . 8
10 Rapport d’essai . 9
Annexe A (informative) Annexe A Modèles de questionnaires .10
Annexe B (informative) Annexe B Exemples d’analyse des données .13
Bibliographie .34
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/ directives).
L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de
brevets reçues par l’ISO (voir www .iso .org/ brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute information au sujet de l’adhésion
de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir le lien suivant: www .iso .org/ iso/ fr/ avant -propos.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-
comité SC 12, Analyse sensorielle.
Cette deuxième édition annule et remplace la première édition (ISO 11056:1999), qui a fait l’objet
d’une révision technique. Elle intègre également les amendements ISO 11056:1999/Amd.1:2013 et
ISO 11056:1999/Amd.2:2015. Les principales modifications par rapport à l’édition précédente portent
sur le traitement statistique des exemples donnés dans l’Annexe B:
— le facteur Sujet est considéré comme un facteur fixe ou comme un facteur aléatoire (dans l’édition
précédente, il était toujours considéré comme un facteur fixe);
— les commandes R servant à traiter les exemples et à obtenir les différents tableaux sont indiquées
explicitement (dans l’édition précédente, seuls les tableaux de résultats étaient inclus);
— les exemples numériques ont été conservés sans aucune modification pour permettre à l’utilisateur
de comprendre l’évolution dans le traitement des tableaux;
— un nouvel exemple a été ajouté en B.2.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www .iso .org/ fr/ members .html.
iv © ISO 2021 – Tous droits réservés
Introduction
L’estimation de la grandeur est une technique faisant appel à une échelle psychophysique sur laquelle
des sujets attribuent des valeurs numériques à la grandeur estimée d’une propriété. La seule contrainte
pesant sur le sujet est la suivante: il convient que les valeurs attribuées soient conformes au principe
de proportionnalité, c’est-à-dire que si la propriété apparaît comme étant deux fois plus intense pour
l’échantillon B que pour l’échantillon A, la valeur attribuée à l’échantillon B sera deux fois supérieure
à celle attribuée à l’échantillon A. Des propriétés telles que l’intensité, la valeur hédonique ou
l’acceptabilité peuvent être évaluées à l’aide de l’estimation de la grandeur.
La méthode d’estimation de la grandeur est souvent considérée comme étant moins sensible aux «effets
de bord» que les méthodes utilisant une échelle de réponse (continue ou discontinue) définie par le
responsable du jury. Ces «effets de bord» se produisent lorsque les sujets connaissent mal l’étendue des
sensations provoquées par les produits. Il peut alors arriver que les sujets affectent un des premiers
échantillons dans une catégorie se trouvant trop proche d’une des extrémités de l’échelle. Par voie
de conséquence, ils se trouvent ensuite à court de graduations et sont obligés de classer dans une
même catégorie des échantillons perçus comme étant différents. Ceci ne devrait pas se produire avec
l’estimation de la grandeur puisque, en théorie, il existe une quantité infinie de catégories.
Le fait d’autoriser chaque sujet à choisir au départ une valeur numérique quelconque, c’est-à-dire
d’utiliser sa propre échelle, induit un effet «sujet» particulièrement important. Cependant, il existe
diverses façons de résoudre ce problème:
— l’analyse de la variance (ANOVA) permet de prendre en compte l’effet «sujet» et les interactions;
— les sujets peuvent être contraints d’utiliser une échelle commune en utilisant un échantillon de
référence auquel une valeur a été préalablement attribuée;
— les données fournies par chaque sujet peuvent être ramenées à une échelle commune en appliquant
une méthode de réétalonnage.
Il incombe au responsable du jury de choisir l’approche la plus appropriée en fonction des circonstances.
L’estimation de la grandeur est la méthode à privilégier pour déterminer la fonction psychophysique
puissance de l’équation de Stevens. Elle peut aussi être utilisée pour résoudre des problèmes concrets.
NOTE La méthode d’estimation de la grandeur n’est pas la technique la plus efficace pour déterminer de
faibles différences entre des stimulus ou pour procéder à des évaluations à proximité d’un seuil de détection.
EXEMPLE 1 Une société produit une boisson qui connaît un succès mitigé; des produits récents qui sont plus
sucrés, produits par un concurrent, ont grignoté ses parts de marché. Il est décidé d’augmenter le niveau de
sucrosité d’un tiers pour tenter de reconquérir une partie du marché. Lors de la formulation du nouveau produit,
le fait de connaître la fonction puissance de l’édulcorant va fournir une estimation de la sucrosité du nouveau
produit.
EXEMPLE 2 Lors de la formulation d’une nouvelle boisson diététique, l’intensité de la sucrosité désirée est
connue, mais il n’a pas encore été décidé si de l’aspartame ou du saccharose sera utilisé comme édulcorant. Si
l’on connaît les fonctions puissance de chaque substance, les isolignes de sucrosité pourront être tracées pour
déterminer les concentrations de chaque édulcorant nécessaires pour obtenir le niveau de sucrosité désiré.
Cette information, couplée aux informations de coût/volume, pourra aider à prendre une décision éclairée sur
l’édulcorant le plus rentable.
Les calculs mentionnés dans l’Annexe B ont été réalisés à l’aide de fonctions de R. L’accès aux packages R
est gratuit. Cette information est donnée par souci de commodité à l’intention des utilisateurs du présent
document et ne signifie nullement que l’ISO approuve ou recommande l’emploi exclusif des packages R.
D’autres logiciels peuvent être utilisés pour réaliser les calculs requis par le présent document.
Les fichiers se trouvent dans le dossier ME du DISQUE USB H [format texte (séparateur: tabulation)].
En fonction du logiciel utilisé, les résultats peuvent parfois varier en raison d’erreurs d’arrondi.
NORME INTERNATIONALE ISO 11056:2021(F)
Analyse sensorielle — Méthodologie — Méthode
d'estimation de la grandeur
1 Domaine d'application
Le présent document décrit une méthode permettant d’appliquer l’estimation de la grandeur à
l’évaluation des propriétés sensorielles. La méthodologie spécifiée recouvre l’entraînement des sujets
et l’obtention des estimations ainsi que leur interprétation statistique.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s’applique (y compris les
éventuels amendements).
ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1: Termes statistiques généraux et termes
utilisés en calcul des probabilités
ISO 3534-3, Statistique — Vocabulaire et symboles — Partie 3: Plans d'expériences
ISO 4121, Analyse sensorielle — Lignes directrices pour l'utilisation d'échelles de réponses quantitatives
ISO 5492, Analyse sensorielle — Vocabulaire
ISO 6658, Analyse sensorielle — Méthodologie — Lignes directrices générales
ISO 8586, Analyse sensorielle — Lignes directrices générales pour la sélection, l'entraînement et le contrôle
des sujets qualifiés et sujets sensoriels experts
ISO 8589, Analyse sensorielle — Directives générales pour la conception de locaux destinés à l'analyse
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 3534-1, l’ISO 3534-3
et l’ISO 5492 ainsi que les suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
3.1
estimation de la grandeur
méthode permettant d’attribuer une valeur à l’intensité d’une sensation provoquée par une propriété
d’un produit, ou à son attrait hédonique, de sorte que le rapport entre la valeur attribuée et le niveau de
perception de la propriété par le sujet reste inchangé
3.2
référence externe
premier échantillon présenté au sujet comme une référence dans une série d’échantillons, par rapport
auquel tous les échantillons suivants sont ensuite évalués
3.3
référence interne
premier échantillon introduit dans une série d’échantillons et présenté au sujet comme s’il s’agissait
d’un échantillon pour essai, par rapport auquel tous les échantillons suivants sont ensuite évalués
3.4
module
valeur numérique attribuée à la référence externe (3.2); elle peut être fixée par la personne conduisant
l’essai (module fixe) ou laissée au libre choix du sujet (module non fixe)
3.5
réétalonnage
procédé consistant à multiplier les données brutes fournies par chaque sujet par un facteur qui ramène
les données de tous les sujets à une échelle commune
Note 1 à l'article: Ajouter le logarithme de ce facteur au logarithme des données brutes constitue un procédé
équivalent.
3.6
équation de Stevens fonction psychophysique puissance
relation qui est exprimée de la manière suivante:
n
RK= S
où
R est la réponse du sujet (par exemple l’intensité perçue);
K est une constante qui relie les unités de mesure à utiliser pour R et S;
S est le stimulus (concentration d’une substance chimique ou variable physique);
n est l’exposant de la fonction puissance et la pente de la courbe de régression entre R et S
lorsque R et S sont exprimés sous forme d’unités logarithmiques.
Note 1 à l'article: Dans la pratique, on transforme généralement l’équation de Stevens en logarithmes népériens:
lnRK=ln +lnSn
4 Principe
Présentation successive d’échantillons pour lesquels il est demandé aux sujets de noter l’intensité d’une
propriété en se conformant au principe de proportionnalité.
Les valeurs sont attribuées en se référant à la valeur du premier échantillon de la série. Pour ce premier
échantillon, chaque sujet est laissé libre de lui attribuer une valeur, ou bien la valeur est fixée par la
personne conduisant l’essai. Dans ce dernier cas, on parle de «module fixe».
5 Conditions générales d’essai
Pour les conditions générales d’essai, telles que celles concernant les locaux, la préparation, la
présentation et le codage des échantillons, les Normes internationales de méthodologie générale,
notamment l’ISO 6658 et l’ISO 8589, doivent être suivies, ainsi que celles décrivant les méthodes
utilisant les échelles et catégories, notamment l’ISO 4121.
2 © ISO 2021 – Tous droits réservés
6 Sélection et entraînement des sujets
6.1 Conditions générales de sélection et d’entraînement
Les conditions générales de sélection et d’entraînement doivent être en conformité avec l’ISO 8586.
Comme pour toutes les autres méthodes d’analyse sensorielle, il incombe au responsable du jury de
juger du niveau de compétence requis pour les sujets. Les objectifs de l’essai, la disponibilité des sujets,
les coûts engendrés par le recrutement de sujets supplémentaires, ainsi que leur entraînement, doivent
être pris en compte lors de la conception du programme d’entraînement. En général, les sujets sont
aptes à utiliser la méthodologie d’estimation de la grandeur après trois ou quatre exercices.
6.2 Entraînement spécifique à la méthode d’estimation de la grandeur
6.2.1 L’estimation des superficies de formes géométriques s’est révélée particulièrement appropriée
pour initier les sujets aux concepts fondamentaux de l’estimation de la grandeur. Un jeu de 18 figures
(voir le Tableau 1), comprenant six cercles, six triangles équilatéraux et six carrés, et dont les superficies
2 2
sont comprises entre 2 cm et 200 cm environ, a été utilisé avec succès pour entraîner les sujets.
Pour les jurys de consommateurs, une version plus courte peut être employée. Par exemple,
l’entraînement peut se limiter à l’estimation des superficies.
Tableau 1 — Dimensions et superficies des figures pour exercice d’entraînement
Cercles Triangles Carrés
Rayon Superficie Côté Superficie Côté Superficie
2 2 2
cm cm cm cm cm cm
1,4 6,2 2,2 2,1 3,2 10,2
2,5 19,6 4,1 7,3 4,2 17,6
3,7 43,0 7,6 25,0 8,5 72,3
a
5,4 91,6 12,2 64,4 11,1 123,2
a
6,8 145,3 15,5 104,0 11,1 123,2
8,3 216,4 19,2 159,6 14,2 201,6
a
Deux carrés de 11,1 cm sont introduits dans la série afin de pouvoir apprécier la reproductibilité des sujets.
6.2.2 Avant de présenter les figures aux sujets, leur enseigner les principes de la méthode. Sans
nécessairement s’y limiter, l’enseignement doit comprendre au moins les trois éléments suivants:
— les valeurs doivent obligatoirement être attribuées sur la base d’un rapport; si la propriété est deux
fois plus intense, il faut lui attribuer une valeur deux fois plus grande;
— l’échelle ne comporte pas de limite supérieure;
— sauf dans le cas exceptionnel où la caractéristique n’est absolument pas perçue, il ne faut pas
attribuer de valeur 0.
Lors de l’entraînement, avertir les sujets que la tendance générale est souvent d’utiliser des chiffres
ronds (tels que 5, 10, 20, 25, etc.), mais qu’avec cette méthode tous les nombres sont permis et peuvent
être utilisés.
Les sujets étant également influencés par les rapports mentionnés lors de l’entraînement, prendre
toujours la précaution de leur suggérer l’utilisation de rapports différents, par exemple 3/1, 1/3, 7/5,
5/6, sans se limiter à 2/1 ou 1/2.
6.2.3 Coder les figures et les présenter séparément en les plaçant au centre d’une feuille de papier
blanc d’une taille voisine du format A4 (21 cm × 29,7 cm).
Faire réaliser l’estimation de la grandeur à chacun des sujets en commençant la série par la présentation
du carré de 8,5 cm (référence externe). Enregistrer les réponses.
Selon la procédure retenue pour la phase d’essai, entraîner les sujets avec ou sans module fixe. Avec
module fixe, la personne conduisant l’essai attribue au carré de 8,5 cm de côté une valeur comprise
entre 30 et 100.
Sans module fixe, laisser les sujets attribuer à cette première figure la valeur de leur choix, mais leur
conseiller de ne pas choisir une valeur trop faible.
Mélanger les figures géométriques avant chaque essai de telle sorte que leurs formes et leurs dimensions
ne constituent pas un motif particulier.
6.2.4 Après l’évaluation du jeu de figures, autoriser les sujets à comparer leurs résultats avec les
résultats moyens du groupe. Si ce n’est pas réalisable, effectuer cette comparaison par rapport aux
résultats obtenus préalablement par un autre groupe.
En procédant ainsi, on obtient une réaction positive et on rassure les sujets en leur prouvant qu’ils ont
bien compris la méthodologie. Il convient surtout d’éviter de leur donner l’impression qu’il existe une
«bonne» réponse. À moins que leurs résultats soient très différents, les écarts observés entre les sujets
devraient être expliqués par des effets liés à l’ordre de présentation, c’est-à-dire que les réponses sont
affectées par l’ordre dans lequel les échantillons sont évalués, mais qu’en dépit de ces effets d’ordre au
niveau individuel, les résultats de l’ensemble du groupe demeureront précis.
Si les résultats de certains sujets sont très différents, expliquer une nouvelle fois à ces sujets les
principes de la méthode.
6.2.5 Lorsqu’un sujet a réussi l’exercice d’estimation des superficies, il convient ensuite qu’il reçoive
un entraînement portant sur le produit ou le type de substance qu’il devra estimer lors de l’essai réel.
Ceci permet au sujet de s’entraîner à appliquer l’estimation de la grandeur aux propriétés caractérisant
la substance à tester. Le responsable du jury pourra mettre en place des exercices afin de permettre
aux sujets d’identifier correctement les propriétés à évaluer. Cet entraînement pourra être élaboré en
utilisant les lignes directrices générales figurant dans l’ISO 8586.
7 Nombre de sujets
7.1 Généralités
Comme pour les autres méthodes utilisant des échelles, le nombre nécessaire de sujets dépend:
— de l’amplitude de la différence entre les produits à tester en ce qui concerne la propriété étudiée;
— de l’entraînement reçu par les sujets;
— de l’importance qui sera accordée à la décision faisant suite aux résultats de l’essai (voir l’ISO 8586);
— des objectifs identifiables en termes de puissance statistique.
En l’absence de tels objectifs distinctement identifiables, se reporter aux recommandations données
en 7.2 et 7.3.
7.2 Jurys constitués dans un but analytique et de recherche
Les jurys doivent être constitués comme indiqué dans le Tableau 2.
4 © ISO 2021 – Tous droits réservés
Les questions de puissance statistique doivent être traitées en tenant compte de la variance des
évaluations individuelles et de l’amplitude des différences que l’on veut détecter.
Tableau 2 — Constitution des jurys
Types de sujets Nombre minimal de sujets Nombre recommandé
Sujets expérimentés, hautement entraînés sur le pro- 5 10
duit et à l’évaluation de la propriété étudiée
Sujets expérimentés, entraînés sur le produit et à 15 20 à 25
l’évaluation de la propriété étudiée
Sujets nouvellement entraînés 20 20 et plus
7.3 Jurys de consommateurs
La méthode d’estimation de la grandeur peut aussi être utilisée avec des jurys de consommateurs ou
pour réaliser des études de marché. Le nombre de personnes à retenir doit alors être déterminé en
fonction des exigences de l’échantillonnage de la population liées à ces types d’essais. L’utilisation de la
méthode d’estimation de la grandeur ne présente aucun avantage particulier du point de vue du nombre
de sujets requis, et ce nombre doit être le même que pour un essai de type consommateurs classique,
soit au moins 60 personnes, et souvent beaucoup plus.
8 Mode opératoire
8.1 Présentation des échantillons
Tous les échantillons doivent être présentés de façon identique (c’est-à-dire récipients identiques et
même quantité de produit).
Les récipients contenant les échantillons doivent être codés, de préférence à l’aide de nombres à trois
chiffres tirés au hasard.
8.2 Échantillon présenté comme une référence externe
Il est souhaitable que l’échantillon de référence possède, pour la propriété étudiée, une intensité proche
de celle de la moyenne géométrique de l’ensemble des produits sous essai.
NOTE Une référence qui présenterait une valeur extrême concernant la propriété introduirait une distorsion.
Un ou plusieurs échantillons de référence non identifiés comme tels aux yeux du jury peuvent être
inclus dans la série d’essai sans que les sujets en soient informés. Ceci permet d’évaluer la répétabilité
du sujet au sein de la séance.
8.3 Ordre de présentation des échantillons
Les échantillons doivent être présentés aux sujets tous en même temps ou de façon séquentielle. Les
sujets doivent suivre l’ordre indiqué. Comme dans tous les essais sensoriels, cet ordre est différent d’un
sujet à l’autre, l’idéal étant que l’ordre des échantillons soit équilibré.
Le responsable du jury peut se référer aux tables proposées dans la Référence [3], qui utilisent des
carrés latins pour équilibrer le plan quant aux effets d’ordre et de report. En cas d’impossibilité, recourir
à un ordre aléatoire.
8.4 Estimations de la grandeur
8.4.1 Généralités
Effectuer l’essai selon l’une des techniques décrites de 8.4.2 à 8.4.4.
Des modèles de questionnaire concernant l’échantillon de référence sont fournis dans l’Annexe A.
8.4.2 Sans module fixe pour la référence externe
Chaque sujet évalue la référence et lui attribue une valeur. Conseiller aux sujets de ne pas choisir une
valeur trop faible.
Le sujet procède ensuite à l’évaluation successive de chaque échantillon codé en le comparant à la
référence et lui attribue une valeur par rapport à celle qu’il a attribuée à la référence.
8.4.3 Avec module fixe pour la référence externe
Le responsable du jury précise au sujet que l’échantillon de référence a une valeur donnée, par
exemple 30, 50, 100 ou toute autre valeur jugée adéquate par le responsable du jury.
Le responsable du jury demande au sujet de faire toutes ses évaluations ultérieures par rapport à la
valeur attribuée à la référence (module fixe).
8.4.4 Sans référence externe
Il est possible de recourir à la méthodologie d’estimation de la grandeur sans utiliser d’échantillon de
référence externe. En raison des limites des systèmes sensoriels (mémoire), il peut être difficile pour
les sujets de se référer systématiquement au premier échantillon. Deux cas principaux peuvent alors se
présenter.
a) Les sujets ne sont pas obligés de réévaluer le premier échantillon avant d’évaluer chacun des
échantillons suivants.
Il est toutefois conseillé d’encourager les sujets à mémoriser le degré de la propriété étudiée
pour cet échantillon de référence et à procéder à une nouvelle évaluation quand cela leur semble
nécessaire.
Il est donc possible:
1) avant l’essai: de faire en sorte que le premier échantillon ne soit pas le même pour chacun des
sujets; idéalement, il convient que chaque échantillon serve de référence pour un nombre égal
de sujets; les variances des différences moyennes entre échantillons seront alors égales entre
elles;
2) lors de l’analyse: de donner une pondération arbitrairement très élevée (théoriquement infinie)
aux évaluations du premier échantillon de chaque sujet, de manière à ce que les variances des
différences soient estimées correctement.
b) Les sujets doivent évaluer chaque échantillon en le comparant à l’échantillon le précédant
immédiatement.
NOTE Le problème qui se pose est que, pour chaque sujet, les erreurs d’évaluations sont corrélées entre
elles, et la variance de la différence de deux échantillons successifs sera plus petite que la variance de la
différence de deux échantillons non successifs.
Il est donc possible:
1) avant l’essai: de faire en sorte que toutes les permutations possibles des échantillons soient
présentées à un nombre égal de sujets; si cela n’est pas possible, essayer de proposer des
combinaisons qui se rapprochent au mieux de ce modèle idéal; les variances des différences
moyennes entre échantillons seront alors égales entre elles ou, du moins, assez proches;
2) lors de l’analyse: d’utiliser des modèles à erreurs autocorrélées, dont la méthodologie est
cependant un peu plus compliquée.
6 © ISO 2021 – Tous droits réservés
Il faut noter que même si l’on procède comme il est proposé dans le cas a) (comparaison systématique
au premier échantillon pour effectuer l’évaluation), un terme d’autocorrélation relié à l’évaluation de
l’échantillon précédent, si faible soit-il, subsiste très probablement (ceci est également vrai, d’ailleurs,
pour les essais avec référence décrits en 8.4.2 et 8.4.3). Le conseil donné précédemment de permuter de
façon équilibrée l’ordre des échantillons est donc valable dans tous les cas.
9 Analyse des données
9.1 Choix de la méthode d’analyse des données
La méthode d’analyse dépend (voir l’Annexe B):
— du plan expérimental: plan complet ou incomplet;
— de la présence ou non de répétitions;
— du statut attribué au facteur Sujet (facteur fixe ou facteur aléatoire), le facteur Traitement étant très
généralement considéré comme un facteur fixe.
9.2 Mise en forme des résultats bruts
Les résultats peuvent être présentés sous forme d’un tableau à double entrée, en plaçant en lignes les
réponses des sujets après transformation logarithmique, et en colonnes les différents échantillons.
Lorsque tous les sujets ont noté un même nombre de fois chacun des échantillons, on a un plan complet
équilibré et le modèle avec l’effet sujet est orthogonal. Si certains produits n’ont pas été évalués le
même nombre de fois par tous les sujets, on a un plan incomplet et le modèle avec l’effet sujet est non
orthogonal.
Du fait qu’il n’est pas possible de prendre le logarithme de zéro, les valeurs nulles posent un problème.
Plusieurs approches ont été proposées pour traiter les valeurs zéro. Les valeurs nulles devraient être
remplacées par de très petites valeurs. La valeur spécifique retenue devrait tenir compte de l’échelle
utilisée par chaque sujet (par exemple, la moitié de la plus petite valeur donnée par ce sujet).
9.3 Recherche de différences entre produits
Une ANOVA tenant compte de tous les facteurs relevant du plan expérimental (y compris les facteurs
déséquilibrés ou non orthogonaux entre eux) et réalisée à partir des données transformées en
logarithmes constitue la méthode la plus précise. En pratique, il n’est pas toujours possible de réaliser
une expérience conduisant à un plan complet permettant une analyse de la variance où tous les facteurs
sont équilibrés et orthogonaux entre eux. Par exemple, lorsqu’un projet s’étend sur plusieurs séances, il
n’est pas toujours facile de réunir à chaque séance exactement le même groupe de sujets. En tout état de
cause, il est toujours recommandé de s’adresser à un statisticien pour mettre au point le meilleur plan
d’expérience possible.
Lorsque des différences significatives entre produits sont révélées par l’ANOVA, on effectue ensuite l’un
des tests classiques de comparaison multiple de moyennes. Un exemple de comparaison de produits
sans réétalonnage des données est présenté en B.1 dans le cas d’un plan complet.
9.4 Régression
Dans les cas où les valeurs d’une variable S concomitante (telles que concentration, grandeur physique)
sont connues comme pouvant se rapporter à la réponse R, on peut se référer à la loi de Stevens et
estimer ses paramètres en effectuant la régression linéaire des réponses sensorielles sur cette variable
physique ou chimique, selon la Formule (1):
lnRK=ln +lnSn (1)
Dans une telle analyse, le paramètre présentant le plus grand intérêt est la pente, qui correspond au
paramètre n de l’équation de Stevens.
L’égalité des pentes de la régression entre les différents sujets peut également être testée.
9.5 Méthodes de réétalonnage
9.5.1 Réétalonnage global
Le raisonnement sur lequel s’appuie cette méthode est le suivant: chaque sujet ayant évalué le même
groupe d’échantillons, la grandeur totale de la réponse pour ce groupe d’échantillons devrait être
identique pour tous les sujets. C’est pourquoi on ramène l’échelle de chaque sujet à la même amplitude
totale pour cet ensemble d’échantillons communs.
La procédure est la suivante.
Pour l’ensemble des échantillons évalués par tous les sujets:
— calculer la moyenne du logarithme des estimations de chaque sujet;
— calculer la moyenne générale pour tous les sujets.
Pour chaque sujet:
— calculer la valeur corrective qui, une fois ajoutée à sa moyenne, rendra celle-ci égale à la moyenne
du groupe;
— ajouter sa valeur corrective à toutes les estimations de chaque sujet.
Un exemple de réalisation d’un réétalonnage global est donné en B.2.
9.5.2 Réétalonnage par rapport à une référence
Si un ou plusieurs échantillons de référence, non identifiés comme tels aux yeux du jury, ont été
incorporés dans la série d’essai, on calcule d’abord pour chaque sujet la moyenne des estimations
se rapportant aux échantillons de référence [premier échantillon et, éventuellement, référence(s)
cachée(s)]. Puis, on calcule la valeur corrective qui ramènerait cette moyenne à une valeur fixe. Pour
réétalonner les données obtenues pour les échantillons de l’essai, on multiplie chaque estimation du
sujet par la valeur corrective calculée à partir du ou des échantillons de référence.
Il convient de noter que l’ANOVA globale ainsi que la procédure de réétalonnage global engendrent une
erreur quadratique moyenne plus faible que la procédure de réétalonnage interne. Comme indiqué
en 8.2, il convient que la référence ait une intensité proche de la moyenne géométrique pour l’ensemble
du jury. Il a été démontré que l’erreur est moindre lorsque la valeur de l’intensité de la référence est
[6]
égale à la moyenne géométrique de l’ensemble des valeurs . Plus l’échantillon de référence est proche
de la moyenne géométrique réelle, mieux cela vaut.
9.5.3 Réétalonnage externe
La littérature fait état de diverses formes de réétalonnage externe. Après l’évaluation des échantillons
de l’essai, les sujets reçoivent une échelle de réponse verbale comprenant entre quatre et onze
graduations, et composée d’expressions telles que:
— extrêmement intense;
8 © ISO 2021 – Tous droits réservés
— très intense;
— modérément intense;
— peu intense, etc.
Le responsable du jury demande à chaque sujet d’attribuer des estimations de grandeur à ces
expressions qui soient cohérentes avec l’échelle utilisée lors de l’évaluation des échantillons de l’essai.
Les résultats fournis par chaque sujet sont corrigés à l’aide de la valeur de correction calculée en
appliquant la méthode de réétalonnage global aux valeurs données pour les différentes expressions de
l’échelle verbale de réponse.
Un exemple de réétalonnage externe est donné en B.4.
10 Rapport d’essai
Le rapport d’essai doit mentionner:
— les objectifs de l’étude;
— les résultats de l’essai;
— le nombre d’échantillons et une description des échantillons;
— l’éventuel recours à un échantillon de référence et, si c’est le cas, la nature de cet échantillon;
— le nombre de répétitions, s’il y en a;
— le nombre de sujets et leur niveau de qualification;
— les conditions générales de l’essai, telles qu'environnement, date, heure;
— toute autre information permettant d’évaluer la validité globale de l’essai;
— la référence au numéro du présent document, à savoir ISO 11056, avec mention des éventuels
aménagements apportés à la méthode;
— le nom du responsable de l’essai.
— la date de l’essai.
Annexe A
(informative)
Annexe A Modèles de questionnaires
A.1 Modèle de questionnaire sans module fixe pour l’échantillon de référence
Code du lieu de travail: . Date: .
1. Un échantillon de référence de jus d’orange codé «R» vous est présenté.
Il vous est demandé de le goûter et de noter l’intensité de sa saveur acide, à l’aide d’un nombre de votre
choix:
Réponse:
Mémorisez bien l’intensité de son acidité.
2. Six boissons à l’orange vous sont présentées.
Il vous est demandé de les évaluer en suivant l’ordre ci-dessous.
Pour chacun des échantillons, attribuez une valeur à l’intensité de la saveur acide, proportionnellement
à la valeur de la référence «R».
Vous devez regoûter la référence avant chaque échantillon.
10 © ISO 2021 – Tous droits réservés
Échantillon 561
Échantillon 274
Échantillon 935
Échantillon 803
Échantillon 417
Échantillon 127
A.2 Modèle de questionnaire avec module fixe pour l’échantillon de référence
Code du lieu de travail: . Date: .
1. Un échantillon de référence de jus d’orange codé «R» vous est présenté.
La valeur attribuée à son caractère «acide» est égale à 50.
Goûtez cet échantillon et mémorisez l’intensité de son acidité.
2. Six boissons à l’orange vous sont présentées.
Il vous est demandé de les évaluer en suivant l’ordre ci-dessous.
Pour chacun des échantillons, attribuez une valeur à l’intensité de la saveur acide, proportionnellement
à la valeur donnée à la référence «R» (50).
Vous devez regoûter la référence avant chaque échantillon.
Échantillon 561
Échantillon 274
Échantillon 935
Échantillon 803
Échantillon 417
Échantillon 127
12 © ISO 2021 – Tous droits réservés
Annexe B
(informative)
Annexe B Exemples d’analyse des données
B.1 Analyse des données d’un essai sans répétition et sans réétalonnage — Tous
les sujets évaluent une fois tous les produits de la série
B.1.1 Présentation
Le Tableau B.1 présente les résultats obtenus par sept sujets expérimentés ayant évalué l’intensité de
l’amertume de six échantillons d’une boisson contenant diverses quantités de caféine. Pour les sujets 1,
2 et 3, l’échantillon 274 est la référence externe avec une valeur numérique attribuée égale à 20. Pour
les sujets 5, 6 et 7, l’échantillon 803 est la référence externe avec une valeur attribuée égale à 40. Enfin,
pour le sujet 4, l’échantillon 935 est la référence externe avec une valeur égale à 32. Pour chaque sujet, la
référence externe a été le premier échantillon de la série; les cinq autres échantillons ont été présentés
dans un ordre aléatoire qui était différent selon le sujet. Les sujets n’ont pas évalué la référence externe
(les scores du Tableau B.1 sont ceux attribués par le responsable du jury), mais les sujets ont goûté cette
référence au moins cinq fois (une fois avant de goûter chacun des cinq autres produits), en l’associant au
score donné par le responsable du jury.
Les logarithmes népériens ont été calculés avec trois décimales et sont indiqués entre parenthèses dans
le Tableau B.1.
Tableau B.1 — Tableau des données relatives aux six échantillons
Codes des traitements
561 274 935 803 417 127
Sujet Concentrations (mg/100 ml)
9 18 36 40 72 144
Estimations de la grandeur (logarithmes)
1 10 (2,303) 20 (2,996) 35 (3,555) 40 (3,689) 70 (4,248) 140 (4,942)
2 8 (2,079) 20 (2,996) 38 (3,638) 44 (3,784) 85 (4,443) 160 (5,075)
3 8 (2,079) 20 (2,996) 36 (3,584) 40 (3,689) 75 (4,317) 150 (5,010)
4 7 (1,946) 15 (2,708) 32 (3,466) 37 (3,611) 70 (4,248) 135 (4,905)
5 12 (2,485) 25 (3,219) 38 (3,638) 40 (3,689) 75 (4,317) 145 (4,977)
6 12 (2,485) 22 (3,091) 35 (3,555) 40 (3,689) 80 (4,382) 160 (5,075)
7 9 (2,197) 18 (2,890) 35 (3,555) 40 (3,689) 74 (4,304) 145 (4,977)
Log moyen 2,225 2,985 3,570 3,691 4,323 4,994
Le fichier se trouve dans le dossier ME(2019) (DISQUE USB F) sous le nom Table Annex B1. Il est importé
dans R avec les trois commandes suivantes:
tableb1<- read
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.