Skip to main content
European Commission logo
SFC Support Portal
System for Fund Management in the European Union

ERDF/CF/JTF Monitoring & Evaluation | 2021 Support Materials MS

Guidance
According to CPR Art.13.1. the methodology for establishing the performance framework shall include: "(a) the criteria applied by the Member State to select indicators". Is there a list of recommended criteria for the selection of indicators?

The methodological document should explain, for each SO, the reasons behind selecting the indicators proposed. The RACER criteria are frequently used in selecting indicators. 

There should be a clear connection between the types of actions, the budget and the proposed indicators. Where specific indicators are proposed, there should be an explanation of why the common indicators were not relevant (on the basis of the definitions provided in the indicator fiches). The methodological document should also explain whether any lessons were learned from the use of indicators during the 2014-2020 programming period, which may support the decision to use or avoid using certain indicators.

This is essential for programmes that are planning to include many programme-specific indicators and/or few common ones. 


→ read more

On which basis should target values of common indicators be calculated: in relation to the budget or identified needs?

A good intervention logic starts with identifying the needs, their corresponding objectives and how the available budget can be allocated to the various objectives/actions. Once the budgeting has been done, the available budget can be used in calculating the targets.


→ read more

RCO38 mentions "an action plan adopted to redevelop and reuse the site”. Could you elaborate on this action plan? 

There is no specific definition for the type of action plan needed here. Overall, there should be a concrete plan for the reuse of the rehabilitated land (the reuse can be achieved beyond 12 months). 


→ read more

How are "integrated actions" defined?

Integrated actions combine investments in two or more of the following social inclusion areas: employment, education and training, housing, health and social care


→ read more

Could common output indicator RCO74 be used as a result indicator (even if, as a programme-specific indicator)?

Common output indicators cannot be turned into programme-specific result indicators - this applies to all Policy Objectives, as a matter of principle. Furthermore, result indicators should measure the effects of the interventions supported, with particular reference to the direct addressees, population targeted or users of infrastructure.  Output indicators do not measure results.
In addition, in PO5, a wide array of common result indicators from PO1-4 can be used when relevant to the type of action envisaged in the given strategy. We encourage the use of common result indicators wherever possible, however, if it is deemed necessary due to the nature of the given action, programme-specific result indicators can be used. These will need to be accompanied with a justification in the Methodological Documents.


→ read more

N’est ce pas l’AG qui va estimer ses cibles [indicateurs de resultat]? Ou alors cet organisme/source est par exemple : un institut de statistique ? une instance régionale sur la thématique en question ?

Nous laissons libre choix à l’autorité de gestion de mentionner dans le programme quel organisme prépare ou agrège les données, tout en notant que par cette possibilité l’AG ne peut pas se délester de sa responsabilité de fournir des données de qualité auprès de la Commission. 
La définition des indicateurs et l’estimation des cibles sont naturellement du ressort de l’Autorité  de Gestion.
 


→ read more

Result indicators for each SO should refer to “sources of data”. Could you explain what it means? The value communicated at PO level will be estimations based on potential selected projects and amounts dedicated to the SO?

‘Source of data’ shall describe the organisation/institution that produced/aggregated the data for the given result indicator.
 
Explanations on the method of estimation of indicator data are among the elements that should be found in the methodological document prepared by the managing authority in accordance with the provisions of Article 13 (2) CPR.


→ read more

Quelles sont les modalités de modification des cibles en cours de programmation ?

Les valeurs cibles peuvent être modifiées dans le cadre d’une modification d’un programme selon les conditions définies par l’Article 19 du projet de RPDC. L’examen à mi-parcours offre une autre possibilité de modification des valeurs cibles selon les conditions définies par l’Article 14 du projet de RPDC.


→ read more

Est-ce que 100% des programmes doivent être suivis et couverts par les indicateurs?

Pour le FEDER et le Fonds de Cohésion, tous les programmes doivent être couverts.


→ read more

How do we subsume indicators used for different regions, if the indicator is sought by both regions? For example, if the indicators are measured by the achievements of two regions, could these indicators be determined jointly for the whole of Lithuania?

As Lithuania (LT) territory is made up of two NUTS2 regions, the two-region-element should be addressed in the whole OP: presenting different types of challenges for the two regions in the strategic part, allocating resources for the regions, and, where relevant, different types of interventions.  
The Common and programme-specific output indicators for ERDF and ESF+ should be presented by category of region.  It means that, in the LT case, all the indicators selected should be programmed either for the ‘more developed’ or the  ‘less developed’ categories of region. There cannot be any other option, such as ‘the whole of Lithuania’. If a type of action is relevant for both regions, the same indicators (with the same ID) should be set for the two regions. As regards determining the target values for the indicators related to the investment activities serving the entire country, based on the experience of other countries, pro-rata basis according to shares of the financial allocations could be considered.
There are no guidelines dedicated to the programming specificities related to different categories of regions. However, the questions on post-2020 indicators and the performance framework can be discussed in the Evaluation network.  As the network involves the evaluation experts, we encourage you to use this format actively by raising specific questions and examples tailored to the LT programme.


→ read more

Quelles modalités opérationnelles de la revue de performance dans le cadre des comités de suivi ? Quelles modalités pour la revue à mi-parcours en 2025 ?

Les modalités opérationnelles de l’examen à mi-parcours prévu pour 2025 seront définies avant le commencement de celui-ci, selon les termes que la Commission jugera approprié. 


→ read more

Quelles sont les conséquences en cas de non atteinte des objectifs fixés (valeurs intermédiaires et cibles)?

Le degré de réalisation des valeurs intermédiaires de réalisation sera une composante de l’évaluation à mi-parcours telle que décrite dans la proposition de RPDC (Article 14). Il appartiendra aux États membres pour chaque programme de tenir compte des éléments visés à l’article 14(1) pour étayer leurs propositions concernant les ressources financières pour 2026 et 2027 et leurs choix en termes de réajustement des valeurs cibles. Lors de la procédure d’adoption des programmes révisés, la Commission décidera également en fonction de ces paramètres en suivant une approche à la fois quantitative et qualitative. 
Le respect ou non-respect des valeurs intermédiaires et cibles, constaté ou attendu, pourra également être abordé au moment de la réunion des comités de suivi (Article 35 de la proposition RPDC), au cours de la réunion de réexamen annuel des performances (Article 36 de la proposition RPDC), et lors de l’établissement des rapports de performance finaux (Article 38 de la proposition RPDC). En ce qui concerne plus particulièrement les indicateurs de résultat, leur analyse servira à nourrir les rapports d’évaluation des autorités de gestion et de la Commission (visés respectivement aux articles 39 et 40 de la proposition RPDC). 


→ read more

Fréquence de remontée des données indicateurs

Les fréquences (tous les deux mois selon la proposition législative, mais reste à confirmer dans les négociations) sont identiques entre le FEDER et le FSE+. Concernant l’objectif spécifique XI de la DG EMPL relatif au plus démunis, la fréquence sera annuelle. 


→ read more

La méthode du coût unitaire est privilégiée. Quelque 21-27 projets étaient connus auparavant, du fait de la maturité et du déblocage automatique à N+2. Une consolidation des objectifs et des cibles, peut-elle être considérée comme une méthode pertinente?

Dans certains cas, la méthode par coût unitaire s’avère particulièrement appropriée pour le FEDER et le FSE+. C’est en particulier le cas quand les différentes actions d’un objectif spécifique (ou le public visé) s’avèrent suffisamment homogènes pour permettre une approche consolidée qui maintient un lien étroit de pertinence entre l’indicateur synthétique d’une part et la logique d’intervention d’autre part. Pour des projets lourds agglomérant des composantes plus hétérogènes, des méthodes alternatives d’évaluation des coûts fondées par exemple sur des études de faisabilité peuvent se révéler plus appropriées. 


→ read more

Quels éléments inclure dans le guide méthodologique sur les indicateurs ? Les autorités de gestion sont soucieuses de devoir présenter le guide méthodologique par type d'action alors que le plan de financement doit être présenté par objectifs spécifiques

Comme mentionné au cours du séminaire, l’accent porté sur la confection d’un document de méthodologie intégré est une des innovations de la nouvelle période Son contenu est dicté par les dispositions de l’article 13 de la proposition de RPDC. Ce (ou ces) document(s) doit contenir les éléments suivants : (a) les critères appliqués par l’État membre pour choisir les indicateurs; (b) les données ou éléments de preuve utilisés, l’assurance de la qualité des données et la méthode de calcul; (c) les facteurs susceptibles d’influer sur l’obtention des valeurs intermédiaires et des valeurs cibles et la façon dont il en a été tenu compte. La Commission souhaite obtenir ces éléments de méthodologie en même temps que la présentation des indicateurs et valeurs attachées, puisque la préparation de la méthodologie demandée couronnera d’un point de vue logique la réflexion entamée sur la pertinence, la construction, le suivi et la robustesse des indicateurs proposés. La Commission a présenté quelques maquettes d’objectifs spécifiques et de documents de méthodologie auprès d’EVALNET (FEDER) et du Partenariat pour l’évaluation (FSE+) et fournira d’autres exemples à l’automne 2020. 


→ read more

L’évaluation à mi-parcours permettra-t-elle de revoir à la hausse comme à la baisse les valeurs cibles, en cas d’amélioration de l’économie plus forte qu’anticipée dans le contexte du Covid par exemple?

La proposition de législation prévoit que les autorités auront la possibilité de réviser leurs valeurs cibles lors de l’examen à mi-parcours (Article 14(2) RPDC) à l’occasion de la présentation d’un éventuel programme révisé. Naturellement la Commission examinera les justifications apportées à l’appui de ces modifications et déterminera sa décision quant à l’adoption de l’amendement au programme en conséquence. 


→ read more

Will it be any guidance from the Commission on how to split values of indicators between more and less developed regions for systemic/national interventions?

At programming stage, targets can be set (estimated) based on available data on presence of target groups. Or, in the absence of data on target groups, on a population pro rata basis. In monitoring it would be expected that location of the beneficiaries / or the investment are identified by their location in the category of region. 


→ read more

What is meant by 'target group'?

The meaning of 'target group' remains unchanged from the current period CPR. The target group designates the typical categories of beneficiaries / final recipients that the intervention intends to support, e.g. research institutes, SMEs, local administrations, unemployed persons, vulnerable groups etc. It is for the programme to establish them and include the information in the template.


→ read more

Will the Commission be providing guidance on the monitoring and data collection by Member States in the next programming period?

The Commission will not be providing guidance. In the networks and partnerships on evaluation with national experts, the nature of the indicators have been discussed along with the changes that are proposed (i.e. result / outcome indicators for ERDF-CF). 


→ read more

What are the criteria for the Commission's assessment of the 2029 indicator targets at the adoption of the OPs?

The Commission will assess targets based on the details set out in the Performance Framework Methodological  Document. 


→ read more

Indicator coverage/choice

ITI-CLLD-Integrated

How should "population covered by projects” be defined in RCO74 and what calculation method is recommended for this indicator, as well as RCO75?

The population covered depends on the strategy, its geographic area and any criteria included in the strategy that may restrict the categories of people targeted (otherwise, it will be the entire population living in that geographic area or administrative unit).

 


→ read more

Result
Pour le RCR71, il y a une incohérence entre la fiche quant à la baseline et l’annexe reprenant les indicateurs pour lesquels il faut définir une baseline. Pourriez-vous vérifier et nous dire ce qu’il en est ?

la Baseline correcte est bien: ‘>=0’ – si il s’agit d’un nouvel établissement, la Baseline peut être égale à ‘0’ ; dans tout autre cas, celle-ci devra être supérieure ‘>0’. 


→ read more

The baseline for RCR11 currently shows 0. Should it not be >=0?

The correct baseline for RCR11 is >=0 - if the public digital services, products and processes are new, the baseline may be equal to 0, in all other cases, it should be >0.  


→ read more

The baseline for RCR12 currently shows 0. Should it not be >=0? because in Row 10 says “The indicator has a baseline 0 only if the digital service, product or process is new

The correct baseline for RCR12 is >=0 - if the public digital services, products and processes developed by enterprises are new, the baseline may be equal to 0, in all other cases, it should be >0.  


→ read more

Could the baseline for indicator RCR64 be >=0 ? The baseline of the indicator is estimated as the annual number of users of the infrastructure for the year before the intervention starts, and it is zero for new infrastructure

The correct baseline for RCR64  is >=0 - if the cycling infrastructure is new, the baseline may be equal to 0, in all other cases, it should be >0.  


→ read more

Should the baseline for RCR43 be >0 since an intervention takes place only if there are water losses?

Indeed, the baseline refers to the annual volume of water losses for the respective pipes in the year before the intervention starts, which should not equal to zero when using this indicator.


→ read more

Les territoires n'ayant pas été identifiés, il paraît difficile de quantifier une cible pour un indicateur de résultat.

En effet, les AG devront procéder à une sélection des territoires et avant celle-ci, il est difficile savoir sur quel périmètre, quel projet se fonder pour déterminer des cibles. 
Peut-on envisager l'OS sans indicateur de résultat ? Peut-on indiquer dans le PO que les cibles et la justification des choix des indicateurs seront précisées une fois les territoires sélectionnés ? 
« La problématique concerne la difficulté de fixer des cibles pour les indicateurs de la priorité territoriale alors que les modalités de mises en œuvre ne sont pas encore arrêtées (et donc les périmètres d’intervention non plus) »

 

ANSWER: 


Pour ce type d’OS, il n’est pas possible de ne pas avoir d’indicateur de résultat mentionné. Il n’est pas possible non plus de ne pas fournir de justification pour l’indicateur retenu. Néanmoins, en ce qui concerne le calcul des cibles, il peut être difficile d’anticiper avec précision quels investissements seront retenus. Des estimations seront nécessaires. Afin de préparer ces estimations, il est nécessaire d’optimiser les informations découlant de la précédente période de programmation (on rappelle que des indicateurs relatifs aux volets territoriaux des programmes de la période 2014-2020 étaient disponibles). Après la programmation et la sélection au sein des composantes territoriales des programmes 21-27, il sera possible de mettre à jour les cibles (par exemple pendant la révision à mi-parcours de 2025).

 


→ read more

RCR11 / RCR12 : la définition d'un utilisateur et la capacité à estimer un nombre d'utilisateurs (au vu de la diversité des types de projets pouvant être soutenus sur les usages numériques) posent question pour les AG françaises.

Une méthodologie nationale de calcul a-t-elle été envisagée ? Dans les indicateurs de résultat RCR 11 et RCR 12, les utilisateurs de services, produits et services numériques font référence aux utilisateurs individuels, qui peuvent être identifiés par le fournisseur bénéficiant du soutien. Les utilisateurs comprennent : les clients des services (services publics pour le RCR 11) et des produits nouvellement développés ou améliorés, et le personnel de l'institution publique utilisant les processus numériques nouvellement développés ou considérablement améliorés.


→ read more

Par ailleurs, quelles pièces justificatives pourront être légitimement attendues du porteur de projet sur les indicateurs de résultat d'innovation dans les PME (RCR05, RCR03, RCR04) ?

Le type de pièce justificative requise dépendant des données disponibles localement et du cadre réglementaire national, nous considérons que le niveau de coordination national est mieux à même de répondre à cette question.


→ read more

Could the RCR29 baseline be set to zero? This assumption could be temporary and updated with the first OP amendment. The project would use the EIB methodology and monitor emissions which will be aggregated to the level of the SO of the programme.

From the DG REGIO perspective, it is imperative that programmes make an attempt to estimate the targets and the baselines for the actions expected under the relevant specific objectives in order to understand the context and the scale of the GHG reductions envisaged. A very significant financial effort will be made to support the Green Deal using EU budget funding, and reducing GHG emissions is of the highest policy priority. Not having baselines and targets in initial programmes will undermine the Commission’s presentation of the justification for the EU budget to the Council and the European Parliament in the early year of the 2021-2027 programme period.  For that reason, we must ask that the best is made to estimate the baseline and targets for relevant specific objectives.  
The basis for estimating the targets could be the experience with similar actions in 2014-2020, while taking into account any changes in actions planned for support or other contextual elements.  Where you have information on unit costs, and these are relevant for the different actions you are planning to finance in future, then this would be a reasonable starting point.
We recall that the performance framework methodology provides the possibility to outline the data, evidence and assumptions used in selecting indicators and calculating baselines, milestones and targets as relevant.  The uncertainty surrounding the lack of information on the projects to later be selected could be set out in the methodology.


→ read more

Ces indicateurs relatifs aux déchets comprennent-ils bien tous les déchets ménagers et industriels?

Nous souhaitons attirer votre attention sur les textes législatifs et réglementaires mentionnés dans les fiches indicateurs RCO107/RCR47/RCR103, en particulier les références à la Directive relative aux déchets (« Waste Framework Directive » ; 2008/98/EC) du 19 Novembre 2008. 


→ read more

Quel était l’objectif de l’introduction des nombreux indicateurs de résultat FEDER ?

Le renforcement de la liste des indicateurs communs de réalisation a pour objectif de mieux valoriser les résultats des programmes. Les nouveaux indicateurs renforceront la capacité d’analyse, d’évaluation et de communication sur les réalisations obtenues pour toutes les parties prenantes. Ils fourniront des valeurs plus facilement comparables entre pays et régions. Nous tenons à rappeler qu’au moment de la publication de la proposition de la Commission, de nombreux États membres ont exprimé leur gratitude pour le remplacement des indicateurs utilisés au cours de la période 2014-2020 par des indicateurs de résultat au niveau de l’intervention. Les études rétrospectives contractées par la Commission avaient dégagé deux enseignements principaux : (i) il y avait des ‘trous’ dans la couverture des indicateurs communs et ii) certains indicateurs étaient trop vagues et se prêtaient mal à des exercices de comparaison. 


→ read more

Comment prendre en compte le risque que les bénéficiaires ne donnent pas des informations complètes sur les cibles des indicateurs de résultat?

On rappellera tout d’abord que selon les dispositions de l’article 63(4) du RPDC : « Les États membres s’assurent de la qualité et de la fiabilité du système de suivi et des données relatives aux indicateurs. » 
L’autorité de gestion doit anticiper les éventuels problèmes de collecte mentionnés et bien faire comprendre aux bénéficiaires dès le début qu’un certain nombre d’obligations de collecte des informations s’imposent à eux. C’est pourquoi ils devront prévoir dès le début, et mettre en œuvre au moment approprié, les procédures leur permettant de collecter les informations sur les indicateurs demandés. L’autorité de gestion doit naturellement leur communiquer la nature des indicateurs concernés, indiquer ce qui est attendu par l’AG de leur part et sensibiliser les bénéficiaires quant à l’importance de telles informations. 
Opérationnellement parlant, la mesure des résultats peut commencer après l’achèvement physique de la réalisation. Pour certains indicateurs (ex : emplois de recherche créés dans des entités bénéficiant d’un soutien), la mesure peut être immédiate au moment de l’achèvement du projet. Pour d’autres indicateurs (tels que la consommation d’énergie primaire pour les interventions en matière d’efficacité énergétique), le résultat doit être mesuré sur une période de temps. Dans de tels cas, nous avons proposé un an comme solution de compromis. Nous ne pouvons pas nous permettre de retarder la mesure des résultats pendant une période trop longue, étant donné que la période de programmation a une durée limitée. 
Il convient enfin de noter que pour un certain nombre d’indicateurs de résultat, nous avons suggéré dans les négociations avec les États membres de recourir également à d’autres sources de données si cela s’avère nécessaire, telles que les registres publics pour les PME ou d’autres bases de données au niveau national.


→ read more

Pour les indicateurs de résultats communs Interreg, sur quelle base peut-on calculer les valeurs de référence (baseline values) ?

Nous invitons les AG à consulter la deuxième version des fiches d'indicateurs pour les indicateurs communs de réalisation et de résultat d'Interreg qui a été récemment diffusée (au début de juillet 2020) aux membres d'EVALNET et avec Interact. Le document méthodologique défini en relation avec le système d'indicateurs du programme devrait inclure les hypothèses utilisées par l'Autorité de Gestion pour fixer les valeurs de référence en relation avec les indicateurs communs de résultat Interreg. Comme expliqué dans les fiches d'indicateurs, la valeur de base pour les indicateurs de résultat peut être égale à zéro ou être supérieure à zéro selon les indicateurs. Une valeur de base pour les indicateurs de résultat supérieure à zéro devrait être associée à l'existence de données de suivi très proches conceptuellement provenant d'interventions précédemment financées. 


→ read more

According to the definition of RCR17, “an enterprise is considered new if it did not exist during the three years period before the project started”. This remark should be understood in terms of the company not being more than three years old?

The matter has been discussed during the EVALNET meetings and it has been agreed that the age of the enterprise is assessed at the time when they receive support. See EVALNET minutes on discussions on PO 1 (https://ec.europa.eu/regional_policy/en/policy/evaluations/network/meet… p. 20).


→ read more

Does RCR05 refer to enterprises innovating for their own use or does it also include enterprises which are not research oriented but carry out innovation activities for other entities?

According to the indicator fiche, these are in-house research activities and do not cover those research activities contracted to other entities. The idea is to measure companies with a potential for own innovation. This definition is taken from the Community Innovation Survey (explained in the fiche). For research activities undertaken for another entity, result indicator RCR03 may be used.


→ read more

According to the Commission proposal from May 2018, the name of the indicator, RCR26, refers to final energy consumption. Where does the primary energy consumption come from?

The Commission’s initial proposal for RCR26 in terms of annual final energy consumption was amended by the Council in June 2019. After negotiations in the SMWP, the Member States decided (in the Council compromise) to choose the primary energy consumption. The most updated version of the annex with indicators is the one from the Council at: https://data.consilium.europa.eu/doc/document/ST-10285-2019-INIT/en/pdf  (this is not yet final as it needs to be agreed also with the European Parliament). 


→ read more

Indicator coverage/choice
RCO 114 Open space created or rehabilitated in urban areas* - Because this common output indicator has not a corresponding common result indicator, it is appropriate to identify a specific result indicator, such as: Population with access to rehabilitated

/renovated spaces accessible for the public?

ANSWER

Yes, creating a specific result indicator is necessary and the one proposed seems appropriate. Giving the resemblance to RCR95, it would be good to set a limit to the population included, such as the population living within a 2 km radius from the open space created or rehabilitated.


→ read more

RCO 67 Classroom capacity of new or modernised education facilities - Under the indicator RCO 67, could we count also the capacity created in sport facilities of the education units and in campuses (spaces for pupils/students accommodation)?

The indicator only covers classroom capacity, which could include gyms, but external facilities and accommodation are not covered. 


→ read more

RCO 59 - Alternative fuels infrastructure (refuelling/recharging points)* - The indicator fiche mentions: “Number of refuelling/ recharging points for clean vehicles financed through supported projects.”, but does not explicitly clarify that it

it refers only to refuelling/ recharging points dedicated to electric public transport. Does this indicator covers refuelling/ recharging points accessible for electric (private) vehicle? 
We would appreciate supporting us with indicative costs of this type of infrastructure (recharging/refuelling) as it is defined in the indicator fiche. “A recharging point means an interface that is capable of charging one electric vehicle at a time or exchanging a battery of one electric vehicle at a time. A refuelling point refers to a refuelling facility for the provision of alternative fuel through a fixed or a mobile installation”.
 

ANSWER 

Yes, the indicator includes refuelling/charging points available to private vehicles.

For indicative costs, we do not have such information. 


→ read more

RCR 95 - Population having access to new or improved green infrastructure - What the calculation methodology is for green roofs type of green infrastructure in the context in which it should be observed at ‘’2 km radius from the public green

 infrastructure in the context in which it should be observed at ‘’2 km radius from the public green infrastructure”? 

ANSWER 

RCR95 refers to public green infrastructure in urban areas. In case of green roofs that are accessible to the public, these should correspond to public buildings, and the population included in the calculation will be the population registered to live at addresses within a 2 km radius from the building(s) subject to the intervention.


→ read more

RCO 36 - Green infrastructure supported for other purposes than adaptation to climate change - In the context where the code of intervention ‘’050 -Nature and biodiversity protection, natural heritage and resources, green and blue infrastructure” covers

covers also the blue infrastructure, will this indicator summing up the surface of blue infrastructure? Also, how could “green roofs” (which are considered green infrastructures) be integrated and summed up?

ANSWER

No, RCO36 does not include blue infrastructure (which is counted in RCO26).

The surface of green roofs expressed in hectares will be counted under the indicator. 


→ read more

In the definition it is mentioned that "The achieved value is to be estimated ex-post over a period of one year after the completion of the intervention". What is meant by 'ex-post' here?

The achieved value over a period of one year after completion should be estimated at the time of completion. 
See “Methodological support for ERDF and Cohesion Fund result indicators in the field of transport post 2020” JASPERS (2021) :  https://ec.europa.eu/regional_policy/sources/policy/evaluations/General Guidance/2021/transport-indicators/methodl_support_indicators_post_2020_en.pdf  


→ read more

How could indicator RCO113 be targeted at this phase of designing the Programmes, given that the projects of the integrated actions may not yet be known?

Based on the budget available, the MA is encouraged to make an estimation – a target value should be included.  Past experience in 2014-2020 programming can be used. The data and method for estimating the targets should be documented in the performance methodology and the targets can be revisited, f.i. at the mid term review. 


→ read more

Given that the population of beneficiaries of the individual projects under integrated actions may differ, the principle of avoiding double counting applies to the RCO113?

Yes, the population in a given area should be counted once even if covered by several projects financed in the same specific objective.


→ read more

RCR19 -enterprises with higher turnover (growth) - counts Number of enterprises supported to sustain or achieve turnover growth. In the case of cluster management organizations that receive support, can we measure the achievement of this indicator from

enterprises – members?  

ANSWER

If the objective of the support given to the enterprises in the cluster is to achieve a higher turnover growth, then those enterprises can be counted under RCR19 and the output will be the number of enterprises with a higher turnover.
If the enterprises supported for other reasons also achieve higher turnover growth, they should not be counted under RCR19.


→ read more

RCR03 - Number of SMEs introducing product or process innovation due to the support provided. Includes in the definition the reference to the product innovation means - market introduction of a new or significantly improved good or service.

 Is RCR 03 appropriate to measure results for minimum viable product or proof of concept given their limited market?  

ANSWER

The definition clarifies that it refers to the “market introduction”, so the minimum viable product or proof of concept is put on the market, it can be counted under RCR03. If not, a separate specific result indicator would be necessary.


→ read more

RCO 16 - Participations of institutional stakeholders in entrepreneurial discovery process - RCO016 - covers only the institutional participation in the entrepreneurial discovery process.

Can this indicator be used also to monitor interventions targeting at development of skills for smart specialization of the EDP participants under OS(iv), with reference to the ERDF Reg provision in Art.2, al.3 lit a)bis.

ANSWER: 

There are two types of interventions: entrepreneurial discovery process (for which we have RCO16 and institutional stakeholders) and smart specialisation skills (RCO101, for enterprises). The two cannot be combined, but the programme could develop a specific indicator suitable to the type of intervention envisaged.


→ read more

RCO 10 Enterprises cooperating with research institutions - Concerning the definition of this indicator - Number of enterprises that cooperate in joint research projects with research institutions.

Cooperation in R&D activities may be new or existing and it should last at least for the duration of the project supported. The indicator covers active participations in joint research projects, and it excludes contractual arrangements with no active cooperation in the supported project. What means contractual arrangements with no active cooperation? If an SME submit a project for SO (i), and after selection of the projects, buys specific services form a research-innovation entity, based on a contract lasting by the end of the project, could this arrangement be considered contractual arrangement with active cooperation?

ANSWER: 

If the only activity taking place in the project is the purchase of services from the enterprise by the RO, not involving joint research activities, the enterprise should not be counted under RCO10.

If the activity consists in actual cooperation in delivering R&D-based activities between the enterprise and the research institution (e.g. iterative meetings to discuss products, services, processes), which may result in the purchase of a product or service, the enterprise can be counted under RCO10.


→ read more

RCO 04 Enterprises with non-financial support - Enterprises which are members of an innovation cluster supported under SO (i) for procuring fix assets (tangible/intangible) to be commonly used by all enterprises in the cluster, but also for other types of

specific support  offered to them by the cluster, could they be counted as enterprises receiving non-financial support from the cluster?

ANSWER: 

The indicator fiche gives a few examples of non-financial support: advisory services (consulting assistance and training for the exchange of knowledge and experience etc.) or support services (provision of office space, websites, data banks, libraries, market research, handbooks, working and model documents etc.). 


→ read more

Pour le RCR73 - Utilisateurs annuels faisant usage des infrastructures de soins de santé (patients / an), peut-on envisager de calculer la cible en mobilisant un objectif d'atteinte des capacités maximales (RCO69) des infrastructures de santé soutenues ?

Il est possible d’utiliser comme cible la capacité maximale des infrastructures soutenues s’il est raisonnable d’escompter que ces infrastructures seront utilisées à plein au terme de la période.


→ read more

RCO 97 : Communautés d’énergie renouvelable bénéficiant d’un soutien. Un particulier en autoconsommation (1 seule entreprise) peut-il constituer une communauté d'énergie renouvelable à lui seul ?
RCO 26 : Infrastructures vertes construites ou modernisées en vue de l’adaptation aux changements climatiques Comment prendre en compte le "petit linéaire" au regard de l'unité de mesure retenu (en hectares)? Y-a-t-il une règle de conversion?

Concernant le "petit linéaire", nous suggérons d'estimer la largeur des lignes d'arbres, des haies, des talus, etc. et de la multiplier par la longueur de l'infrastructure construite ou améliorée pour obtenir un chiffre exprimé en hectares et donc compatible avec le RCO26.


→ read more

Pour le RCR029, la définition a été modifiée, demandant la valeur avant et après projet. Nous avons besoin de précisions pour le calcul des deux valeurs « avant » et « après »

et ainsi éviter de faire un amalgame entre la production d’EnR et la consommation d’énergie.  En matière d’EnR, la Commission estimait que les EnR étaient considérées comme neutres en matière d’émissions de GES sur la période 2014-2020. Ce n’est a priori plus le cas sur 21-27. 
Pour la valeur de référence (avant), il semble donc possible de s’appuyer sur les données du CO34 pour calculer la valeur « avant » travaux. Partagez-vous cette idée ? Pour la valeur « après » l’intervention, nous ne voyons pas sur quels éléments nous baser pour calculer cette valeur, il n’y a pas de méthode explicite et opérationnelle.

ANSWER: 

En ce qui concerne les investissements dans les énergies renouvelables, il existe des indicateurs disponibles tels que RCO26, RCR31, RCR32, qui devraient fournir suffisamment de possibilités aux autorités de gestion pour déployer leurs investissements.
Concernant le RCR29, il a besoin d'une base de référence, donc des estimations des émissions de GES actuelles doivent être fournies, ainsi que des estimations de ce que l'intervention apporterait en termes de réduction des GES. Pour estimer la diminution attendue et en plus des méthodes habituelles impliquant des audits énergétiques ou d'autres évaluations techniques, les retours d'expérience de la période de programmation passée peuvent être utilisés, par exemple en examinant les valeurs de l’indicateur CO34. L'utilisation des données du CO34 doit être faite avec discernement en tenant compte des périmètres potentiellement différents des projets et des types d'opérations à mener pendant la période 21-27 par rapport à la période 14-20.

Dans ce domaine, nous vous rappelons également les présentations faites au cours du séminaire de novembre 2020 en association avec la BEI :
https://ec.europa.eu/regional_policy/en/policy/evaluations/guidance/#1


→ read more

Pour le RCO022, est ce que nous devons obligatoirement utiliser des facteurs de charge?

Cet indicateur vise à mesurer la capacité de production supplémentaire d'énergie renouvelable construite ou étendue grâce à l'aide. La capacité de production s'entend comme la puissance maximale installée (ou à installer). Le facteur de charge auquel vous faites référence dans votre question ne correspond pas au concept utilisé pour l'indicateur RCO022.


→ read more

RCR 02 Investissements privés complétant un soutien public (dont: subventions, instruments financiers)Concernant la part non éligible du projet, sommes-nous sur du déclaratif? Quelle est la pièce justificative attendue?

Le type de pièce justificative requises dépendant des données disponibles localement et du cadre réglementaire national, nous considérons que le niveau de coordination national est mieux à même de répondre à cette question.


→ read more

RCR 01 Emplois créés dans des entités bénéficiant d’un soutien - L'autoentrepreneur compte-t-il pour un emploi créé?
Est-il obligatoire que chaque objectif spécifique soit composé a minima d’un indicateur de réalisation et d’un indicateur de résultat ? Ou bien est-il possible de n’avoir que des indicateurs de réalisation pour suivre les actions d’un objectif spécifique?

Nous vous invitons à consulter les dispositions de l’Article 17(3)(d)(ii) du projet de RDPC.


→ read more

In the 14-20 period there was a minimum share of the financial allocation for indicators at the SO level. Could a minimum share be set for the 21-27 period? What is the expected coverage of common and specific indicators at the SO level for this period?

In 2021-2027 the performance framework mechanism will function differently than in 2014-2020. All outputs shall have milestones and targets to track overall performance.  There is no prima facie obligation for the financial coverage by output indicators.  However, it is anticipated that the expanded list of common outputs and the use of programme common indicators will lead to very high coverage of investments by output indicators.
The regulation does not set a minimum requirement on the coverage of output indicators. There should be some flexibility to avoid that a common indicator might be needed to cover marginal or isolated actions (not covered by more widely relevant indicators). The PF methodology (Article 13) talks about the criteria applied in selecting indicators. The budget covered by the indicators proposed will be a relevant criteria. The scale of the investment effort by specific objective (SO), the homogeneity or diversity of actions and the relevance of common or result indicators will be others. In the case of a SO with a significant budget (absolute or relative) and homogeneous actions, it could be expected that close to 100% of the budget is covered by indicators. In the case of a SO with a small budget covering diverse actions, a lower coverage could be justified.
The 50%+ minimum percentage for PF indicator coverage in 2014-2020 is not a relevant comparator for the period 2021-2027. That provision was specifically linked to the sub-set of indicators used in the 2014-2020 PF to inform the performance review and performance reserve. Other indicators (common and specific) also existed with targets set outside the 2014-2020 PF. 
 


→ read more

Le poids financier des opérations auxquelles sont associés les indicateurs doit-il être pris en compte dans la sélection des indicateurs comme en 2014 2020 (ex : 50% des opérations de l’enveloppe totale doit être couverte)?

Il convient de rappeler préalablement que l’utilisation d’indicateurs communs est cruciale afin de pouvoir mieux suivre, évaluer et communiquer sur la progression et la réussite des actions entreprises au niveau européen. Le concept de couverture minimale a été abandonné pour cette nouvelle période de programmation. Par conséquent, il n’existe pas de référence dans la proposition législative à un pourcentage-cible. Au lieu de cela, le principe suivant s’appliquera : les indicateurs doivent couvrir fidèlement la logique d’intervention. D’ailleurs, la méthodologie décrite à l’article 13 de la proposition RPDC mentionne la nécessité d’expliquer les critères utilisés dans la sélection des indicateurs. Le volume financier couvert par les indicateurs proposés sera un critère pertinent. L'ampleur de l'effort d'investissement par objectif spécifique (OS), l'homogénéité ou la diversité des actions et la pertinence des indicateurs communs ou spécifiques en seront d'autres. 
 
Séminaire national – Suivi, performance et évaluation des programmes européens FEDER-FSE+-CTE 
Dans le cas d'un OS doté d'un financement important (en termes absolus ou relatifs) et d'actions homogènes, on peut s'attendre à ce qu’une vaste majorité en termes de coûts totaux soit couverte par les indicateurs. Dans le cas d'un OS doté d'un faible budget et couvrant des actions moins homogènes, une couverture légèrement moindre pourrait être acceptable. 
La Commission souhaite que des indicateurs communs soient utilisés aussi fréquemment que possible. Néanmoins, si pour des raisons de pertinence eu égard aux actions proposés, des indicateurs spécifiques sont nécessaires, alors il sera possible de les définir et de les sélectionner. 
Quant au nombre d’indicateurs, nous nous contenterons de rappeler les termes de notre proposition législative (Article 17(3)(d) RPDC). Plus que le nombre, c’est la pertinence des indicateurs qui nous paraît être un critère décisif…


→ read more

Les indicateurs de résultats (FEDER) doivent-ils être systématiquement renseignés si les indicateurs de réalisation associés ont été choisis (notamment en cas de redondance ou du faible lien avec l’opération pour certains indicateurs de résultat)?

Nous comprenons que cette question concerne le FEDER. Lorsque la liste des indicateurs communs a été présentée, l’objectif consistait à proposer un enchaînement logique entre d’une part les indicateurs de réalisation et d’autre part les indicateurs de résultat. Cela ne signifie pas nécessairement qu’ils doivent être appariés en toutes circonstances. Dans certains cas (comme dans le cas du soutien aux entreprises), il peut exister de multiples combinaisons. Pour d’autres types d’objectifs spécifiques, le choix sera plus réduit. En tout premier lieu, il reviendra à chaque programme de proposer une logique d’intervention bien calibrée et d’y adjoindre un jeu d’indicateurs approprié.


→ read more

Si l’indicateur (FEDER) est pertinent mais que la collecte est trop coûteuse ou trop complexe, est-il possible de ne pas choisir cet indicateur ? Est-il possible de le remplacer par un indicateur spécifique ?

Nous comprenons que cette question concerne le FEDER. Le critère de pertinence nous apparaît crucial dans la sélection des indicateurs. Par conséquent, il ne peut être possible de transiger pour des raisons mentionnées. Il pourra être nécessaire d’adapter le système de suivi. S’il n’était même pas possible de mesurer les réalisations, alors cela devrait faire réfléchir quant à la validité des objectifs poursuivis. Il convient de rappeler que les coûts associés à la collecte des données sont des coûts éligibles.


→ read more

Tous les indicateurs FSE+ doivent-ils être suivis pour chaque PO ? Lorsqu'un indicateur sort du cadre des actions financées par un PO, quelle doit être la procédure, concernant par exemple la définition des cibles des indicateurs?

En ce qui concerne les rapports, l'approche actuelle est maintenue. Dans le cas dans lequel il y a des participants dans un certain objectif spécifique, tous les indicateurs communs du FSE + sur les participants doivent être déclarés. Notez la clause de l’annexe I: «if certain results are not possible, data for those result indicators do not have to be collected and reported. Common output indicators on participants can be derived from the type of the operation.» Par exemple, dans votre question: si vous savez à l'avance qu’il n'y aura pas de participants des zones rurales parce que par ex. seuls les résidents d'une certaine ville sont éligibles, ce n'est pas nécessaire de demander ces informations des participants, car sa valeur, par défaut, sera 0 dans cette opération ou objectif ou programme spécifique.
En ce qui concerne la fixation d'objectifs («fixer une cible à 0»): l'approche actuelle est maintenue. Des objectifs quantifiés sont fixés sur une sélection d'indicateurs, qui est en accord avec la logique d'intervention du programme, de préférence avec des indicateurs communs.


→ read more

Quel est le pourcentage de "couverture" des objectifs spécifiques (OS) ?

Indicateurs proposés sera un critère pertinent. L'ampleur de l'effort d'investissement par objectif spécifique (OS), l'homogénéité ou la diversité des actions et la pertinence des indicateurs communs ou spécifiques en seront d'autres. 
 
Séminaire national – Suivi, performance et évaluation des programmes européens FEDER-FSE+-CTE 
Dans le cas d'un OS doté d'un financement important (en termes absolus ou relatifs) et d'actions homogènes, on peut s'attendre à ce qu’une vaste majorité en termes de coûts totaux soit couverte par les indicateurs. Dans le cas d'un OS doté d'un faible budget et couvrant des actions moins homogènes, une couverture légèrement moindre pourrait être acceptable. 
La Commission souhaite que des indicateurs communs soient utilisés aussi fréquemment que possible. Néanmoins, si pour des raisons de pertinence eu égard aux actions proposés, des indicateurs spécifiques sont nécessaires, alors il sera possible de les définir et de les sélectionner. 
Quant au nombre d’indicateurs, nous nous contenterons de rappeler les termes de notre proposition législative (Article 17(3)(d) RPDC). Plus que le nombre, c’est la pertinence des indicateurs qui nous paraît être un critère décisif. 


→ read more

Investments in culture under the ERDF/CF regulation seem to be cross cutting however there are no particular indicators which capture such investment. Can programme-specific indiactors be used?

Programme-specific indicators can be accepted if (1) no common indicators are available for the respective type of action, or (2)  they are clearly different from the common indicators introduced at EU level.


→ read more

Output
If supported by the intervention logic, could we use common output indicators in PO 4 (in accordance with Table 1 of Annex I of Reg. EU 2021 / 1058) not marked with an asterisk (*) to other specific objectives within PO 4;

For example RCO70 Capacity of new or modernised social care facilities (except housing) under S.O 4v could also be used under S.O. 4.iii. 
 

ANSWER

No, common  indicators  without asterisks  are  not  available  outside  the specific  objective  concerned  in  order  to  encourage  programmes  to  focus  on  the collection  of  the  most  relevant  common  indicators  and  limit  the  burden  to  report  on ancillary outputs or results. However, if deemed appropriate by the MA, the indicator can be used in another SO by using a programme-specific indicator code (i.e. RCO66a) 


→ read more

RCO04 is used when non-financial support is given. There is a (non-exclusive) list of support services in the indicator’s fiche, but could the benefitting enterprises also be counted here? Can we also count the jobs created under the indicator RCR01?

The indicator relates to the enterprises targeted (forecast) and benefiting from the non-financial support. Potentially benefiting enterprises should not be counted. Only actual beneficiaries should be reported. 
In the case of job creation in the enterprises supported, this should be reported as a result indicator.


→ read more

Avec la suppression du RCO99, les sites naturels remarquables hors natura 2000 bénéficiant d’une opération de protection de la nature et de la biodiversité peuvent-ils relever de cet indicateur?

Afin de remplacer l’indicateur RCO99, nous avons créé pour la période 2021-2027 un groupe d’indicateurs complémentaires (RCO26/RCO36/RCO37). Pour le type de sites que vous mentionnez, nous recommandons le recours à l’indicateur RCO36.


→ read more

RCO25 indicateur doit être mesuré en km. Pour plusieurs AG, les ouvrages financés correspondent à des zones d’extension des crues mesurées en hectares. Dans ce cas, la zone d’extension des crues doit-elle plutôt relever du RCO26?

Nous recommandons l’utilisation de l’indicateur RCO26 dans le cas que vous mentionnez.


→ read more

Do "regions" refered to in the definition of the indicator RCO96 mean NUTS2 or NUTS3 regions?

The definition of the indicator RCO96 refers to NUTS2 regions. This implies that investments between two NUTS3 within the same NUTS2 would not count. The definition states the following: “The indicator covers interregional investments for innovation in projects which involve cooperation of at least two NUTS2 regions.”


→ read more

Does RCO113 apply to rural/suburban areas as well? Or only to urban areas?

The indicator does not apply to rural and suburban areas.


→ read more

Does RCO38 'Surface area of rehabilitated land supported' cover the construction of, for example, social housing or cultural/sport facilities?

No, it does not include construction works. The measurement unit is hectares, so the indicator will capture only the surface area rehabilitated. If the project involves rehabilitation + constructions, you can use it only for the surfaces of rehabilitated land (hectares) and possibly couple it with RCR 52.


→ read more

In RCO96 does interregional cooperation refer also to cooperation within a MS or only that between two or more MSs?

For indicator RCO96, interregional cooperation refers also to regions within an MS, both between two regional programmes, or in the same national programme. For the national programmes, however, the following rule for double counting applies: “Interregional investments between two NUTS2 regions supported from the same operational programme should be considered only once.” For regions covered by several programmes, the rule for double counting states the following: “When interregional investments are covered by more than one operational programme, a given operational programme should report only the amount invested in partner regions (i.e. outside the programme area).”


→ read more

Description Document Date

Staff Working Document

The Commission services published a staff working document describing the approach to performance, monitoring and evaluation of programmes funded by the European Regional Development Fund (ERDF), the Cohesion Fund (CF) and the Just Transition Fund (JTF) for the period 2021-2027. The document is intended primarily for national and regional programme authorities. It set out how the new rule book  provides for a systematic approach to performance and sets out the context in which the common output and result indicators in the fund regulations will be used. The descriptions of the common output and result indicators (metadata) are annexed to the working document in order to guide the programmes in the use, collection and reporting of reliable performance monitoring data.


performance2127_swd.pdf
English
(2.36 MB - PDF)
DownloadPreview