Sorumlu İklim İletişimi İklim İletişiminde Ölçüm, Değerlendirme ve Etki Analizi

İklim İletişiminde Ölçüm, Değerlendirme ve Etki Analizi

1. Modülün amacı ve kapsamı

İklim iletişiminde başarının değerlendirilmesi, yalnızca mesajın erişim veya görünürlük düzeyinin belirlenmesi değildir. Hedef kitlenin doğru anlama, güven, katılım ve davranış sonuçları ile daha geniş çevresel ve toplumsal etkiler farklı düzeylerde ele alınmalıdır.

Bu modül, halkla ilişkiler ve iletişim yönetimi alanında çalışan profesyonellerin araştırma temelli hedefler oluşturmasına, uygun performans göstergeleri seçmesine, ölçüm sonuçlarını bilimsel sınırlamalarla değerlendirmesine ve sonuçları kurumsal öğrenmeye aktarmasına yardımcı olur.

Modül 07 hedef kitle araştırması, Modül 08 mesaj ve davranış, Modül 09–10 mesleki uygulama, Modül 13 ise kurumsal yönetişim çerçevesini oluşturmuştur. Modül 14 bunları ölçüm, nedensellik ve değerlendirme süreçlerinde birleştirir.

Öğrenme kazanımları

  • Ölçüm, değerlendirme ve etki analizini ayırt etmek.
  • AMEC modelindeki çıktı, ilk tepki, sonuç ve etki düzeylerini kullanmak.
  • Uygun KPI tanımları ve değerlendirme planı oluşturmak.
  • Başlangıç ve bitiş araştırmalarının karşılaştırılabilirliğini sorgulamak.
  • Nedensel etki, ilişki ve katkı arasında ayrım yapmak.
  • İletişim göstergelerini teknik çevresel sonuçlardan ayırmak.
  • Ölçüm bulgularını sınırlamalarıyla raporlamak.

2. Ölçüm, değerlendirme ve etki analizi arasındaki fark

Ölçüm (measurement), tanımlanmış göstergelerin değerini uygun yöntemle belirler. Değerlendirme (evaluation), bulguları amaç, hedef ve bağlam içinde yorumlar. Etki analizi (impact analysis), müdahalenin daha geniş sonuçlarını ve mümkün olduğunda bu sonuçlara katkısını veya nedensel etkisini inceler.

Bir belediyenin aşırı sıcaklık kampanyası 500.000 gösterime ulaşmış olabilir. Bu, 500.000 tekil kişinin riskleri anladığı, gerekli önlemleri aldığı veya sağlık sonuçlarının iyileştiği anlamına gelmez. Her iddia için farklı kanıt gereklidir.

AMEC bütünleşik değerlendirme düzeyleri

Düzey Temel soru İklim iletişiminde örnek
Inputs — Girdiler Hangi kaynaklarla başladık? Araştırma, bütçe, ekip
Activities — Faaliyetler Ne yaptık? Medya çalışması, kampanya, toplantı
Outputs — Çıktılar Ne yayımlandı veya ulaştı? Haber, gösterim, erişim
Out-takes — İlk tepkiler Ne fark edildi ve anlaşıldı? Dikkat, hatırlama, ilk anlama
Outcomes — Sonuçlar Hedef kitlede ne değişti? Bilgi, güven, niyet, katılım, davranış
Impact — Geniş etki Kurumsal/toplumsal amaçlara katkı ne? Paydaş ilişkileri, politika veya toplumsal sonuç

Bu kavramların zaman ufku ve gösterge sınırları uygulamaya göre değişebilir. AMEC çerçevesi hem planlama hem değerlendirme için kullanılmalıdır. Çevresel etki, bu modelde otomatik olarak iletişime atfedilen ton CO₂e değildir.

3. Barcelona İlkeleri 4.0 ve sorumlu ölçüm

AMEC Barcelona İlkeleri 4.0; ölçülebilir amaçlar, stratejik planlama, hedef kitle sonuçları, nitel ve nicel araştırma, bütün iletişim kanallarının değerlendirilmesi ve şeffaf-etik ölçüm üzerine kuruludur. TÜHİD için uygulama karşılıkları şunlardır:

  1. Ölçülebilir amaçların kampanya öncesinde belirlenmesi.
  2. Araştırma, strateji ve ölçümün birlikte tasarlanması.
  3. Paydaş sonuçlarının medya çıktılarından ayrı izlenmesi.
  4. Nitel ve nicel kanıtların birlikte değerlendirilmesi.
  5. Ücretli, kazanılmış, paylaşılan ve sahip olunan mecralarda uygun ölçüm yapılması.
  6. Veri kaynaklarının, yöntemin ve sınırlamaların açıklanması.
  7. Sonuçların sonraki mesleki kararları iyileştirmek için kullanılması.

Bu ifadeler resmî ilkelerin sözcüğü sözcüğüne çevirisi değil, mesleki uygulamaya yönelik yorumudur.

QUIZ / BİLGİNİ KONTROL ET Skor: 0/2

1. İklim iletişimi kampanyalarında 'bir milyon görüntülenme' (gösterim/erişim) elde edilmesi hangi tür bir göstergedir?

2. AMEC Barcelona İlkeleri 4.0 ve bütünleşik ölçüm modeline göre; çıktı (output), sonuç (outcome) ve etki (impact) kavramları neden birbirinden net bir şekilde ayrılmalıdır?

4. İklim iletişiminde KPI tasarımı

Temel performans göstergesi (KPI), bir iletişim amacına yönelik ilerleme hakkında karar vermeye yardımcı olan ölçüttür. Her veri KPI değildir. Göstergenin tanımı, birimi, payı ve paydası, evreni, kaynağı, başlangıç değeri, hedefi, sıklığı, sorumlusu ve sınırlamaları yazılı olmalıdır.

Amaç Örnek KPI Kaçınılması gereken yorum
Bilgi Doğru bilgi oranı Gösterimi öğrenme saymak
Güven Güven ölçeğindeki değişim Beğeniyi güven saymak
Katılım Gerçek katılım ve temsiliyet Daveti katılım saymak
Davranış Belirli davranışın gerçekleşme oranı Niyeti davranış saymak
Afet iletişimi Uyarıyı doğru anlama ve erişim Gösterimi korunma saymak
Şeffaflık İddianın kaynağına erişim ve doğru anlama Rapor yayımlamayı tek başına yeterli görmek

Gereğinden fazla gösterge, veri yükünü artırabilir. Birincil ve ikincil KPI’lar karar ihtiyacına ve araştırma kaynaklarına göre seçilmelidir.

5. Araştırma tasarımı: Başlangıç, izleme ve sonuç ölçümü

Başlangıç (baseline) ölçümü, mevcut durum için referans oluşturur. Ara dönem ölçümleri yanlış anlamayı ve erişim eksikliğini erken fark etmeyi sağlar. Bitiş ölçümü kısa vadeli sonuçları; daha sonraki takip çalışmaları ise sonuçların kalıcılığını inceleyebilir.

Ölçümlerin karşılaştırılmasında soru ifadeleri, evren, örneklem, veri toplama yöntemleri, ağırlıklandırma ve veri işleme kuralları önemlidir. Bunlardaki değişiklikler raporda açıklanmalıdır.

Örneğin kampanya başında ve sonunda “Koruyucu önlemlerden en az üçünü doğru tanıma oranı” ölçülüyorsa soru formu ve değerlendirilen önlemler karşılaştırılabilir tutulmalıdır. Sonuçtaki farkın kampanyadan kaynaklandığını öne sürmek için ayrıca nedensel araştırma gerekir.

6. Veri kalitesi, örnekleme ve araştırma etiği

Çevrim içi ankette çok sayıda yanıt alınması, kendiliğinden temsili örneklem oluşturmaz. Kapsama, seçim ve yanıtsızlık yanlılıkları değerlendirilmelidir. Kampanyayı izleyen kişilerle bütün nüfus aynı evren değildir.

Öz bildirim ve gerçek davranış farklı kanıt türleridir. “Su tasarrufu yaptım” diyen kişinin yanıtı, teknik su tüketim kaydı ile aynı gösterge olarak yorumlanmamalıdır.

Araştırmalarda kişisel veriler hukuka uygun amaç, gereklilik, güvenlik ve erişim koşulları gözetilerek işlenmelidir. Özellikle iklim afeti ve kırılganlık araştırmalarında veri koruma ve katılımcı haklarına dikkat edilmelidir.

Çalışmayı yürüten ajansın ölçüm yapması kendiliğinden geçersizlik nedeni değildir; ancak rolü, yöntemleri ve olası çıkar ilişkileri şeffaf olmalıdır. Gerektiğinde bağımsız araştırmacı kullanılabilir.

QUIZ / BİLGİNİ KONTROL ET Skor: 0/3

1. İklim iletişimi kampanyalarında performans değerlendirilirken (KPI tasarımı), aşağıdakilerden hangisi 'kaçınılması gereken' hatalı bir yorumlamadır?

2. Bir iklim kampanyasının başında (başlangıç/baseline) ve sonunda hedef kitledeki 'koruyucu önlemleri tanıma oranını' karşılaştırmak isteyen bir iletişimci araştırma tasarımında neye dikkat etmelidir?

3. Veri kalitesi ve ölçüm etiği bağlamında, çevrimiçi bir ankette çok sayıda kişinin 'Su tasarrufu yaptım' (öz bildirim) seçeneğini işaretlemesi mesleki olarak nasıl yorumlanmalıdır?

7. Nedensellik: Değişim gerçekten kampanyadan mı kaynaklandı?

Kampanya sonrası su veya enerji tüketiminin azalması tek başına iletişim etkisini kanıtlamaz. Hava koşulları, fiyatlandırma, altyapı, düzenleme ve başka müdahaleler aynı sonucu etkileyebilir. Korelasyon, nedensellik değildir.

Karşıolgusal soru şudur: Kampanya yürütülmemiş olsaydı aynı hedef kitlede ne olurdu? Bu doğrudan gözlenemediği için araştırma tasarımlarıyla tahmin edilir.

Yöntem Amaç Temel sınırlama
Öncesi–sonrası Değişimi izlemek Diğer olayları tek başına ayırmaz
Karşılaştırma grubu Müdahaleye maruz kalan ve kalmayanı incelemek Gruplar farklı olabilir
Rastgele kontrollü tasarım Uygun koşulda nedensel etkiyi tahmin etmek Etik ve pratik sınırlamalar
Farkların farkı İki grubun zaman içi farklarını karşılaştırmak Paralel eğilim varsayımı
Kesintili zaman serisi Çok dönemli eğilimde kırılmayı incelemek Eşzamanlı olayları ayırmak güç olabilir
Katkı analizi Alternatif açıklamalarla kanıtları tartmak Kesin nedensel yüzde üretmeyebilir

Etki atfı (attribution), değişimin ne ölçüde müdahaleden kaynaklandığını uygun tasarımla inceler. Katkı (contribution), daha geniş değişim sürecinde iletişimin rolüne ilişkin kanıtları değerlendirir. Bir çevresel sonucu tek başına iletişime atfetmek için yeterli kanıt bulunmayabilir.

8. İletişim sonuçları ve çevresel performans

Davranış değişikliği ile emisyon, enerji veya su tasarrufu sonucu ayrı incelenmelidir. Toplu taşıma kullanımında artış, hangi yolculukların hangi ulaşım türünden kaydığı ve teknik emisyon faktörleri belirlenmeden kesin emisyon azalması olarak açıklanamaz.

Düzey Örnek iddia Gerekli kanıt
İletişim Bilgi düzeyi yükseldi Uygun araştırma
Davranış Tasarruf davranışı arttı Davranış ölçümü
Çevresel sonuç Enerji tüketimi azaldı Teknik kayıt ve uygun karşılaştırma
Kampanya etkisi Azalma kampanya sayesinde oluştu Uygun nedensel değerlendirme

Aynı tasarruf sonucu bir belediye yatırımı, STK çalışması ve iletişim kampanyası tarafından aynı anda açıklanabilir. Toplam sonucun her faaliyet için ayrı ayrı bütünüyle sahiplenilmesi çifte sayım riski oluşturur.

9. İklim adaleti ve katılımın ölçülmesi

Genel ortalama, risk altındaki grupların iletişim dışında kalmasını gizleyebilir. Yüksek etkilenme düzeyine sahip gruplara erişim, anlaşılabilirlik, alternatif kanallar ve görüşlerin kararlara yansıması değerlendirilebilir.

Katılım yalnızca davet veya toplantıya gelme sayısı değildir. Kimlerin katılabildiği, kimlerin dışarıda kaldığı, hangi önerilerin nasıl değerlendirildiği incelenmelidir. Ölçümler sırasında gereksiz hassas kişisel veri toplanmamalıdır.

Beklenmeyen sonuçlar da dikkate alınmalıdır: Bir kampanya bazı gruplarda suçluluk, korku veya güvensizlik yaratmış olabilir. Bunların kaydedilmesi mesleki öğrenmenin parçasıdır.

QUIZ / BİLGİNİ KONTROL ET Skor: 0/3

1. Bir su tasarrufu kampanyasının ardından, kentteki su tüketiminin teknik olarak azalması, iletişimin bu azalmada doğrudan (nedensel) etkisi olduğunu kesin olarak kanıtlar mı?

2. Bir yerel yönetimin iklim eylem planı toplantısına çok yüksek sayıda katılım (davetli sayısı) gerçekleşmesi, iklim adaleti çerçevesinde tek başına 'katılımın kaliteli ve kapsayıcı' olduğunu kanıtlar mı?

3. İletişim sonuçları ile çevresel performansın değerlendirilmesinde, hangi iddia için hangi kanıtın eşleşmesi en doğrudur?

10. Mesleki vaka laboratuvarı

VAKA 14-A — Bir milyon erişim, bir milyon bilinçli insan

KURGUSAL SENARYO. Bir kuruluşun iklim farkındalığı videoları bir milyon görüntülenme elde etmiştir. Sunumda “Bir milyon kişinin iklim bilincini artırdık” denilmek istenir. Tekil erişim ve bilgi değişimi ölçülmemiştir.

Sorun: İletişim çıktısı hedef kitle sonucu gibi sunulmaktadır. Sorumlu karar: Bir milyon görüntülenme platformun ölçüm tanımıyla raporlanmalı; bilinç artışının ölçülmediği belirtilmelidir.

VAKA 14-B — Su tasarrufunun tamamı kampanyamız sayesinde

KURGUSAL SENARYO. Bir belediye kampanya döneminde su kullanımının düştüğünü görür. Ancak tarifeler, hava koşulları ve altyapı uygulamaları da değişmiştir. Tüm azalmanın kampanya sayesinde olduğu iddia edilir.

Sorun: Çok etkenli sonuç tek müdahaleye atfedilmektedir. Sorumlu karar: Teknik veriler ve alternatif nedenler incelenmeli; uygun nedensel tasarım bulunmadıkça katkı ölçülü ifade edilmelidir.

VAKA 14-C — Başarılı kampanya, ama kimlere ulaşabildik?

KURGUSAL SENARYO. Aşırı sıcak uyarılarının dijital kampanyası iyi erişim sonuçları verir. Bazı yaşlılar ve dijital erişimi sınırlı kişiler bilgiyi alamamıştır.

Sorun: Genel görünürlük, kırılgan grupların dışarıda kaldığını gizlemektedir. Sorumlu karar: Alternatif kanallar ve grup düzeyinde anlama göstergeleri değerlendirilmelidir.

11. Modülün mesleki sonuçları

  1. Görünürlük etki değildir; çıktı, sonuç ve çevresel etki ayrılmalıdır.
  2. Değerlendirme kampanya başlamadan önce planlanmalıdır.
  3. Veri kalitesi, temsil gücü ve yöntem açıklığı önemlidir.
  4. Gözlenen değişim kendiliğinden nedensellik kanıtı değildir.
  5. Teknik çevresel performans uygun uzmanlıkla ölçülmelidir.
  6. Kapsayıcılık ve beklenmeyen sonuçlar değerlendirilmelidir.
  7. Değerlendirme dürüst kurumsal öğrenme üretmelidir.

MODÜLÜN TEMEL MESAJI: Başarı, erişim sayısını büyütmek değil; neyin gerçekten değiştiğini ve bu değişimde iletişimin rolüne ilişkin neyi kanıtlayabildiğimizi dürüstçe ortaya koymaktır.

Bölüm VII — Yönetişim ve Etki, Modül 14 ile tamamlanmaktadır.

QUIZ / BİLGİNİ KONTROL ET Skor: 0/3

1. Bir kuruluşun iklim farkındalığı videoları bir milyon görüntülenme aldığında, herhangi bir etki araştırması yapmadan doğrudan 'Bir milyon kişinin iklim bilincini artırdık' beyanında bulunmak (Vaka 14-A) neden hatalı bir iletişim kararıdır?

2. Bir belediyenin düzenlediği su tasarrufu kampanyası döneminde kentteki su kullanımı düşmüştür. Ancak aynı dönemde su tarifeleri artmış ve yağışlar da azalmıştır. Bu durumda idarecilerin 'Tüm tasarruf sadece kampanyamız sayesinde oldu' demesi (Vaka 14-B) hangi ölçüm sorununu yaratır?

3. Aşırı sıcak uyarılarının dijital ortamda çok yüksek etkileşim aldığı bir kampanyada, dijital erişimi olmayan yaşlıların ve kırılgan grupların bilgiyi alamaması (Vaka 14-C) iletişimciye Modül 14 kapsamında neyi göstermelidir?

12. Kaynakça ve ileri okuma

Editoryal sınır: A14 araçları iletişim ve araştırma planlamasına yönelik önerilerdir. İstatistiksel uygunluk, bağımsız çevresel doğrulama, hukuki görüş veya TÜHİD sertifikası yerine geçmez.