destek kalite puanlama: Puan farkını doğuran belirsiz rubrik maddesini bulun

Kalite uzmanı, ekip lideri ve koç için destek kalite puanlama; görüşmeleri açık davranışlarla değerlendiren, puan farklarını kanıtla açıklayan bir koçluk girdisidir. Sorun, belirsiz rubrik ifadelerinin aynı görüşmede farklı sonuçlar üretmesidir. Çözüm, Puan farkını doğuran belirsiz rubrik maddesini bulun adımıyla yorumu gözlenebilir davranışa bağlamak ve temsilciye geliştirilebilir, somut bir sonraki eylem göstermektir.

İlk ölçüm toplam puan değil, madde bazındaki değerlendirici ayrışmasıdır. İki değerlendirici aynı görüşmeyi bağımsız inceler; verdikleri puanı, kanıt konumunu ve kısa gerekçeyi ayrı kaydeder. Fark çıkan maddede “iyi iletişim kurdu” gibi yoruma açık dil aranır. Bunun yerine müşterinin talebini doğrulama, sonraki adımı açıklama ve gerekli uyarıyı verme gibi gözlenebilir eylemler yazılır.

Davranış tanımlı rubrik, her madde için beklenen eylemi, yeterli kanıtı ve puan verilemeyecek koşulu birlikte göstermelidir. Temsilcinin kontrolü dışındaki sistem gecikmesi, kişisel performans eksiğine çevrilmemelidir. Zorunlu güvenlik adımı ile tercih edilen üslup aynı ağırlıkta tutulmamalıdır. Madde, farklı kanallarda başka biçimde görünüyorsa kanal örnekleriyle açıklanmalı; görünmeyen davranış otomatik olarak başarısız sayılmamalıdır.

Rubrik netleşmeden dengeli örneklem planı hazırlamak, belirsizliği daha geniş bir görüşme kümesine yayar. Yalnız kolay görüşmeler seçilirse rubrik tutarlı görünür; yalnız karmaşık vakalar seçilirse temsilciler gereksiz düşük puanlanabilir. Bu nedenle önce davranışın ölçülebilirliği sınanır, ardından kanal, ürün, konu zorluğu ve sonuç türü dengelenir. İki karar birlikte çalışır, fakat doğrulama sırası rubrikten örnekleme ilerler.

Kabul ölçütü, iki değerlendiricinin aynı kanıttan hareketle benzer madde kararı verebilmesidir. Fark sürüyorsa ortalama almak yerine ifade yeniden yazılır veya madde kalibrasyona gönderilir. Sık hata, temsilciye kanıt göstermeden toplam puanı açıklamaktır. Doğru çıktı; eski ifade, yeni davranış tanımı, örnek kanıt, dışlama koşulu ve değişikliğin geçerli olacağı rubrik sürümünü içeren izlenebilir bir kayıttır.

İlgili uygulama rehberi: Müşteri Şikayet Yönetimi: Krizi Sadakate Çeviren Yaklaşım: koçluk kararlarını somutlaştırmak için ilgili rehber.

Örneklem, değerlendirici ve kullanım amacını sınırlandırın

Örneklem, değerlendirici ve kullanım amacını sınırlandırın kararı, puanın hangi görüşmeleri temsil edebileceğini baştan belirler. Dengeli örneklem planı; kanal, ürün, konu karmaşıklığı, vardiya ve görüşme sonucunu seçim katmanları olarak tanımlar. Her katmanın dahil edilme nedeni yazılır. Yalnız kısa ve kolay görüşmelerden oluşan bir seçim, koçluk ihtiyacını değil, seçim rahatlığını ölçer ve ekipler arasında yanıltıcı karşılaştırma üretir.

Veri sözleşmesi; görüşme kimliği, anonimleştirilmiş temsilci kimliği, kanal, ürün, konu türü, karmaşıklık etiketi, rubrik sürümü ve seçim gerekçesini kapsamalıdır. Gereksiz kişisel müşteri verileri değerlendirme kopyasına taşınmamalıdır. Kalite uzmanı seçimi yürütürken ekip lideri kullanım amacını onaylar; değerlendirici ise yalnız kendisine tanımlanan kanıt alanlarını görür ve sonuçları örneklem bittikten sonra topluca karşılaştırır.

Görüşme kanıt işareti, puanın dayandığı metin satırını, çağrı zaman damgasını veya işlem adımını gösterir. İşaret, müşterinin kişisel ayrıntısını çoğaltmadan davranışı doğrulayabilmelidir. Eksik kayıt, ses kesintisi veya sistem arızası varsa ilgili madde “kanıt yetersiz” olarak ayrılır. Böylece veri eksikliği temsilci hatasına dönüşmez; seçilen görüşme gerektiğinde aynı katmandan başka bir örnekle değiştirilir ve değişim nedeni saklanır.

ISO şikâyet yaklaşımı destek kalite puanlama sürecindeki müşteri temaslarının değerlendirilmesi ve koçluk kararlarına iyileştirme girdisi olması için süreç temeli sunar; personel performansı garantisi değildir. Buradan yapılan editoryal çıkarım, şikâyet içeren temasları ayrı bir örneklem katmanı olarak izlemek ve bulguları süreç iyileştirmesiyle ilişkilendirmektir. Bu yaklaşım, tek görüşmeden kesin çalışan hükmü çıkarmayı veya sonucu disiplin kararına dönüştürmeyi desteklemez.

Sınır kontrolünde üç soru sorulur: Her önemli görüşme kümesi temsil ediliyor mu, değerlendirici seçimin sonucunu etkileyebiliyor mu, puan yalnız tanımlanan koçluk amacıyla mı kullanılıyor? Bir yanıt olumsuzsa raporlama durdurulur. Kabul çıktısı; seçim tablosu, katman kuralları, sorumlular, dışlanan veri alanları, kanıt işareti biçimi ve kullanım yasağını içeren onaylı örneklem sözleşmesidir. Değişiklikler sonraki dönemlerde geriye dönük gizlenmez.

Resmî kaynak ve iddia kapsamı: ISO ISO 10002:2018 complaints handling guidelines: destek kalite puanlama kapsamı.

Seçimden kalibrasyona kalite değerlendirme akışı kurun

Seçimden kalibrasyona kalite değerlendirme akışı kurun hedefi, her puanın hangi örnekten, rubrik sürümünden ve kanıttan doğduğunu görünür kılmaktır. Akış; örneklem dondurma, görüşmeyi atama, bağımsız puanlama, kanıt doğrulama, fark analizi, kalibrasyon ve koçluk aktarımı sırasını izler. Bir aşamanın kabul kaydı oluşmadan sonraki aşamaya geçilmez; böylece sonuca göre görüşme değiştirme veya gerekçe ekleme riski azalır.

Örneklem dondurulduğunda her görüşmeye kanal, ürün ve karmaşıklık etiketi verilir. Atama yapılırken değerlendiricinin doğrudan yönettiği temsilciler mümkünse ayrılır. Değerlendirici, diğer puanı görmeden madde kararını tamamlar. Görüşme kanıt işareti her kararın yanında zorunludur; işaret yoksa puan geçici sayılır. Sistem özeti veya asistan önerisi kanıtı bulmayı kolaylaştırabilir, fakat nihai yorumu ve bağlam kontrolünü insan yapar.

Kanıt doğrulamasında işaretlenen bölüm ile rubrikteki davranış eşleştirilir. Örneğin “sonraki adımı açıkladı” maddesi, temsilcinin işlem sahibini ve müşterinin ne bekleyeceğini belirttiği ifadeyle desteklenir. Yalnız olumlu ton, bu maddeyi karşılamaz. Kanal davranışı görünür kılmıyorsa puan zorlanmaz. Eksik kayıt, çelişkili bağlam ve rubrik dışı beklenti ayrı hata kodlarıyla işaretlenerek karşılaştırmaya hazırlanır.

Çift puanlama formu; birinci ve ikinci puanı, iki kanıt konumunu, gerekçeleri, güven düzeyini ve uyuşmazlık türünü yan yana taşır. Toplam puan farkı küçük olsa bile kritik bir davranışta ayrışma varsa kalibrasyon açılır. Tersine, aynı yorumdan doğan çok sayıda küçük fark tek kök neden altında ele alınabilir. Form, değerlendiricileri uzlaşmaya zorlamaz; bağımsız düşünceyi kalibrasyon öncesinde korur.

Kalibrasyon toplantısı yalnız fark bulunan maddeleri ve bunlarla ilişkili örnekleri inceler. Karar; mevcut tanımı koruma, örnek ekleme, maddeyi yeniden yazma veya kanıt yetersizliği nedeniyle puanı kaldırma seçeneklerinden biri olmalıdır. Akışın kabulü için görüşme seçiminden koçluk eylemine kadar her geçişin sahibi ve kaydı bulunmalıdır. Yaygın hata, kanıt işareti olmadan yalnız değerlendirici kıdemine dayanarak uyuşmazlığı kapatmaktır.

İlgili uygulama rehberi: Müşteri Memnuniyeti Artırma: KOBİ’ler İçin 11 Uygulanabilir Yol: koçluk kararlarını somutlaştırmak için ilgili rehber.

Kurgu karmaşık görüşmeyi iki değerlendiriciyle puanlayın

Kurgu vaka, farklı kanal ve ürün ekipleri bulunan kurgusal bir destek merkezinde geçer. Başlangıçta kalite puanı tek değerlendiricinin sezgisine dayanır; karmaşık görüşmeler daha düşük puanlanır ve temsilciye kanıt gösterilmez. Ekip, Kurgu karmaşık görüşmeyi iki değerlendiriciyle puanlayın denemesi için e-posta ile başlayan, telefonla devam eden ve iki ürün ekibine aktarılan bir müşteri temasını seçer.

Müşteri, erişim sorunu ile yanlış bildirim ayarını aynı görüşmede bildirir. Temsilci önce hesabı doğrular, erişim adımlarını açıklar, ardından bildirim konusu için başka ekibe kayıt açar. Birinci değerlendirici aktarımı “sorunu sahiplenmedi” diye eksi puanlar. İkinci değerlendirici doğru yetkilendirme sınırına uyulduğunu belirtir. İki yorum da çift puanlama formu üzerinde bağımsız kanıt işaretleriyle görünür hale gelir.

Formun satırlarında rubrik maddesi, kanal bölümü, gözlenen davranış, kanıt konumu, puan ve belirsizlik nedeni bulunur. Birinci değerlendirici müşteri tekrarını sonuç göstergesi sayarken ikinci değerlendirici temsilcinin açıklamasını davranış kanıtı sayar. Kalibratör, müşterinin tekrar aramasının tek başına temsilci kontrolünde olmadığını saptar. Sahiplenme maddesi, doğru yönlendirme ile sonraki adımı açıklama davranışlarını ayrı ayrı değerlendirecek biçimde ele alınır.

Kalibrasyon notu, uyuşmazlığın kişisel kanaatten değil, “sahiplenme” ifadesinin sınırından çıktığını kaydeder. Karar, doğru ekibe aktarımı cezalandırmamak; ancak aktarım nedeni ve beklenen sonraki adım açıklanmadıysa maddeyi eksik saymaktır. Önceki puan düzeltilir, gerekçe temsilciyle paylaşılır ve benzer karmaşık görüşmeler aynı yorumla yeniden taranır. Sonuç tek başına disiplin kararı olarak kullanılmaz; yalnız koçluk girdisi olur.

Vakanın kabul ölçütleri somuttur: İki kanıt işareti doğrulanabilmeli, puan maddesi gözlenebilir davranışa dayanmalı ve karmaşıklık bağlamı formda bulunmalıdır. Kanıt kaydı eksikse karar durdurulur; farklı rubrik sürümü kullanılmışsa görüşme yeniden puanlanır. Ekip, toplam puandaki uzlaşmayı başarı saymaz. Başarı, farkın nedenini açıklayan kalibrasyon notu ile temsilciye uygulanabilir bir davranış önerisi sunulmasıdır.

Kurgu senaryo — Kurgu vaka: farklı kanal ve ürün ekipleri olan kurgusal bir destek merkezi: Kalite puanı tek değerlendiricinin sezgisine dayanıyor, karmaşık görüşmeler daha düşük puan alıyor ve temsilciye kanıt gösterilmiyor. Ekip davranış tanımlı rubrik, dengeli örneklem, çift puanlama ve itiraz kaydı kullanarak sonucu koçluk girdisi olarak sınırlayacak.

Rubrik maddelerini kanıt ve adaletle tartın

Rubrik maddelerini kanıt ve adaletle tartın kararı için karşılaştırma tablosu dört sütun kullanır: senaryo, kanıt, eylem ve durdurma veya eskalasyon. Her satır tek bir karar durumunu anlatır; hücreler aynı görüşmeye ve rubrik maddesine bağlanır. Böylece tablo, genel puan sıralaması üretmek yerine kanıtın yeterliliğini, bağlamın etkisini ve karar sahibinin atacağı doğrulanabilir adımı birlikte görünür kılar.

İlk satırda senaryo, iki değerlendiricinin aynı davranışa farklı puan vermesidir. Kanıt hücresinde iki görüşme kanıt işareti ve rubrik sürümü yer alır. Eylem, ifadeyi davranış örnekleriyle sınamak ve kalibrasyon notu oluşturmaktır. Kanıtlardan biri doğrulanamıyorsa karar durdurulur. Yorum farkı müşteri verisinin eksikliğinden kaynaklanıyorsa temsilciye eksi yazılmaz; kayıt kalitesi sorumlusuna eskale edilir.

İkinci satır karmaşık görüşmenin benzer basit görüşmelerden sürekli düşük puanlanmasını ele alır. Kanıt hücresi kanal, ürün, aktarım sayısı ve konu karmaşıklığını gösterir. Eylem, aynı rubrik maddesini karşılaştırılabilir örneklerde çift puanlamaktır. Dengeli karşılaştırma yoksa dönem sonucu yayımlanmaz. Fark rubriğin bağlamı dışlamasından doğuyorsa madde sahibi revizyon başlatır ve etkilenen koçluk kararları bekletilir.

Üçüncü satırda temsilci, gösterilen kanıtın puanı desteklemediğini bildirir. Kanıt hücresi özgün kayıt konumunu, değerlendirici gerekçesini ve geçerli rubrik sürümünü taşır. Eylem, itiraz ve düzeltme kaydı açarak bağımsız yeniden değerlendirme istemektir. Kayıt değişmiş veya eksilmişse karar durdurulur. Yanlış sürüm doğrulanırsa aynı dönem içinde o sürümle puanlanan ilgili görüşmeler de eskale edilir.

Kalibrasyon notu ile itiraz kaydı farklı amaçlara sahiptir. İlki ortak yorumu ve gelecekteki uygulamayı düzenler; ikincisi belirli kararın incelenmesini, sonucunu ve düzeltmesini izler. Kabul için her tablo satırı bir sorumlu, kanıt eşiği, eylem ve durdurma koşulu içermelidir. Yaygın hata, ortalama puanı adalet kanıtı saymaktır; ortalama, sistematik örneklem veya yorum yanlılığını tek başına göstermez.

İlgili uygulama rehberi: Müşteri Hizmetleri Otomasyonu ile Kaçan Müşteriyi Kazan: koçluk kararlarını somutlaştırmak için ilgili rehber.

Puanlamayı yedi kalite teslimiyle uygulayın

Puanlamayı yedi kalite teslimiyle uygulayın yaklaşımı, süreci belge yığınına değil, farklı sorumluların kabul edilebilir çıktısına dönüştürür. Birinci teslimde rubrik sahibi gözlenebilir davranışları ve dışlama koşullarını yayımlar. İkinci teslimde kalite uzmanı dengeli örneklem planını dondurur. Üçüncü teslimde veri sorumlusu kişisel ayrıntıları ayıklar ve her görüşmenin kanal, ürün, karmaşıklık etiketlerini doğrular.

Dördüncü teslimde iki değerlendirici bağımsız çift puanlama formunu tamamlar; her maddeye görüşme kanıt işareti ekler. Kabul, diğer değerlendiricinin puanı görünmeden kayıtların zamanında kilitlenmesidir. Beşinci teslimde kalibratör fark nedenini sınıflandırır ve kalibrasyon notunu onaylar. Rubrik belirsizliği ile kanıt eksikliği ayrı tutulur. Belirsizlik çözülmediyse toplam puan yayımlanmaz, ilgili madde inceleme durumunda bırakılır.

Altıncı teslim, temsilci veya ekip liderinin erişebildiği itiraz ve düzeltme kaydıdır. Kayıt; itiraz edilen maddeyi, gösterilen kanıtı, başvuru gerekçesini, bağımsız inceleyiciyi, kararı ve varsa puan düzeltmesini içerir. Aynı değerlendirici kendi kararının tek inceleyicisi olmaz. Yanlış rubrik sürümü veya eksik kayıt saptanırsa yalnız tek puan değil, benzer etkiye açık görüşmeler de belirlenir.

Yedinci teslimde koç, koçluk eylem kartı hazırlar. Kart tek bir gözlenebilir hedef, görüşmeden alınmış uygun kanıt, denenecek davranış, takip görüşmesi ve tamamlanma ölçütü içerir. “Daha dikkatli ol” gibi belirsiz öneriler kabul edilmez. Güvenlik veya yetki sınırı ihlali yoksa tek görüşme genellenmez. Koçluk sonucu kesin performans vaadi taşımaz; yeni görüşmelerde davranışın yeniden gözlenmesini amaçlar.

Uygulama denemesi tamamlandığında yedi teslimin sahipleri ve kabul kayıtları birlikte incelenir. İtiraz sonucunda puan değişmişse koçluk kartı da güncellenir; eski karar silinmez, düzeltme bağlantısıyla korunur. Sık hata, itirazı puanı savunma toplantısına çevirmektir. Doğru eskalasyon, tekrarlanan nedenleri rubrik sahibine, örneklem sorunlarını kalite liderine ve kayıt eksiklerini veri sorumlusuna yönlendirir.

destek kalite puanlama için yedi somut teslim:

1. Puan farkını doğuran belirsiz rubrik maddesini bulun: davranış tanımlı rubrik çıktısını sorumlusuyla tamamlayın.
2. Örneklem, değerlendirici ve kullanım amacını sınırlandırın: dengeli örneklem planı çıktısını sorumlusuyla tamamlayın.
3. Seçimden kalibrasyona kalite değerlendirme akışı kurun: görüşme kanıt işareti çıktısını sorumlusuyla tamamlayın.
4. Kurgu karmaşık görüşmeyi iki değerlendiriciyle puanlayın: çift puanlama formu çıktısını sorumlusuyla tamamlayın.
5. Rubrik maddelerini kanıt ve adaletle tartın: kalibrasyon notu çıktısını sorumlusuyla tamamlayın.
6. Puanlamayı yedi kalite teslimiyle uygulayın: itiraz ve düzeltme kaydı çıktısını sorumlusuyla tamamlayın.
7. Örneklem ve değerlendirici yanlılığını gözden geçirin: koçluk eylem kartı çıktısını sorumlusuyla tamamlayın.

Örneklem ve değerlendirici yanlılığını gözden geçirin

Örneklem ve değerlendirici yanlılığını gözden geçirin kontrolü, puan farklarının temsilci davranışından önce seçim ve yorum düzeniyle açıklanıp açıklanamadığını araştırır. Kanal, ürün, vardiya, karmaşıklık ve görüşme sonucu dağılımları ayrı incelenir. Belirli ekip yalnız zor vakalarla temsil ediliyorsa karşılaştırma durdurulur. Değerlendirici bazında aynı rubrik maddesine verilen kararlar karşılaştırılır; sürekli sert veya gevşek yorumlar kalibrasyona taşınır.

Koçluk eylem kartı, yanlılık kontrolünden geçmemiş puanla kesin hedef üretmemelidir. Karttaki kanıt başka bir değerlendirici tarafından doğrulanamıyorsa eylem bekletilir. Temsilcinin kontrol edemediği sistem kesintisi, ürün kısıtı veya müşteri tercihi davranış eksikliği gibi yazılamaz. Karmaşık vakaların sistematik düşük puan alması görülürse örneklem katmanları ve rubrik dışlama koşulları birlikte incelenir.

Rubrik sürüm geçmişi; değişen maddeyi, değişiklik nedenini, onay sahibini, yürürlük başlangıcını ve önceki puanlara etkisini saklar. Rubrik değişince dönem puanlarını doğrudan kıyaslamak adil değildir. Önce ortak maddeler ve aynı yorum koşulları belirlenir. Değişiklik maddi etki yaratıyorsa eski dönem ayrı etiketlenir veya karşılaştırma kaldırılır. Gizli geriye dönük düzenleme, itirazların izlenmesini ve kalibrasyonun güvenilirliğini bozar.

NIST AI Risk Management Framework destek kalite puanlamadaki otomatik değerlendirme risklerini haritalama, ölçme, yönetişim ve insan denetimi altında ele alarak koçluk kararlarının gözden geçirilmesini destekler. Buradan yapılan editoryal çıkarım, asistan çıktılarının kanal ve karmaşıklık kümelerinde hata örüntülerini ayrı izlemek, otomatik öneriyi kanıt saymamak ve insan incelemesi olmadan koçluk kartına aktarmamaktır. Çerçeve, otomatik değerlendirmenin nihai karar olmasını gerektirmez.

Son risk kapısında dört işaret aranır: karmaşık vakalarda sürekli düşük puan, değerlendiriciler arasında kalıcı yorum farkı, sürümler arasında açıklanamayan değişim ve kanıtsız itiraz reddi. İşaretlerden biri varsa sonuç paylaşımı sınırlandırılır. Sorumlu kişi örneklemi yeniler, maddeyi kalibre eder veya bağımsız inceleme açar. Kabul çıktısı, giderilen riskleri, bekleyen belirsizlikleri ve koçluk kullanım sınırını açıklayan güncel denetim kaydıdır.

İlgili uygulama rehberi: MY Asistan rehberleri: destek operasyonu konu kümesi.

Resmî kaynak ve iddia kapsamı: NIST AI Risk Management Framework: destek kalite puanlamadaki kapsamı.

destek kalite puanlama hakkında uygulama soruları ve kısa yanıtlar

davranış tanımlı rubrik başlamadan önce hangi kanıt aranmalı?

Puan farkını doğuran belirsiz rubrik maddesini bulun çalışmasına, aynı görüşmedeki farklı puanların kanıtlarını karşılaştırarak başlanmalıdır. Davranış tanımlı rubrik hazırlanırken beklenen eylem, kabul edilen kanıt ve geçersiz değerlendirme nedeni açıkça yazılmalıdır. İki değerlendirici aynı zaman damgasını benzer gerekçeyle işaretleyebiliyorsa madde kullanılabilir. Yalnız üslup izlenimine dayanan, görüşme bağlamını dışlayan veya temsilcinin kontrol edemediği sonucu ölçen maddeler önce yeniden tanımlanmalıdır.

dengeli örneklem için sınır ve sorumlu nasıl belirlenir?

Dengeli örneklemin sınırı; kanal, ürün, konu karmaşıklığı, görüşme sonucu ve vardiya kümeleriyle belirlenmelidir. Seçimden kalibrasyona kalite değerlendirme akışı kurun ilkesi uyarınca kalite uzmanı örneklem kuralından, ekip lideri kullanım sınırından sorumlu olabilir. Her görüşme kanıt işareti, görüşme kimliğiyle birlikte kanal konumu veya zaman damgası taşımalıdır. Böylece eksik kümeler görünür olur, seçimi yapan kişi sonuçtan hareketle örneklem değiştiremez.

çift puanlama sırasında hangi kayıt karar vermeyi kolaylaştırır?

Çift puanlama sırasında karar vermeyi en fazla kolaylaştıran kayıt, her puanın madde, kanıt konumu, yorum ve belirsizlik gerekçesiyle ayrı tutulduğu karşılaştırmadır. Rubrik maddelerini kanıt ve adaletle tartın yaklaşımı, yalnız toplam puan farkına bakmayı önler. Kalibrasyon notu ise hangi yorumun korunduğunu, hangi maddenin değişeceğini ve eski görüşmelere düzeltme uygulanıp uygulanmayacağını kaydederek sonraki değerlendirmelerde ortak referans oluşturur.

kalibrasyon notu bozulduğunda önce hangi işaret incelenir?

Kalibrasyon notu tutarlılığını kaybettiğinde önce aynı rubrik maddesinin farklı kanal, karmaşıklık ve değerlendiricilerde nasıl uygulandığı incelenir. Örneklem ve değerlendirici yanlılığını gözden geçirin adımı, farkın temsilci davranışından mı seçim düzeninden mi kaynaklandığını ayırır. Koçluk eylem kartı da hedef davranış ile gösterilen kanıt uyuşmuyorsa askıya alınmalıdır. Ardından rubrik sürümü, karar gerekçesi ve itiraz geçmişi birlikte karşılaştırılarak yeniden kalibrasyon yapılmalıdır.

itiraz kaydı hangi durumda yeniden değerlendirilmelidir?

İtiraz kaydı; eksik kanıt bulunduğunda, yanlış rubrik sürümü kullanıldığında, görüşme bağlamı atlandığında veya dengeli örneklem planı belirli bir vaka türünü dışladığında yeniden değerlendirilmelidir. Destek kalite puanlama sonucu değişirse eski puan korunarak düzeltme, gerekçe, karar sahibi ve etkilenen koçluk eylemi ayrıca kaydedilmelidir. Aynı itiraz nedeni tekrarlanıyorsa yalnız görüşme düzeltilmemeli; ilgili rubrik maddesi ve örneklem kuralı da kalibrasyona alınmalıdır.