Bizim labda her hafta 200-400 numune giriyor, Atterberg + elek + dogal su muhtevasi standart paket. Eskiden Excel ile rapor uretiyorduk, formul yapistir, grafik cizdir, kopyala-yapistir, hata yapma riski cok yuksekti.

Son 4 ay bir Python pipeline kurduk: pandas ile veri okuma (LIMS'den csv export), validation kurali (LL > PL kontrol, A-hatti kontrol, U-hatti kontrol), matplotlib ile rapor grafigi (Casagrande chart + GSD plot), reportlab ile PDF olusturma. Tek tikla bir batch icin 50 numuneye ait rapor cikiyor.

Soru/paylasim: Benzer pipeline kuran var mi? Validation kurallariniz neler? Bizimkiler: PL <= LL, eger PL eksikse "non-plastic" flag, PI = LL - PL otomatik, A-hatti uzerinde hesaplama, organik tespit icin oven-dried/wet LL orani %75 esigi (ASTM D2487). Bunlar yeterli mi, eklenecek baska kurallar var mi?

Begum ablam, pipeline'iniz cok dogru bir yapida. Validation kuralina ek onerim: U-hatti kontrolu eksik kalmis, Casagrande chart tanim olarak PI < 0.9*(LL-8) sart, U-hatti gecen veriler olcum hatasi ile karisik. Ben kendi pipeline'ima bu kontrol ekledigim hafta 3 numunenin gercekten hatali girilmis oldugunu yakaladim — operator PL ve LL'yi karistirmisti.

Bir de timestamp + operator id'yi her satira ekle, ileride istatistiksel olarak hangi operatorun bias'i daha az diye izlemek mumkun olur.

bim_berk yazdi:

U-hatti gecen veriler olcum hatasi ile karisik

Berk, U-hatti kontrolunu unuttum gercekten, hemen ekleyecegim. Senin gibi 3 hatali yakalamak guzel olurdu, su an yakalanmamis hata var mi merak ettim, geriye donuk de calistiracagim filtreyi.

Operator id'yi LIMS'den aliyorum, ama timestamp her giriste kaydedilmiyor maalesef, bu LIMS yazilimın gozumden kacan eksigi. Su an manuel ekleyebiliyorum yeni girislere, geriye donuk eksik.

Begum, mukemmel bir endustri 4.0 ornek calismasi yapiyorsunuz. Akademik tarafindan birkac ek oneri:

(1) pandas DataFrame uzerinde Schema validation icin pandera kutuphanesini onerim, kodun cok daha temiz olur, validation kurallari deklarative tarzda yazilir. (2) Matplotlib raporlari uzerinde sadakat icin matplotlib.style.use("seaborn-v0_8-paper") tercihiniz ile basili rapor kalitesi yukselir. (3) Reportlab yerine WeasyPrint da bir alternatif, HTML/CSS'ten PDF cevirme, dizgi kontrolu daha rahat.

Bir de istatistiksel taraf: PI dagilimi histogram + bolge ortalamasi ile ayri ay karsilastirma yaparsaniz, lab procedure consistency'sini izlemek icin kullanilabilir bir kontrol grafigi olur.

Ezgi ablam, pandera duydum ama yazilima dahil etmemistim, deklarative validation cok dogru bir yaklasim. Yarin denerim, eger gecerse mevcut if-else validation'i pandera'ya tasiyacagim. WeasyPrint icin de bir test yapayim, reportlab ozellikle Turkce karakter ve tablo bicimlendirme ucsel agir bir kutuphane.

Begum ablam, bizim sismikte de benzer pipeline lazim, biz halen Excel ile gidiyoruz dispersiyon egrisi pick + Vs profil rapor icin. Senin yaklasimini bizim dosyalarimiza adapte edebilir miyim, kod paylasimi acık olabilir mi?

masw_emre yazdi:

kod paylasimi acık olabilir mi?

Emre, prensipte acik kod paylasimi onaylarim, ama mevcut versiyon LIMS'imize ozel bicimde yazilmis, dis kullanim icin generic hale getirmem gerekiyor. Onumuzdeki ay icinde GitHub'a generic versiyonu cikarmaya calisirim, MIT lisans ile. Konuyu update ederim haber olur.

Begum hanim, Istanbul'da bir lab orgutsel danismanligi yapiyorum, Excel'den Python pipeline'a gecis projeleri cogu kurum icin 6 aylik bir transformasyon. Sizin 4 ay icinde tamamlamaniz takdir edilesi, ekipte Python'a hakim biri var demektir.

Bir gozlem: Excel'den gecmenin en zor kismi operatorlerin direnci, Python ekrani gozune yabanci geliyor. Cozum: Streamlit ile basit bir web arayuzu yapip, operator hala "form'a giriyor" hissetmesini saglamak. Backend Python ama frontend tanidik. Bunu denediniz mi?

Ozgur bey, tam dogru gozlem. Bizim labda direnci 2 hafta yasadik, sonunda ben bir Streamlit arayuz yazdim, operator yerine Excel hissini Streamlit'in form widget'larıyla verdim, simdi sevdiler. Backend'de pandas otomatik islem yapiyor, operator Excel kullaniyor zannediyor.

Bizimkisi tek bilgisayardan calisiyor su an, hosting'e tasimaya zaman ayiramadim. Ancak 1-2 ay icinde Docker container'a alip lab icine deploy edecegim.

Begum hanim, iksa firmamizda da benzer ihtiyac. Biz daha az numune (haftada 30-50) ile calistigimiz icin pipeline kurma yatirimi yapmaya guclukle ikna oluyoruz, ama sizinkine bakinca makul gorunuyor. Eger generic GitHub kodunuz cikarsa, biz de uyarlayabiliriz.

Pandera ve WeasyPrint onerileri Ezgi hanimdan iyi bir paket, not ediyorum. Bir de matplotlib yerine plotly'i hic dusundunuz mu interaktif rapor icin?

IksaKurucu yazdi:

matplotlib yerine plotly'i hic dusundunuz mu

IksaKurucu, plotly'i internal dashboard icin kullaniyorum aslinda, manager raporu icin interaktif. Ama final musteri raporu icin matplotlib daha uygun cunku statik PDF'e cıkıyor. Kullanim ayrimi: matplotlib = formal rapor, plotly = ic veri analiz dashboard.

Bizim labda Excel formul yapistirinca Excel donuyor, ben CSV'ye kopyala-yapistir manuel girdi yapiyorum. Pandas dedigin sey panda gibi tembel mi yoksa pandas gibi calisiyor mu?

sarkayasinegi yazdi:

panda gibi tembel mi yoksa pandas gibi calisiyor mu?

Pandas isim olarak "panel data" kisaltmasi, panda hayvanindan ilham almis ama tembel degil — vectorize edilmis numpy uzerinde bir pandas kosturursun, Excel 1 saatte yaptigini 2 saniyede bitirir. Excel kapanma sorunundan kurtulursun, hayatin degisir.

Begum hanim, KTU'da lisans Yapi Malzemesi laboratuvar dersi icin de benzer bir pipeline kurmaya hazırlaniyorum, donemlik 800 numune student labs'inden geliyor. Sizin yaklasiminizi referans alabilir miyim, akademik kullanim icin uyarlama destegi alirsak bekleyebilirim mi?

Harun bey, akademik kullanim icin elimden gelen destegi veririm. KTU'da student lab pipeline'ini kurma surecinde bir pilot uyarlamayi sizin icin yapmaktan keyif alirim, kontak edelim DM'den.

Tum arkadaslara tesekkurler, U-hatti + pandera + WeasyPrint + Streamlit deploy + GitHub generic versiyon — gundeme aldim. Ay sonunda bir update atarim.