11 missing data

import%20marimo%0A%0A__generated_with%20%3D%20%220.15.5%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Dealing%20with%20Missing%20Data%0A%0A%20%20%20%20_by%20%5Betrotta%5D(https%3A%2F%2Fgithub.com%2Fetrotta)%20and%20%5BFelix%20Najera%5D(https%3A%2F%2Fgithub.com%2Ffolicks)_%0A%0A%20%20%20%20This%20notebook%20covers%20some%20common%20problems%20you%20may%20face%20when%20dealing%20with%20real%20datasets%20and%20techniques%20used%20to%20solve%20deal%20with%20them%2C%20showcasing%20polars%20functionalities%20to%20handle%20missing%20data.%0A%0A%20%20%20%20First%20we%20provide%20an%20overview%20of%20the%20methods%20available%20in%20polars%2C%20then%20we%20walk%20through%20a%20mini%20case%20study%20with%20real%20world%20data%20showing%20how%20to%20use%20it%2C%20and%20at%20last%20we%20provide%20some%20additional%20information%20in%20the%20'Bonus%20Content'%20section.%0A%20%20%20%20You%20can%20navigate%20to%20skip%20around%20to%20each%20header%20using%20the%20menu%20on%20the%20right%20side%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Methods%20for%20working%20with%20Nulls%0A%0A%20%20%20%20We'll%20be%20using%20the%20following%20DataFrame%20to%20show%20the%20most%20important%20methods%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(pl)%3A%0A%20%20%20%20df%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22species%22%3A%20%22Dog%22%2C%20%22name%22%3A%20%22Millie%22%2C%20%22height%22%3A%20None%2C%20%22age%22%3A%204%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22species%22%3A%20%22Dog%22%2C%20%22name%22%3A%20%22Wally%22%2C%20%22height%22%3A%2060%2C%20%22age%22%3A%20None%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22species%22%3A%20%22Dog%22%2C%20%22name%22%3A%20None%2C%20%22height%22%3A%2050%2C%20%22age%22%3A%2012%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22species%22%3A%20%22Cat%22%2C%20%22name%22%3A%20%22Mini%22%2C%20%22height%22%3A%2015%2C%20%22age%22%3A%20None%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22species%22%3A%20%22Cat%22%2C%20%22name%22%3A%20None%2C%20%22height%22%3A%2025%2C%20%22age%22%3A%206%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22species%22%3A%20%22Cat%22%2C%20%22name%22%3A%20%22Kazusa%22%2C%20%22height%22%3A%20None%2C%20%22age%22%3A%2016%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20df%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Counting%20nulls%0A%0A%20%20%20%20A%20simple%20yet%20convenient%20aggregation%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.null_count()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Dropping%20Nulls%0A%0A%20%20%20%20The%20simplest%20way%20of%20dealing%20with%20null%20values%20is%20throwing%20them%20away%2C%20but%20that%20is%20not%20always%20a%20good%20idea.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.drop_nulls()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.drop_nulls(subset%3D%22name%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Filtering%20null%20values%0A%0A%20%20%20%20To%20filter%20in%20polars%2C%20you'll%20typically%20use%20%60df.filter(expression)%60%20or%20%60df.remove(expression)%60%20methods.%0A%0A%20%20%20%20Filter%20will%20only%20keep%20rows%20in%20which%20the%20expression%20evaluates%20to%20True.%0A%20%20%20%20It%20will%20remove%20not%20only%20rows%20in%20which%20it%20evaluates%20to%20False%2C%20but%20also%20those%20in%20which%20the%20expression%20evaluates%20to%20None.%0A%0A%20%20%20%20Remove%20will%20only%20remove%20rows%20in%20which%20the%20expression%20evaluates%20to%20True.%0A%20%20%20%20It%20will%20keep%20rows%20in%20which%20it%20evaluates%20to%20None.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20pl)%3A%0A%20%20%20%20df.filter(pl.col(%22age%22)%20%3E%2010)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20pl)%3A%0A%20%20%20%20df.remove(pl.col(%22age%22)%20%3C%2010)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20You%20may%20also%20be%20tempted%20to%20use%20%60%3D%3D%20None%60%20or%20%60!%3D%20None%60%2C%20but%20operators%20in%20polars%20will%20generally%20propagate%20null%20values.%0A%0A%20%20%20%20You%20can%20use%20%60.eq_missing()%60%20or%20%60.ne_missing()%60%20methods%20if%20you%20want%20to%20be%20strict%20about%20it%2C%20but%20there%20are%20also%20%60.is_null()%60%20and%20%60.is_not_null()%60%20methods%20you%20can%20use.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20pl)%3A%0A%20%20%20%20df.select(%0A%20%20%20%20%20%20%20%20%22name%22%2C%0A%20%20%20%20%20%20%20%20(pl.col(%22name%22)%20%3D%3D%20None).alias(%22Name%20equals%20None%22)%2C%0A%20%20%20%20%20%20%20%20(pl.col(%22name%22)%20%3D%3D%20%22Mini%22).alias(%22Name%20equals%20Mini%22)%2C%0A%20%20%20%20%20%20%20%20(pl.col(%22name%22).eq_missing(%22Mini%22)).alias(%22Name%20eq_missing%20Mini%22)%2C%0A%20%20%20%20%20%20%20%20(pl.col(%22name%22).is_null()).alias(%22Name%20is%20null%22)%2C%0A%20%20%20%20%20%20%20%20(pl.col(%22name%22).is_not_null()).alias(%22Name%20is%20not%20null%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Filling%20Null%20values%0A%0A%20%20%20%20You%20can%20also%20fill%20in%20the%20values%20with%20constants%2C%20calculations%20or%20by%20consulting%20external%20data%20sources.%0A%0A%20%20%20%20Be%20careful%20not%20to%20treat%20estimated%20or%20guessed%20values%20as%20if%20they%20a%20ground%20truth%20however%2C%20otherwise%20you%20may%20end%20up%20making%20conclusions%20about%20a%20reality%20that%20does%20not%20exists.%0A%0A%20%20%20%20As%20an%20exercise%2C%20let's%20guess%20some%20values%20to%20fill%20in%20nulls%2C%20then%20try%20giving%20names%20to%20the%20animals%20with%20%60null%60%20by%20editing%20the%20cells%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20mo%2C%20pl)%3A%0A%20%20%20%20guesstimates%20%3D%20df.with_columns(%0A%20%20%20%20%20%20%20%20pl.col(%22height%22).fill_null(pl.col(%22height%22).mean().over(%22species%22))%2C%0A%20%20%20%20%20%20%20%20pl.col(%22age%22).fill_null(0)%2C%0A%20%20%20%20)%0A%20%20%20%20guesstimates%20%3D%20mo.ui.data_editor(%0A%20%20%20%20%20%20%20%20guesstimates%2C%0A%20%20%20%20%20%20%20%20editable_columns%3D%5B%22name%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20guesstimates%0A%20%20%20%20return%20(guesstimates%2C)%0A%0A%0A%40app.cell%0Adef%20_(guesstimates)%3A%0A%20%20%20%20guesstimates.value%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20TL%3BDR%0A%0A%20%20%20%20Before%20we%20head%20into%20the%20mini%20case%20study%2C%20a%20brief%20review%20of%20what%20we%20have%20covered%3A%0A%0A%20%20%20%20-%20use%20%60df.null_counts()%60%20or%20%60expr.is_null()%60%20to%20count%20and%20identify%20missing%20values%0A%20%20%20%20-%20you%20could%20just%20drop%20rows%20with%20values%20missing%20in%20any%20columns%20or%20a%20subset%20of%20them%20with%20%60df.drop_nulls()%60%2C%20but%20for%20most%20cases%20you'll%20want%20to%20be%20more%20careful%20about%20it%0A%20%20%20%20-%20take%20into%20consideration%20whenever%20you%20want%20to%20preserve%20null%20values%20or%20remove%20them%20when%20choosing%20between%20%60df.filter()%60%20or%20%60df.remove()%60%0A%20%20%20%20-%20if%20you%20don't%20want%20to%20propagate%20null%20values%2C%20use%20%60_missing%60%20variations%20of%20methods%20such%20as%20%60eq%60%20vs%20%60eq_missing%60%0A%20%20%20%20-%20you%20may%20want%20to%20fill%20in%20missing%20values%20based%20on%20calculations%20via%20%60fill_null%60%2C%20join%20and%20coalesce%20based%20on%20other%20datasets%2C%20or%20manually%20edit%20the%20data%20based%20on%20external%20documents%0A%0A%20%20%20%20You%20can%20also%20refer%20to%20the%20polars%20%5BUser%20Guide%5D(https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Fexpressions%2Fmissing-data%2F)%20more%20more%20information.%0A%0A%20%20%20%20Whichever%20approach%20you%20take%2C%20remember%20to%20document%20how%20you%20handled%20it!%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Mini%20Case%20Study%0A%0A%20%20%20%20We%20will%20be%20using%20a%20dataset%20from%20%60alertario%60%20about%20the%20weather%20in%20Rio%20de%20Janeiro%2C%20originally%20available%20in%20Google%20Big%20Query%20under%20%60datario.clima_pluviometro%60.%20What%20you%20need%20to%20know%20about%20it%3A%20%0A%0A%20%20%20%20-%20Contains%20multiple%20stations%20covering%20the%20Municipality%20of%20Rio%20de%20Janeiro%0A%20%20%20%20-%20Measures%20the%20precipitation%20as%20millimeters%2C%20with%20a%20granularity%20of%2015%20minutes%0A%20%20%20%20-%20We%20filtered%20to%20only%20include%20data%20about%202020%2C%202021%20and%202022%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(px%2C%20stations)%3A%0A%20%20%20%20px.scatter_map(stations%2C%20lat%3D%22lat%22%2C%20lon%3D%22lon%22%2C%20text%3D%22name%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(disabled%3DTrue%2C%20hide_code%3DTrue)%0Adef%20_(pl%2C%20px%2C%20stations)%3A%0A%20%20%20%20%23%20In%20case%20%60scatter_map%60%20does%20not%20works%20for%20you%3A%0A%20%20%20%20_fig%20%3D%20px.scatter_geo(stations%2C%20lat%3D%22lat%22%2C%20lon%3D%22lon%22%2C%20hover_name%3D%22name%22)%0A%0A%20%20%20%20_min_lat%20%3D%20stations.select(pl.col(%22lat%22).min()).item()%0A%20%20%20%20_max_lat%20%3D%20stations.select(pl.col(%22lat%22).max()).item()%0A%20%20%20%20_min_lon%20%3D%20stations.select(pl.col(%22lon%22).min()).item()%0A%20%20%20%20_max_lon%20%3D%20stations.select(pl.col(%22lon%22).max()).item()%0A%0A%20%20%20%20_fig.update_geos(%0A%20%20%20%20%20%20%20%20lataxis_range%3D%5B_min_lat%20-%200.2%2C%20_max_lat%20%2B%200.2%5D%2C%0A%20%20%20%20%20%20%20%20lonaxis_range%3D%5B_min_lon%20-%200.2%2C%20_max_lon%20%2B%200.2%5D%2C%0A%20%20%20%20%20%20%20%20resolution%3D50%2C%0A%20%20%20%20%20%20%20%20showocean%3DTrue%2C%0A%20%20%20%20%20%20%20%20oceancolor%3D%22Lightblue%22%2C%0A%20%20%20%20)%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Stations%0A%0A%20%20%20%20First%2C%20let's%20take%20a%20look%20at%20some%20of%20the%20stations.%20Notice%20how%0A%0A%20%20%20%20-%20Some%20stations%20have%20been%20deactivated%2C%20so%20there%20won't%20be%20any%20data%20about%20them%20(in%20fact%2C%20we%20don't%20even%20know%20their%20coordinates)%0A%20%20%20%20-%20There%20are%20some%20columns%20that%20do%20not%20even%20contain%20data%20at%20all!%0A%0A%20%20%20%20We%20will%20remove%20the%20empty%20columns%20and%20remove%20rows%20without%20coordinates%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dirty_stations%2C%20mo%2C%20pl)%3A%0A%20%20%20%20%23%20If%20you%20were%20working%20on%20this%20yourself%2C%20you%20may%20want%20to%20briefly%20at%20*all*%20of%20them%2C%20but%20for%20practical%20purposes%20I%20am%20taking%20a%20slice%20for%20the%20displayed%20output%2C%20as%20otherwise%20it%20would%20take%20too%20much%20screen%20space.%0A%20%20%20%20%23%20mo.ui.table(dirty_stations%2C%20pagination%3DFalse)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Before%20(head%20and%20tail%20sample)%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.concat(%5Bdirty_stations.head(3)%2C%20dirty_stations.tail(3)%5D%2C%20how%3D%22vertical%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_stations%2C%20mo%2C%20pl)%3A%0A%20%20%20%20stations%20%3D%20dirty_stations.drop_nulls(subset%3D(%22lat%22%2C%20%22lon%22)).drop(pl.col(r%22%5Eoperation_(start%7Cend)_date%24%22))%0A%20%20%20%20mo.vstack(%5Bmo.md(%22After%20(full%20dataframe)%3A%22)%2C%20stations%5D)%0A%20%20%20%20return%20(stations%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Precipitation%0A%20%20%20%20Now%2C%20let's%20move%20on%20to%20the%20Precipitation%20data.%0A%0A%20%20%20%20%23%23%20Part%201%20-%20Null%20Values%0A%0A%20%20%20%20First%20of%20all%2C%20let's%20check%20for%20null%20values%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather%2C%20pl)%3A%0A%20%20%20%20rain%20%3D%20pl.col(%22accumulated_rain_15_minutes%22)%20%20%23%20Create%20an%20alias%20since%20we'll%20use%20that%20column%20a%20lot%0A%0A%20%20%20%20dirty_weather.filter(rain.is_null())%0A%20%20%20%20return%20(rain%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dirty_weather%2C%20mo%2C%20rain)%3A%0A%20%20%20%20_missing_count%20%3D%20dirty_weather.select(rain.is_null().sum()).item()%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22As%20you%20can%20see%2C%20there%20are%20%7B_missing_count%3A%2C%7D%20rows%20missing%20the%20accumulated%20rain%20for%20a%20period.%5Cn%5CnThat%20could%20be%20caused%20by%20sensor%20malfunctions%2C%20maintenance%2C%20bobby%20tables%20or%20a%20myriad%20of%20other%20reasons.%20While%20it%20may%20be%20a%20small%20percentage%20of%20the%20data%20(%7B_missing_count%20%2F%20len(dirty_weather)%3A.3%25%7D)%2C%20it%20is%20still%20important%20to%20take%20it%20in%20consideration%2C%20one%20way%20or%20the%20other.%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20First%20option%20to%20fixing%20it%3A%20Dropping%20data.%0A%0A%20%20%20%20We%20could%20just%20remove%20those%20rows%20like%20we%20did%20for%20the%20stations%2C%20which%20may%20be%20a%20passable%20solution%20for%20some%20problems%2C%20but%20is%20not%20always%20the%20best%20idea.%0A%20%20%20%20%60%60%60py%0A%20%20%20%20dirty_weather.drop_nulls()%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%23%23%23%20Second%20option%20to%20fixing%20it%3A%20Interpolation%0A%0A%20%20%20%20Instead%20of%20removing%20these%20rows%2C%20we%20can%20use%20some%20heuritics%20to%20guess%20values%20that%20make%20sense%20for%20them.%20Remember%20that%20this%20adds%20a%20degree%20of%20uncertainty%20to%20the%20final%20results%2C%20so%20you%20should%20disclose%20how%20you%20are%20treating%20missing%20values%20if%20you%20draw%20any%20conclusions%20based%20on%20such%20guesses.%0A%20%20%20%20%60%60%60py%0A%20%20%20%20dirty_weather.with_columns(rain.fill_null(strategy%3D%22forward%22))%2C%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20When%20doing%20so%2C%20which%20strategy%20may%20make%20sense%20for%20your%20data%20varies%20greatly.%20In%20some%20cases%20you'll%20want%20to%20use%20the%20mean%20to%20maintain%20it%20centered%20around%20the%20same%20distribution%2C%20while%20in%20other%20cases%20you'll%20want%20to%20zero%20it%20to%20avoid%20modifying%20the%20total%2C%20or%20fill%20forward%2Fbackward%20to%20keep%20it%20mostly%20continuous.%0A%0A%20%20%20%20%23%23%23%20Last%20option%20to%20fixing%20it%3A%20Acquire%20the%20correct%20values%20from%20elsewhere.%0A%0A%20%20%20%20Like%20manually%20adding%20names%20to%20the%20animals%20in%20the%20introduction%2C%20but%20you%20could%20try%20finding%20approximate%20values%20from%20another%20dataset%20or%20in%20some%20cases%20manually%20input%20the%20correct%20values.%0A%0A%20%20%20%20%23%23%23%20However%0A%0A%20%20%20%20Let's%20investigate%20a%20bit%20more%20before%20deciding%20on%20following%20with%20either%20approach.%0A%20%20%20%20For%20example%2C%20is%20our%20current%20data%20even%20complete%2C%20or%20are%20we%20already%20missing%20some%20rows%20beyond%20those%20with%20null%20values%3F%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather%2C%20pl)%3A%0A%20%20%20%20seen_counts%20%3D%20dirty_weather.group_by(pl.col(%22datetime%22).dt.time()%2C%20%22station%22).len()%0A%0A%20%20%20%20%23%20Fun%20fact%3A%20a%20single%20row%20has%20its%20time%20set%20to%20%6023%3A55%60.%0A%20%20%20%20%23%20It%20should%20not%20be%20present%20in%20this%20dataset%2C%20but%20found%20its%20way%20into%20the%20official%20Google%20Big%20Query%20table%20somehow.%0A%20%20%20%20seen_counts%20%3D%20seen_counts.filter(pl.col(%22len%22)%20%3E%201)%0A%20%20%20%20%23%20You%20may%20want%20to%20treat%20it%20as%20a%20bug%20or%20outlier%20and%20remove%20it%20from%20dirty_weather%2C%20but%20we%20won't%20dive%20into%20cleaning%20such%20in%20this%20notebook%0A%0A%20%20%20%20%23%20seen_counts.sort(%22station%22%2C%20%22datetime%22).select(%22station%22%2C%20%22datetime%22%2C%20%22len%22)%0A%20%20%20%20seen_counts.sort(%22len%22).select(%22station%22%2C%20%22datetime%22%2C%20%22len%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20expected_range%20%3D%20pl.datetime_range(%0A%20%20%20%20%20%20%20%20pl.lit(%222020-01-01T00%3A00%3A00%22).str.to_datetime(time_zone%3D%22America%2FSao_Paulo%22)%2C%0A%20%20%20%20%20%20%20%20pl.lit(%222022-12-31T23%3A45%3A00%22).str.to_datetime(time_zone%3D%22America%2FSao_Paulo%22)%2C%0A%20%20%20%20%20%20%20%20%2215m%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pl.select(expected_range).group_by(pl.col.literal.dt.time()).len().sort(%22literal%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Part%202%20-%20Missing%20Rows%0A%0A%20%20%20%20We%20can%20see%20that%20we%20expected%20there%20to%20be%201096%20rows%20for%20each%20hour%20for%20each%20station%20(from%20the%20start%20of%202020%20to%20the%20end%20of%202022)%20%2C%20but%20in%20reality%20we%20see%20between%201077%20and%201096%20rows.%0A%0A%20%20%20%20That%20difference%20could%20be%20caused%20by%20the%20same%20factors%20as%20null%20values%2C%20or%20even%20by%20someone%20dropping%20null%20values%20along%20the%20way%2C%20but%20for%20the%20purposes%20of%20this%20notebook%20let's%20say%20that%20we%20want%20to%20have%20values%20for%20each%20combination%20with%20no%20exceptions%2C%20so%20we'll%20have%20to%20make%20reasonable%20assumptions%20to%20interpolate%20and%20extrapolate%20them.%0A%0A%20%20%20%20%23%23%23%20Upsampling%0A%0A%20%20%20%20Given%20that%20we%20are%20working%20with%20time%20series%20data%2C%20we%20will%20%5Bupsample%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fdataframe%2Fapi%2Fpolars.DataFrame.upsample.html)%20the%20data%2C%20but%20you%20could%20also%20create%20a%20DataFrame%20containing%20all%20expected%20rows%20then%20use%20%60join(how%3D%22...%22)%60%0A%0A%20%20%20%20However%2C%20that%20will%20give%20us%20_even%20more_%20null%20values%2C%20so%20we%20will%20want%20to%20fill%20them%20in%20afterwards.%20For%20this%20case%2C%20we%20will%20just%20use%20a%20forward%20fill%20followed%20by%20a%20backwards%20fill.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather%2C%20mo%2C%20pl%2C%20rain)%3A%0A%20%20%20%20_hollow_weather%20%3D%20dirty_weather.sort(%22station%22%2C%20%22datetime%22).upsample(%22datetime%22%2C%20every%3D%2215m%22%2C%20group_by%3D%22station%22)%0A%20%20%20%20weather%20%3D%20_hollow_weather.fill_null(strategy%3D%22forward%22).fill_null(strategy%3D%22backward%22)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Null%20counts%20at%20each%20step%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%3Dpl.concat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dirty_weather.null_count().select(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22Before%20upsampling%22).alias(%22label%22)%2C%20rain%2C%20%22station%22%2C%20%22datetime%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_hollow_weather.null_count().select(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22After%20upsampling%22).alias(%22label%22)%2C%20rain%2C%20%22station%22%2C%20%22datetime%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20weather.null_count().select(pl.lit(%22After%20filling%22).alias(%22label%22)%2C%20rain%2C%20%22station%22%2C%20%22datetime%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Data%20after%20upsampling%20and%20filling%20in%20nulls%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20weather%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(weather%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Now%20that%20we%20finally%20have%20a%20clean%20dataset%2C%20let's%20play%20around%20with%20it%20a%20little.%0A%0A%20%20%20%20%23%23%23%20Example%20App%0A%0A%20%20%20%20Let's%20display%20the%20amount%20of%20precipitation%20each%20station%20measured%20within%20a%20timeframe%2C%20aggregated%20to%20a%20lower%20granularity.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20filters%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Filters%20for%20the%20example%0A%0A%20%20%20%20%20%20%20%20Year%3A%20%7Byear%7D%0A%20%20%20%20%20%20%20%20Days%20of%20the%20year%3A%20%7Bday%7D%0A%20%20%20%20%20%20%20%20Hours%20of%20each%20day%3A%20%7Bhour%7D%0A%20%20%20%20%20%20%20%20Aggregation%20granularity%3A%20%7Binterval%7D%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20year%3Dmo.ui.dropdown(%5B2020%2C%202021%2C%202022%5D%2C%20value%3D2022)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20day%3Dmo.ui.range_slider(1%2C%20365%2C%20show_value%3DTrue%2C%20full_width%3DTrue%2C%20value%3D%5B87%2C%2094%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hour%3Dmo.ui.range_slider(0%2C%2024%2C%200.25%2C%20show_value%3DTrue%2C%20full_width%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20interval%3Dmo.ui.dropdown(%5B%2215m%22%2C%20%2230m%22%2C%20%221h%22%2C%20%222h%22%2C%20%224h%22%2C%20%226h%22%2C%20%221d%22%2C%20%227d%22%2C%20%2230d%22%5D%2C%20value%3D%224h%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form()%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Note%3A%20You%20could%20use%20%60mo.ui.date_range%60%20instead%2C%20but%20I%20just%20don't%20like%20it%20myself%0A%20%20%20%20%23%20mo.ui.date_range(start%3D%222020-01-01%22%2C%20stop%3D%222022-12-31%22%2C%20value%3D%5B%222022-03-28%22%2C%20%222022-04-03%22%5D%2C%20label%3D%22Display%20range%22)%0A%0A%20%20%20%20filters%0A%20%20%20%20return%20(filters%2C)%0A%0A%0A%40app.cell%0Adef%20_(filters%2C%20mo%2C%20pl%2C%20rain%2C%20stations%2C%20weather)%3A%0A%20%20%20%20mo.stop(filters.value%20is%20None)%0A%0A%20%20%20%20_range_seconds%20%3D%20map(lambda%20hour%3A%20hour%20*%203600%2C%20filters.value%5B%22hour%22%5D)%0A%20%20%20%20_df_seconds%20%3D%20pl.col(%22datetime%22).dt.hour().cast(pl.Float64()).mul(3600)%20%2B%20pl.col(%22datetime%22).dt.minute().cast(%0A%20%20%20%20%20%20%20%20pl.Float64()%0A%20%20%20%20).mul(60)%0A%0A%20%20%20%20animation_data%20%3D%20(%0A%20%20%20%20%20%20%20%20weather.lazy()%0A%20%20%20%20%20%20%20%20.filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22datetime%22).dt.year()%20%3D%3D%20filters.value%5B%22year%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22datetime%22).dt.ordinal_day().is_between(*filters.value%5B%22day%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_df_seconds.is_between(*_range_seconds)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.group_by_dynamic(%22datetime%22%2C%20group_by%3D%22station%22%2C%20every%3Dfilters.value%5B%22interval%22%5D)%0A%20%20%20%20%20%20%20%20.agg(rain.sum().alias(%22precipitation%22))%0A%20%20%20%20%20%20%20%20.remove(pl.col(%22precipitation%22).eq(0).all().over(%22station%22))%0A%20%20%20%20%20%20%20%20.join(stations.lazy()%2C%20on%3D%22station%22)%0A%20%20%20%20%20%20%20%20.select(%22name%22%2C%20%22lat%22%2C%20%22lon%22%2C%20%22precipitation%22%2C%20%22datetime%22)%0A%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20)%0A%20%20%20%20return%20(animation_data%2C)%0A%0A%0A%40app.cell%0Adef%20_(animation_data%2C%20pl%2C%20px)%3A%0A%20%20%20%20_fig%20%3D%20px.scatter_geo(%0A%20%20%20%20%20%20%20%20animation_data.with_columns(avg_precipitation%3Dpl.col(%22precipitation%22).mean())%2C%0A%20%20%20%20%20%20%20%20lat%3D%22lat%22%2C%0A%20%20%20%20%20%20%20%20lon%3D%22lon%22%2C%0A%20%20%20%20%20%20%20%20hover_name%3D%22name%22%2C%0A%20%20%20%20%20%20%20%20animation_group%3D%22name%22%2C%0A%20%20%20%20%20%20%20%20animation_frame%3D%22datetime%22%2C%0A%20%20%20%20%20%20%20%20size%3D%22avg_precipitation%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22precipitation%22%2C%0A%20%20%20%20%20%20%20%20color_continuous_scale%3D%22PuBu%22%2C%0A%20%20%20%20%20%20%20%20range_color%3D%5B0%2C%20animation_data.select(pl.col(%22precipitation%22).max()).item()%5D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_min_lat%20%3D%20animation_data.select(pl.col(%22lat%22).min()).item()%0A%20%20%20%20_max_lat%20%3D%20animation_data.select(pl.col(%22lat%22).max()).item()%0A%20%20%20%20_min_lon%20%3D%20animation_data.select(pl.col(%22lon%22).min()).item()%0A%20%20%20%20_max_lon%20%3D%20animation_data.select(pl.col(%22lon%22).max()).item()%0A%0A%20%20%20%20_fig.update_geos(%0A%20%20%20%20%20%20%20%20lataxis_range%3D%5B_min_lat%20-%200.2%2C%20_max_lat%20%2B%200.2%5D%2C%0A%20%20%20%20%20%20%20%20lonaxis_range%3D%5B_min_lon%20-%200.2%2C%20_max_lon%20%2B%200.2%5D%2C%0A%20%20%20%20%20%20%20%20resolution%3D50%2C%0A%20%20%20%20%20%20%20%20showocean%3DTrue%2C%0A%20%20%20%20%20%20%20%20oceancolor%3D%22Lightblue%22%2C%0A%20%20%20%20)%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20If%20we%20were%20missing%20some%20rows%2C%20we%20would%20have%20circles%20popping%20in%20and%20out%20of%20existence%20instead%20of%20a%20smooth%20animation!%0A%0A%20%20%20%20In%20many%20scenarios%2C%20missing%20data%20can%20also%20lead%20to%20wrong%20results%20overall%2C%20for%20example%20if%20we%20were%20to%20estimate%20the%20total%20amount%20of%20rainfall%20during%20the%20observed%20period%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather%2C%20mo%2C%20rain%2C%20weather)%3A%0A%20%20%20%20old_estimate%20%3D%20dirty_weather.select(rain.sum()).item()%0A%20%20%20%20new_estimate%20%3D%20weather.select(rain.sum()).item()%0A%20%20%20%20%23%20Note%3A%20The%20aggregation%20used%20to%20calculate%20these%20variables%20(taking%20a%20sum%20across%20all%20stations)%20is%20not%20very%20meaningful%2C%20but%20the%20relative%20difference%20between%20them%20scales%20across%20many%20potentially%20useful%20aggregations%0A%0A%20%20%20%20mo.md(f%22Our%20estimates%20may%20change%20by%20roughly%20%7B(new_estimate%20-%20old_estimate)%20%2F%20old_estimate%3A.2%25%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Which%20is%20still%20a%20relatively%20small%20difference%2C%20but%20every%20drop%20counts%20when%20you%20are%20dealing%20with%20the%20weather.%0A%0A%20%20%20%20For%20datasets%20with%20a%20higher%20share%20of%20missing%20values%2C%20that%20difference%20can%20get%20much%20higher.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Bonus%20Content%0A%0A%20%20%20%20%23%23%20Appendix%20A%3A%20Missing%20Time%20Zones%0A%0A%20%20%20%20The%20original%20dataset%20contained%20naive%20datetimes%20instead%20of%20timezone-aware%2C%20but%20we%20can%20infer%20whenever%20it%20refers%20to%20UTC%20time%20or%20local%20time%20(for%20this%20case%2C%20-03%3A00%20UTC)%20based%20on%20the%20measurements.%0A%0A%20%20%20%20For%20example%2C%20we%20can%20select%20one%20specific%20interval%20during%20which%20we%20know%20that%20rained%20a%20lot%2C%20or%20graph%20the%20average%20amount%20of%20precipitation%20for%20each%20hour%20of%20the%20day%2C%20then%20compare%20the%20data%20timestamps%20with%20a%20ground%20truth.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(dirty_weather_naive%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Original%20data%20example%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20dirty_weather_naive.head(3)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather_naive%2C%20pl%2C%20px%2C%20rain)%3A%0A%20%20%20%20naive_downfall_per_hour%20%3D%20(%0A%20%20%20%20%20%20%20%20dirty_weather_naive.group_by(pl.col(%22datetime%22).dt.hour().alias(%22hour%22))%0A%20%20%20%20%20%20%20%20.agg(rain.sum().alias(%22accumulated_rain%22))%0A%20%20%20%20%20%20%20%20.with_columns(pl.col(%22accumulated_rain%22).truediv(pl.col(%22accumulated_rain%22).sum()).mul(100))%0A%20%20%20%20)%0A%20%20%20%20px.bar(%0A%20%20%20%20%20%20%20%20naive_downfall_per_hour.sort(%22hour%22)%2C%0A%20%20%20%20%20%20%20%20x%3D%22hour%22%2C%0A%20%20%20%20%20%20%20%20y%3D%22accumulated_rain%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Distribution%20of%20precipitation%20per%20hour%20(%25)%2C%20using%20the%20naive%20datetime%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather_naive%2C%20pl%2C%20rain%2C%20stations)%3A%0A%20%20%20%20naive_top_rain_events%20%3D%20(%0A%20%20%20%20%20%20%20%20dirty_weather_naive.lazy()%0A%20%20%20%20%20%20%20%20%23%20If%20you%20wanted%20to%20filter%20the%20dates%20and%20locate%20a%20specific%20event%3A%0A%20%20%20%20%20%20%20%20%23%20.filter(pl.col(%22datetime%22).is_between(pl.lit(%222022-03-01%22).str.to_datetime()%2C%20pl.lit(%222022-05-01%22).str.to_datetime()))%0A%20%20%20%20%20%20%20%20.sort(%22station%22%2C%20%22datetime%22)%0A%20%20%20%20%20%20%20%20.group_by_dynamic(%22datetime%22%2C%20every%3D%221h%22%2C%20offset%3D%2230m%22%2C%20group_by%3D%22station%22)%0A%20%20%20%20%20%20%20%20.agg(rain.sum())%0A%20%20%20%20%20%20%20%20.join(stations.lazy()%2C%20on%3D%22station%22)%0A%20%20%20%20%20%20%20%20.sort(rain%2C%20descending%3DTrue)%0A%20%20%20%20%20%20%20%20.select(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22datetime%22).alias(%22window_start%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%22datetime%22)%20%2B%20pl.duration(hours%3D1)).alias(%22window_end%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rain.alias(%22accumulated%20rain%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.head(50)%0A%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20)%0A%20%20%20%20naive_top_rain_events%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20By%20externally%20researching%20the%20expected%20distribution%20and%20looking%20up%20some%20of%20the%20extreme%20weather%20events%2C%20we%20can%20come%20to%20a%20conclusion%20about%20whenever%20it%20is%20aligned%20with%20the%20local%20time%20or%20with%20UTC.%0A%0A%20%20%20%20In%20this%20case%2C%20the%20distribution%20matches%20the%20normal%20weather%20for%20this%20region%20and%20we%20can%20see%20that%20the%20hours%20with%20the%20most%20precipitation%20match%20those%20of%20historical%20events%2C%20so%20it%20is%20safe%20to%20say%20it%20is%20using%20local%20time%20(equivalent%20to%20the%20Americas%2FS%C3%A3o%20Paulo%20time%20zone).%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather_naive%2C%20pl)%3A%0A%20%20%20%20dirty_weather%20%3D%20dirty_weather_naive.with_columns(pl.col(%22datetime%22).dt.replace_time_zone(%22America%2FSao_Paulo%22))%0A%0A%20%20%20%20dirty_weather.head(3)%0A%20%20%20%20return%20(dirty_weather%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Appendix%20B%3A%20Not%20a%20Number%0A%0A%20%20%20%20While%20some%20other%20tools%20without%20proper%20support%20for%20missing%20values%20may%20use%20%60NaN%60%20as%20a%20way%20to%20indicate%20a%20value%20is%20missing%2C%20in%20polars%20it%20is%20treated%20exclusively%20as%20a%20float%20value%2C%20much%20like%20%600.0%60%2C%20%601.0%60%20or%20%60infinity%60.%0A%0A%20%20%20%20You%20can%20use%20%60.fill_null(float('nan'))%60%20if%20you%20need%20to%20convert%20floats%20to%20a%20format%20such%20tools%20accept%2C%20or%20use%20%60.fill_nan(None)%60%20if%20you%20are%20importing%20data%20from%20them%2C%20assuming%20that%20there%20are%20no%20values%20which%20really%20are%20supposed%20to%20be%20the%20float%20NaN.%0A%0A%20%20%20%20Remember%20that%20many%20calculations%20can%20result%20in%20NaN%2C%20for%20example%20dividing%20by%20zero%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dirty_weather%2C%20pl%2C%20rain)%3A%0A%20%20%20%20day_perc%20%3D%20dirty_weather.select(%0A%20%20%20%20%20%20%20%20%22datetime%22%2C%0A%20%20%20%20%20%20%20%20(rain%20%2F%20rain.sum().over(%22station%22%2C%20pl.col(%22datetime%22).dt.date())).alias(%22percentage_of_day_precipitation%22)%2C%0A%20%20%20%20)%0A%20%20%20%20perc_col%20%3D%20pl.col(%22percentage_of_day_precipitation%22)%0A%0A%20%20%20%20day_perc%0A%20%20%20%20return%20day_perc%2C%20perc_col%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(day_perc%2C%20mo%2C%20perc_col)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20It%20is%20null%20for%20%7Bday_perc.select(perc_col.is_null().mean()).item()%3A.4%25%7D%20of%20the%20rows%2C%20but%20is%20NaN%20for%20%7Bday_perc.select(perc_col.is_nan().mean()).item()%3A.4%25%7D%20of%20them.%0A%20%20%20%20If%20we%20use%20the%20cleaned%20weather%20dataframe%20to%20calculate%20it%20instead%20of%20the%20dirty_weather%2C%20we%20will%20have%20no%20nulls%2C%20but%20note%20how%20for%20this%20calculation%20we%20can%20end%20up%20with%20both%2C%20with%20each%20having%20a%20different%20meaning.%0A%0A%20%20%20%20In%20this%20case%20it%20makes%20sense%20to%20fill%20in%20NaNs%20as%200%20to%20indicate%20there%20was%20no%20rain%20during%20that%20period%2C%20but%20treating%20the%20nulls%20the%20same%20could%20lead%20to%20a%20different%20interpretation%20of%20the%20data%2C%20so%20remember%20to%20handle%20NaNs%20and%20nulls%20separately.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Appendix%20C%3A%20Everything%20else%0A%0A%20%20%20%20As%20long%20as%20this%20Notebook%20is%2C%20it%20cannot%20reasonably%20cover%20***everything***%20that%20may%20have%20to%20deal%20with%20missing%20values%2C%20as%20that%20is%20literally%20everything%20that%20may%20have%20to%20deal%20with%20data.%0A%0A%20%20%20%20This%20section%20very%20briefly%20covers%20some%20other%20features%20not%20mentioned%20above%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Missing%20values%20in%20Aggregations%0A%0A%20%20%20%20Many%20aggregations%20methods%20will%20ignore%2Fskip%20missing%20values%2C%20while%20others%20take%20them%20into%20consideration.%0A%0A%20%20%20%20Always%20check%20the%20documentation%20of%20the%20method%20you're%20using%2C%20much%20of%20the%20time%20docstrings%20will%20explain%20their%20behaviour.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20pl)%3A%0A%20%20%20%20df.group_by(%22species%22).agg(%0A%20%20%20%20%20%20%20%20pl.col(%22height%22).len().alias(%22len%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22height%22).count().alias(%22count%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Missing%20values%20in%20Joins%0A%0A%20%20%20%20By%20default%20null%20values%20will%20never%20produce%20matches%20using%20%5Bjoin%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fdataframe%2Fapi%2Fpolars.DataFrame.join.html)%2C%20but%20you%20can%20specify%20%60nulls_equal%3DTrue%60%20to%20join%20Null%20values%20with%20each%20other.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(pl)%3A%0A%20%20%20%20age_groups%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22age%22%3A%20None%2C%20%22stage%22%3A%20%22Unknown%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22age%22%3A%20%5B0%2C%201%5D%2C%20%22stage%22%3A%20%22Baby%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22age%22%3A%20%5B2%2C%203%2C%204%2C%205%2C%206%2C%207%2C%208%2C%209%2C%2010%5D%2C%20%22stage%22%3A%20%22Adult%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22age%22%3A%20%5B11%2C%2012%2C%2013%2C%2014%5D%2C%20%22stage%22%3A%20%22Senior%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22age%22%3A%20%5B15%2C%2016%2C%2017%2C%2018%2C%2019%2C%2020%5D%2C%20%22stage%22%3A%20%22Geriatric%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20age_groups%0A%20%20%20%20return%20(age_groups%2C)%0A%0A%0A%40app.cell%0Adef%20_(age_groups%2C%20df)%3A%0A%20%20%20%20df.join(age_groups.explode(%22age%22)%2C%20on%3D%22age%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(age_groups%2C%20df)%3A%0A%20%20%20%20df.join(age_groups.explode(%22age%22)%2C%20on%3D%22age%22%2C%20nulls_equal%3DTrue)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Utilities%0A%0A%20%20%20%20Loading%20data%20and%20imports%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20raw_stations%20%3D%20pl.scan_csv(%22hf%3A%2F%2Fdatasets%2Fetrotta%2Fweather-alertario%2Fdatario_alertario_stations.csv%22)%0A%20%20%20%20raw_weather%20%3D%20pl.scan_csv(%22hf%3A%2F%2Fdatasets%2Fetrotta%2Fweather-alertario%2Fdatario_alertario_weather_2020_to_2022.csv%22)%0A%20%20%20%20return%20raw_stations%2C%20raw_weather%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20raw_stations)%3A%0A%20%20%20%20dirty_stations%20%3D%20raw_stations.select(%0A%20%20%20%20%20%20%20%20pl.col(%22id_estacao%22).alias(%22station%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22estacao%22).alias(%22name%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22latitude%22).alias(%22lat%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22longitude%22).alias(%22lon%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22cota%22).alias(%22altitude%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22situacao%22).alias(%22situation%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22endereco%22).alias(%22address%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22data_inicio_operacao%22).alias(%22operation_start_date%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22data_fim_operacao%22).alias(%22operation_end_date%22)%2C%0A%20%20%20%20).collect()%0A%20%20%20%20return%20(dirty_stations%2C)%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20raw_weather)%3A%0A%20%20%20%20dirty_weather_naive%20%3D%20raw_weather.select(%0A%20%20%20%20%20%20%20%20pl.col(%22id_estacao%22).alias(%22station%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22acumulado_chuva_15_min%22).alias(%22accumulated_rain_15_minutes%22)%2C%0A%20%20%20%20%20%20%20%20pl.concat_str(%22data_particao%22%2C%20pl.lit(%22T%22)%2C%20%22horario%22).str.to_datetime(time_zone%3DNone).alias(%22datetime%22)%2C%0A%20%20%20%20).collect()%0A%20%20%20%20return%20(dirty_weather_naive%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20return%20(pl%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20return%20(px%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A