08 working with columns

import%20marimo%0A%0A__generated_with%20%3D%20%220.13.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Working%20with%20Columns%0A%0A%20%20%20%20%20%20%20%20Author%3A%20%5BDeb%20Debnath%5D(https%3A%2F%2Fgithub.com%2Fdebajyotid2)%0A%0A%20%20%20%20%20%20%20%20**Note**%3A%20The%20following%20tutorial%20has%20been%20adapted%20from%20the%20Polars%20%5Bdocumentation%5D(https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Fexpressions%2Fexpression-expansion).%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Expressions%0A%0A%20%20%20%20%20%20%20%20Data%20transformations%20are%20sometimes%20complicated%2C%20or%20involve%20massive%20computations%20which%20are%20time-consuming.%20You%20can%20make%20a%20small%20version%20of%20the%20dataset%20with%20the%20schema%20you%20are%20trying%20to%20work%20your%20transformation%20into.%20But%20there%20is%20a%20better%20way%20to%20do%20it%20in%20Polars.%0A%0A%20%20%20%20%20%20%20%20A%20Polars%20expression%20is%20a%20lazy%20representation%20of%20a%20data%20transformation.%20%22Lazy%22%20means%20that%20the%20transformation%20is%20not%20eagerly%20(immediately)%20executed.%20%0A%0A%20%20%20%20%20%20%20%20Expressions%20are%20modular%20and%20flexible.%20They%20can%20be%20composed%20to%20build%20more%20complex%20expressions.%20For%20example%2C%20to%20calculate%20speed%20from%20distance%20and%20time%2C%20you%20can%20have%20an%20expression%20as%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20speed_expr%20%3D%20pl.col(%22distance%22)%20%2F%20(pl.col(%22time%22))%0A%20%20%20%20speed_expr%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Expression%20expansion%0A%0A%20%20%20%20%20%20%20%20Expression%20expansion%20lets%20you%20write%20a%20single%20expression%20that%20can%20expand%20to%20multiple%20different%20expressions.%20So%20rather%20than%20repeatedly%20defining%20separate%20expressions%2C%20you%20can%20avoid%20redundancy%20while%20adhering%20to%20clean%20code%20principles%20(Do%20not%20Repeat%20Yourself%20-%20%5BDRY%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FDon%2527t_repeat_yourself)).%20Since%20expressions%20are%20reusable%2C%20they%20aid%20in%20writing%20concise%20code.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22For%20the%20examples%20in%20this%20notebook%2C%20we%20will%20use%20a%20sliver%20of%20the%20*AI4I%202020%20Predictive%20Maintenance%20Dataset*.%20This%20dataset%20comprises%20of%20measurements%20taken%20from%20sensors%20in%20industrial%20machinery%20undergoing%20preventive%20maintenance%20checks%20-%20basically%20being%20tested%20for%20failure%20conditions.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(StringIO%2C%20pl)%3A%0A%20%20%20%20data_csv%20%3D%20%22%22%22%0A%20%20%20%20Product%20ID%2CType%2CAir%20temperature%2CProcess%20temperature%2CRotational%20speed%2CTool%20wear%2CMachine%20failure%2CTWF%2CHDF%2CPWF%2COSF%2CRNF%0A%20%20%20%20L51172%2CL%2C302.3%2C311.3%2C1614%2C129%2C0%2C0%2C1%2C0%2C0%2C0%0A%20%20%20%20M22586%2CM%2C300.8%2C311.9%2C1761%2C113%2C1%2C0%2C0%2C0%2C1%2C0%0A%20%20%20%20L51639%2CL%2C302.6%2C310.4%2C1743%2C191%2C0%2C1%2C0%2C0%2C0%2C1%0A%20%20%20%20L50250%2CL%2C300%2C309.1%2C1631%2C110%2C0%2C0%2C0%2C1%2C0%2C0%0A%20%20%20%20M20109%2CM%2C303.4%2C312.9%2C1422%2C63%2C1%2C0%2C0%2C0%2C0%2C0%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20data%20%3D%20pl.read_csv(StringIO(data_csv))%0A%20%20%20%20data%0A%20%20%20%20return%20(data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Function%20%60col%60%0A%0A%20%20%20%20%20%20%20%20The%20function%20%60col%60%20is%20used%20to%20refer%20to%20one%20column%20of%20a%20dataframe.%20It%20is%20one%20of%20the%20fundamental%20building%20blocks%20of%20expressions%20in%20Polars.%20%60col%60%20is%20also%20really%20handy%20in%20expression%20expansion.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Explicit%20expansion%20by%20column%20name%0A%0A%20%20%20%20%20%20%20%20The%20simplest%20form%20of%20expression%20expansion%20happens%20when%20you%20provide%20multiple%20column%20names%20to%20the%20function%20%60col%60.%0A%0A%20%20%20%20%20%20%20%20Say%20you%20wish%20to%20convert%20all%20temperature%20values%20in%20deg.%20Kelvin%20(K)%20to%20deg.%20Fahrenheit%20(F).%20One%20way%20to%20do%20this%20would%20be%20to%20define%20individual%20expressions%20for%20each%20column%20as%20follows%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20exprs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20((pl.col(%22Air%20temperature%22)%20-%20273.15)%20*%201.8%20%2B%2032).round(2)%2C%0A%20%20%20%20%20%20%20%20((pl.col(%22Process%20temperature%22)%20-%20273.15)%20*%201.8%20%2B%2032).round(2)%0A%20%20%20%20%5D%0A%0A%20%20%20%20result%20%3D%20data.with_columns(exprs)%0A%20%20%20%20result%0A%20%20%20%20return%20(result%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Expression%20expansion%20can%20reduce%20this%20verbosity%20when%20you%20list%20the%20column%20names%20you%20want%20the%20expression%20to%20expand%20to%20inside%20the%20%60col%60%20function.%20The%20result%20is%20the%20same%20as%20before.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl%2C%20result)%3A%0A%20%20%20%20result_2%20%3D%20data.with_columns(%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Air%20temperature%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Process%20temperature%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20273.15)%20*%201.8%20%2B%2032%0A%20%20%20%20%20%20%20%20).round(2)%0A%20%20%20%20)%0A%20%20%20%20result_2.equals(result)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22In%20this%20case%2C%20the%20expression%20that%20does%20the%20temperature%20conversion%20is%20expanded%20to%20a%20list%20of%20two%20expressions.%20The%20expansion%20of%20the%20expression%20is%20predictable%20and%20intuitive.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Expansion%20by%20data%20type%0A%0A%20%20%20%20%20%20%20%20Can%20we%20do%20better%20than%20explicitly%20writing%20the%20names%20of%20every%20columns%20we%20want%20transformed%3F%20Yes.%0A%0A%20%20%20%20%20%20%20%20If%20you%20provide%20data%20types%20instead%20of%20column%20names%2C%20the%20expression%20is%20expanded%20to%20all%20columns%20that%20match%20one%20of%20the%20data%20types%20provided.%0A%0A%20%20%20%20%20%20%20%20The%20example%20below%20performs%20the%20exact%20same%20computation%20as%20before%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl%2C%20result)%3A%0A%20%20%20%20result_3%20%3D%20data.with_columns(((pl.col(pl.Float64)%20-%20273.15)%20*%201.8%20%2B%2032).round(2))%0A%20%20%20%20result_3.equals(result)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20However%2C%20you%20should%20be%20careful%20to%20ensure%20that%20the%20transformation%20is%20only%20applied%20to%20the%20columns%20you%20want.%20For%20ensuring%20this%20it%20is%20important%20to%20know%20the%20schema%20of%20the%20data%20beforehand.%20%0A%0A%20%20%20%20%20%20%20%20%60col%60%20accepts%20multiple%20data%20types%20in%20case%20the%20columns%20you%20need%20have%20more%20than%20one%20data%20type.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl%2C%20result)%3A%0A%20%20%20%20result_4%20%3D%20data.with_columns(%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.Float32%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.Float64%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20-%20273.15)%20*%201.8%20%2B%2032%0A%20%20%20%20%20%20%20%20).round(2)%0A%20%20%20%20)%0A%20%20%20%20result.equals(result_4)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Expansion%20by%20pattern%20matching%0A%0A%20%20%20%20%20%20%20%20%60col%60%20also%20accepts%20regular%20expressions%20for%20selecting%20columns%20by%20pattern%20matching.%20Regular%20expressions%20start%20and%20end%20with%20%5E%20and%20%24%2C%20respectively.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20data.select(pl.col(%22%5E.*temperature%24%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Regular%20expressions%20can%20be%20combined%20with%20exact%20column%20names.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20data.select(pl.col(%22%5E.*temperature%24%22%2C%20%22Tool%20wear%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22**Note**%3A%20You%20_cannot_%20mix%20strings%20(exact%20names%2C%20regular%20expressions)%20and%20data%20types%20in%20a%20%60col%60%20function.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20data.select(pl.col(%22Air%20temperature%22%2C%20pl.Float64))%0A%20%20%20%20except%20TypeError%20as%20err%3A%0A%20%20%20%20%20%20%20%20print(%22TypeError%3A%22%2C%20err)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Selecting%20all%20columns%0A%0A%20%20%20%20%20%20%20%20To%20select%20all%20columns%2C%20you%20can%20use%20the%20%60all%60%20function.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20result_6%20%3D%20data.select(pl.all())%0A%20%20%20%20result_6.equals(data)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Excluding%20columns%0A%0A%20%20%20%20%20%20%20%20There%20are%20scenarios%20where%20we%20might%20want%20to%20exclude%20specific%20columns%20from%20the%20ones%20selected%20by%20building%20expressions%2C%20e.g.%20by%20the%20%60col%60%20or%20%60all%60%20functions.%20For%20this%20purpose%2C%20we%20use%20the%20function%20%60exclude%60%2C%20which%20accepts%20exactly%20the%20same%20types%20of%20arguments%20as%20%60col%60%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20data.select(pl.all().exclude(%22%5E.*F%24%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%60exclude%60%20can%20also%20be%20used%20after%20the%20function%20%60col%60%3A%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20data.select(pl.col(pl.Int64).exclude(%22%5E.*F%24%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Column%20renaming%0A%0A%20%20%20%20%20%20%20%20When%20applying%20a%20transformation%20with%20an%20expression%20to%20a%20column%2C%20the%20data%20in%20the%20column%20gets%20overwritten%20with%20the%20transformed%20data.%20However%2C%20this%20might%20not%20be%20the%20intended%20outcome%20in%20all%20situations%20-%20ideally%20you%20would%20want%20to%20store%20transformed%20data%20in%20a%20new%20column.%20Applying%20multiple%20transformations%20to%20the%20same%20column%20at%20the%20same%20time%20without%20renaming%20leads%20to%20errors.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20from%20polars.exceptions%20import%20DuplicateError%0A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20data.select(%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%22Air%20temperature%22)%20-%20273.15)%20*%201.8%20%2B%2032%2C%20%20%23%20This%20would%20be%20named%20%22Air%20temperature%22...%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22Air%20temperature%22)%20-%20273.15%2C%20%20%23%20And%20so%20would%20this.%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20except%20DuplicateError%20as%20err%3A%0A%20%20%20%20%20%20%20%20print(%22DuplicateError%3A%22%2C%20err)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Renaming%20a%20single%20column%20with%20%60alias%60%0A%0A%20%20%20%20%20%20%20%20The%20function%20%60alias%60%20lets%20you%20rename%20a%20single%20column%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20data.select(%0A%20%20%20%20%20%20%20%20%20%20%20%20((pl.col(%22Air%20temperature%22)%20-%20273.15)%20*%201.8%20%2B%2032).round(2).alias(%22Air%20temperature%20%5BF%5D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%22Air%20temperature%22)%20-%20273.15).round(2).alias(%22Air%20temperature%20%5BC%5D%22)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Prefixing%20and%20suffixing%20column%20names%0A%0A%20%20%20%20%20%20%20%20As%20%60alias%60%20renames%20a%20single%20column%20at%20a%20time%2C%20it%20cannot%20be%20used%20during%20expression%20expansion.%20If%20it%20is%20sufficient%20add%20a%20static%20prefix%20or%20a%20static%20suffix%20to%20the%20existing%20names%2C%20you%20can%20use%20the%20functions%20%60name.prefix%60%20and%20%60name.suffix%60%20with%20%60col%60%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20data.select(%0A%20%20%20%20%20%20%20%20((pl.col(%22Air%20temperature%22)%20-%20273.15)%20*%201.8%20%2B%2032).round(2).name.prefix(%22deg%20F%20%22)%2C%0A%20%20%20%20%20%20%20%20(pl.col(%22Process%20temperature%22)%20-%20273.15).round(2).name.suffix(%22%20C%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Dynamic%20name%20replacement%0A%0A%20%20%20%20%20%20%20%20If%20a%20static%20prefix%2Fsuffix%20is%20not%20enough%2C%20use%20%60name.map%60.%20%60name.map%60%20requires%20a%20function%20that%20transforms%20column%20names%20to%20the%20desired.%20The%20transformation%20should%20lead%20to%20unique%20names%20to%20avoid%20%60DuplicateError%60.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20%23%20There%20is%20also%20%60.name.to_lowercase%60%2C%20so%20this%20usage%20of%20%60.map%60%20is%20moot.%0A%20%20%20%20data.select(pl.col(%22%5E.*F%24%22).name.map(str.lower))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Programmatically%20generating%20expressions%0A%0A%20%20%20%20%20%20%20%20For%20this%20example%2C%20we%20will%20first%20create%20four%20additional%20columns%20with%20the%20rolling%20mean%20temperatures%20of%20the%20two%20temperature%20columns.%20Such%20transformations%20are%20sometimes%20used%20to%20create%20additional%20features%20for%20machine%20learning%20models%20or%20data%20analysis.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20pl)%3A%0A%20%20%20%20ext_temp_data%20%3D%20data.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22%5E.*temperature%24%22).rolling_mean(window_size%3D2).round(2).name.prefix(%22Rolling%20mean%20%22)%0A%20%20%20%20).select(pl.col(%22%5E.*temperature*%24%22))%0A%20%20%20%20ext_temp_data%0A%20%20%20%20return%20(ext_temp_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Now%2C%20suppose%20we%20want%20to%20calculate%20the%20difference%20between%20the%20rolling%20mean%20and%20actual%20temperatures.%20We%20cannot%20use%20expression%20expansion%20here%20as%20we%20want%20differences%20between%20specific%20columns.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22At%20first%2C%20you%20may%20think%20about%20using%20a%20%60for%60%20loop%3A%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(ext_temp_data%2C%20pl)%3A%0A%20%20%20%20_result%20%3D%20ext_temp_data%0A%20%20%20%20for%20col_name%20in%20%5B%22Air%22%2C%20%22Process%22%5D%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20_result.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20(abs(pl.col(f%22Rolling%20mean%20%7Bcol_name%7D%20temperature%22)%20-%20pl.col(f%22%7Bcol_name%7D%20temperature%22)))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.round(2).alias(f%22Delta%20%7Bcol_name%7D%20temperature%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_result%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Using%20a%20%60for%60%20loop%20is%20functional%2C%20but%20not%20scalable%2C%20as%20each%20expression%20needs%20to%20be%20defined%20in%20an%20iteration%20and%20executed%20serially.%20Instead%20we%20can%20use%20a%20generator%20in%20Python%20to%20programmatically%20create%20all%20expressions%20at%20once.%20In%20conjunction%20with%20the%20%60with_columns%60%20context%2C%20we%20can%20take%20advantage%20of%20parallel%20execution%20of%20computations%20and%20query%20optimization%20from%20Polars.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(ext_temp_data%2C%20pl)%3A%0A%20%20%20%20def%20delta_expressions(colnames%3A%20list%5Bstr%5D)%20-%3E%20pl.Expr%3A%0A%20%20%20%20%20%20%20%20for%20col_name%20in%20colnames%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20yield%20(abs(pl.col(f%22Rolling%20mean%20%7Bcol_name%7D%20temperature%22)%20-%20pl.col(f%22%7Bcol_name%7D%20temperature%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.round(2).alias(f%22Delta%20%7Bcol_name%7D%20temperature%22))%0A%0A%0A%20%20%20%20ext_temp_data.with_columns(delta_expressions(%5B%22Air%22%2C%20%22Process%22%5D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20More%20flexible%20column%20selections%0A%0A%20%20%20%20%20%20%20%20For%20more%20flexible%20column%20selections%2C%20you%20can%20use%20column%20selectors%20from%20%60selectors%60.%20Column%20selectors%20allow%20for%20more%20expressiveness%20in%20the%20way%20you%20specify%20selections.%20For%20example%2C%20column%20selectors%20can%20perform%20the%20familiar%20set%20operations%20of%20union%2C%20intersection%2C%20difference%2C%20etc.%20We%20can%20use%20the%20union%20operation%20with%20the%20functions%20%60string%60%20and%20%60ends_with%60%20to%20select%20all%20string%20columns%20and%20the%20columns%20whose%20names%20end%20with%20%22%60_high%60%22%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data)%3A%0A%20%20%20%20import%20polars.selectors%20as%20cs%0A%0A%20%20%20%20data.select(cs.string()%20%7C%20cs.ends_with(%22F%22))%0A%20%20%20%20return%20(cs%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Likewise%2C%20you%20can%20pick%20columns%20based%20on%20the%20category%20of%20the%20type%20of%20data%2C%20offering%20more%20flexibility%20than%20the%20%60col%60%20function.%20As%20an%20example%2C%20%60cs.numeric%60%20selects%20numeric%20data%20types%20(including%20%60pl.Float32%60%2C%20%60pl.Float64%60%2C%20%60pl.Int32%60%2C%20etc.)%20or%20%60cs.temporal%60%20for%20all%20dates%2C%20times%20and%20similar%20data%20types.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Combining%20selectors%20with%20set%20operations%0A%0A%20%20%20%20%20%20%20%20Multiple%20selectors%20can%20be%20combined%20using%20set%20operations%20and%20the%20usual%20Python%20operators%3A%0A%0A%0A%20%20%20%20%20%20%20%20%7C%20Operator%20%7C%20%20%20%20%20%20%20Operation%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A--------%3A%7C%3A--------------------%3A%7C%0A%20%20%20%20%20%20%20%20%7C%20%60A%20%7C%20B%60%20%20%20%7C%20Union%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60A%20%26%20B%60%20%20%20%20%7C%20Intersection%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60A%20-%20B%60%20%20%20%20%7C%20Difference%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60A%20%5E%20B%60%20%20%20%20%7C%20Symmetric%20difference%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60~A%60%20%20%20%20%20%20%20%7C%20Complement%20%20%20%20%20%20%20%20%20%20%20%7C%0A%0A%20%20%20%20%20%20%20%20For%20example%2C%20to%20select%20all%20failure%20indicator%20variables%20excluding%20the%20failure%20variables%20due%20to%20wear%2C%20we%20can%20perform%20a%20set%20difference%20between%20the%20column%20selectors.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cs%2C%20data)%3A%0A%20%20%20%20data.select(cs.contains(%22F%22)%20-%20cs.contains(%22W%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Resolving%20operator%20ambiguity%0A%0A%20%20%20%20%20%20%20%20Expression%20functions%20can%20be%20chained%20on%20top%20of%20selectors%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cs%2C%20data%2C%20pl)%3A%0A%20%20%20%20ext_failure_data%20%3D%20data.select(cs.contains(%22F%22)).cast(pl.Boolean)%0A%20%20%20%20ext_failure_data%0A%20%20%20%20return%20(ext_failure_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20However%2C%20operators%20that%20perform%20set%20operations%20on%20column%20selectors%20operate%20on%20both%20selectors%20and%20on%20expressions.%20For%20example%2C%20the%20operator%20%60~%60%20on%20a%20selector%20represents%20the%20set%20operation%20%E2%80%9Ccomplement%E2%80%9D%20and%20on%20an%20expression%20represents%20the%20Boolean%20operation%20of%20negation.%0A%0A%20%20%20%20%20%20%20%20For%20instance%2C%20if%20you%20want%20to%20negate%20the%20Boolean%20values%20in%20the%20columns%20%E2%80%9CHDF%E2%80%9D%2C%20%E2%80%9COSF%E2%80%9D%2C%20and%20%E2%80%9CRNF%E2%80%9D%2C%20at%20first%20you%20would%20think%20about%20using%20the%20%60~%60%20operator%20with%20the%20column%20selector%20to%20choose%20all%20failure%20variables%20containing%20%22W%22.%20Because%20of%20the%20operator%20ambiguity%20here%2C%20the%20columns%20that%20are%20not%20of%20interest%20are%20selected%20here.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cs%2C%20ext_failure_data)%3A%0A%20%20%20%20ext_failure_data.select((~cs.ends_with(%22WF%22)).name.prefix(%22No%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22To%20resolve%20the%20operator%20ambiguity%2C%20we%20use%20%60as_expr%60%3A%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cs%2C%20ext_failure_data)%3A%0A%20%20%20%20ext_failure_data.select((~cs.ends_with(%22WF%22).as_expr()).name.prefix(%22No%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Debugging%20selectors%0A%0A%20%20%20%20%20%20%20%20The%20function%20%60cs.is_selector%60%20helps%20check%20whether%20a%20complex%20chain%20of%20selectors%20and%20operators%20ultimately%20results%20in%20a%20selector.%20For%20example%2C%20to%20resolve%20any%20ambiguity%20with%20the%20selector%20in%20the%20last%20example%2C%20we%20can%20do%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cs)%3A%0A%20%20%20%20cs.is_selector(~cs.ends_with(%22WF%22).as_expr())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Additionally%20we%20can%20use%20%60expand_selector%60%20to%20see%20what%20columns%20a%20selector%20expands%20into.%20Note%20that%20for%20this%20function%20we%20need%20to%20provide%20additional%20context%20in%20the%20form%20of%20the%20dataframe.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cs%2C%20ext_failure_data)%3A%0A%20%20%20%20cs.expand_selector(%0A%20%20%20%20%20%20%20%20ext_failure_data%2C%0A%20%20%20%20%20%20%20%20cs.ends_with(%22WF%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20References%0A%0A%20%20%20%20%20%20%20%201.%20AI4I%202020%20Predictive%20Maintenance%20Dataset%20%5BDataset%5D.%20(2020).%20UCI%20Machine%20Learning%20Repository.%20(%5Blink%5D(https%3A%2F%2Fdoi.org%2F10.24432%2FC5HS5C)).%0A%20%20%20%20%20%20%20%202.%20Polars%20documentation%20(%5Blink%5D(https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Fexpressions%2Fexpression-expansion%2F%23more-flexible-column-selections))%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20csv%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20from%20io%20import%20StringIO%0A%20%20%20%20return%20StringIO%2C%20mo%2C%20pl%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A