10 strings

import%20marimo%0A%0A__generated_with%20%3D%20%220.12.0%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Strings%0A%0A%20%20%20%20%20%20%20%20_By%20%5BP%C3%A9ter%20Ferenc%20Gyarmati%5D(http%3A%2F%2Fgithub.com%2Fpeter-gy)_.%0A%0A%20%20%20%20%20%20%20%20In%20this%20chapter%20we're%20going%20to%20dig%20into%20string%20manipulation.%20For%20a%20fun%20twist%2C%20we'll%20be%20mostly%20playing%20around%20with%20a%20dataset%20that%20every%20Polars%20user%20has%20bumped%20into%20without%20really%20thinking%20about%20it%E2%80%94the%20source%20code%20of%20the%20%60polars%60%20module%20itself.%20More%20precisely%2C%20we'll%20use%20a%20dataframe%20that%20pulls%20together%20all%20the%20Polars%20expressions%20and%20their%20docstrings%2C%20giving%20us%20a%20cool%2C%20hands-on%20way%20to%20explore%20the%20expression%20API%20in%20a%20truly%20data-driven%20manner.%0A%0A%20%20%20%20%20%20%20%20We'll%20cover%20parsing%2C%20length%20calculation%2C%20case%20conversion%2C%20and%20much%20more%2C%20with%20practical%20examples%20and%20visualizations.%20Finally%2C%20we%20will%20combine%20various%20techniques%20you%20learned%20in%20prior%20chapters%20to%20build%20a%20fully%20interactive%20playground%20in%20which%20you%20can%20execute%20the%20official%20code%20examples%20of%20Polars%20expressions.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%9B%A0%EF%B8%8F%20%20Parsing%20%26%20Conversion%0A%0A%20%20%20%20%20%20%20%20Let's%20warm%20up%20with%20one%20of%20the%20most%20frequent%20use%20cases%3A%20parsing%20raw%20strings%20into%20various%20formats.%0A%20%20%20%20%20%20%20%20We'll%20take%20a%20tiny%20dataframe%20with%20metadata%20about%20Python%20packages%20represented%20as%20raw%20JSON%20strings%20and%20we'll%20use%20Polars%20string%20expressions%20to%20parse%20the%20attributes%20into%20their%20true%20data%20types.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20pip_metadata_raw_df%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20'%7B%22package%22%3A%20%22polars%22%2C%20%22version%22%3A%20%221.24.0%22%2C%20%22released_at%22%3A%20%222025-03-02T20%3A31%3A12%2B0000%22%2C%20%22size_mb%22%3A%20%2230.9%22%7D'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'%7B%22package%22%3A%20%22marimo%22%2C%20%22version%22%3A%20%220.11.14%22%2C%20%22released_at%22%3A%20%222025-03-04T00%3A28%3A57%2B0000%22%2C%20%22size_mb%22%3A%20%2210.7%22%7D'%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20schema%3D%7B%22raw_json%22%3A%20pl.String%7D%2C%0A%20%20%20%20)%0A%20%20%20%20pip_metadata_raw_df%0A%20%20%20%20return%20(pip_metadata_raw_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22We%20can%20use%20the%20%5B%60json_decode%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fseries%2Fapi%2Fpolars.Series.str.json_decode.html)%20expression%20to%20parse%20the%20raw%20JSON%20strings%20into%20Polars-native%20structs%20and%20we%20can%20use%20the%20%5Bunnest%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fdataframe%2Fapi%2Fpolars.DataFrame.unnest.html)%20dataframe%20operation%20to%20have%20a%20dedicated%20column%20per%20parsed%20attribute.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pip_metadata_raw_df%2C%20pl)%3A%0A%20%20%20%20pip_metadata_df%20%3D%20pip_metadata_raw_df.select(json%3Dpl.col('raw_json').str.json_decode()).unnest('json')%0A%20%20%20%20pip_metadata_df%0A%20%20%20%20return%20(pip_metadata_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22This%20is%20already%20a%20much%20friendlier%20representation%20of%20the%20data%20we%20started%20out%20with%2C%20but%20note%20that%20since%20the%20JSON%20entries%20had%20only%20string%20attributes%2C%20all%20values%20are%20strings%2C%20even%20the%20temporal%20%60released_at%60%20and%20numerical%20%60size_mb%60%20columns.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22As%20we%20know%20that%20the%20%60size_mb%60%20column%20should%20have%20a%20decimal%20representation%2C%20we%20go%20ahead%20and%20use%20%5B%60to_decimal%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.to_decimal.html%23polars.Expr.str.to_decimal)%20to%20perform%20the%20conversion.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pip_metadata_df%2C%20pl)%3A%0A%20%20%20%20pip_metadata_df.select(%0A%20%20%20%20%20%20%20%20'package'%2C%0A%20%20%20%20%20%20%20%20'version'%2C%0A%20%20%20%20%20%20%20%20pl.col('size_mb').str.to_decimal()%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Moving%20on%20to%20the%20%60released_at%60%20attribute%20which%20indicates%20the%20exact%20time%20when%20a%20given%20Python%20package%20got%20released%2C%20we%20have%20a%20bit%20more%20options%20to%20consider.%20We%20can%20convert%20to%20%60Date%60%2C%20%60DateTime%60%2C%20and%20%60Time%60%20types%20based%20on%20the%20desired%20temporal%20granularity.%20The%20%5B%60to_date%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.to_date.html)%2C%20%5B%60to_datetime%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.to_datetime.html)%2C%20and%20%5B%60to_time%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.to_time.html)%20expressions%20are%20here%20to%20help%20us%20with%20the%20conversion%2C%20all%20we%20need%20is%20to%20provide%20the%20desired%20format%20string.%0A%0A%20%20%20%20%20%20%20%20Since%20Polars%20uses%20Rust%20under%20the%20hood%20to%20implement%20all%20its%20expressions%2C%20we%20need%20to%20consult%20the%20%5B%60chrono%3A%3Aformat%60%5D(https%3A%2F%2Fdocs.rs%2Fchrono%2Flatest%2Fchrono%2Fformat%2Fstrftime%2Findex.html)%20reference%20to%20come%20up%20with%20appropriate%20format%20strings.%0A%0A%20%20%20%20%20%20%20%20Here's%20a%20quick%20reference%3A%0A%0A%20%20%20%20%20%20%20%20%7C%20Specifier%20%7C%20Meaning%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C-----------%7C--------------------%7C%0A%20%20%20%20%20%20%20%20%7C%20%60%25Y%60%20%20%20%20%20%20%7C%20Year%20(e.g.%2C%202025)%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60%25m%60%20%20%20%20%20%20%7C%20Month%20(01-12)%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60%25d%60%20%20%20%20%20%20%7C%20Day%20(01-31)%20%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60%25H%60%20%20%20%20%20%20%7C%20Hour%20(00-23)%20%20%20%20%20%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60%25z%60%20%20%20%20%20%20%7C%20UTC%20offset%20%20%20%20%20%20%20%20%7C%0A%0A%20%20%20%20%20%20%20%20The%20raw%20strings%20we%20are%20working%20with%20look%20like%20%60%222025-03-02T20%3A31%3A12%2B0000%22%60.%20We%20can%20match%20this%20using%20the%20%60%22%25Y-%25m-%25dT%25H%3A%25M%3A%25S%25z%22%60%20format%20string.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pip_metadata_df%2C%20pl)%3A%0A%20%20%20%20pip_metadata_df.select(%0A%20%20%20%20%20%20%20%20'package'%2C%0A%20%20%20%20%20%20%20%20'version'%2C%0A%20%20%20%20%20%20%20%20release_date%3Dpl.col('released_at').str.to_date('%25Y-%25m-%25dT%25H%3A%25M%3A%25S%25z')%2C%0A%20%20%20%20%20%20%20%20release_datetime%3Dpl.col('released_at').str.to_datetime('%25Y-%25m-%25dT%25H%3A%25M%3A%25S%25z')%2C%0A%20%20%20%20%20%20%20%20release_time%3Dpl.col('released_at').str.to_time('%25Y-%25m-%25dT%25H%3A%25M%3A%25S%25z')%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Alternatively%2C%20instead%20of%20using%20three%20different%20functions%20to%20perform%20the%20conversion%20to%20date%2C%20we%20can%20use%20a%20single%20one%2C%20%5B%60strptime%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.strptime.html)%20which%20takes%20the%20desired%20temporal%20data%20type%20as%20its%20first%20parameter.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pip_metadata_df%2C%20pl)%3A%0A%20%20%20%20pip_metadata_df.select(%0A%20%20%20%20%20%20%20%20'package'%2C%0A%20%20%20%20%20%20%20%20'version'%2C%0A%20%20%20%20%20%20%20%20release_date%3Dpl.col('released_at').str.strptime(pl.Date%2C%20'%25Y-%25m-%25dT%25H%3A%25M%3A%25S%25z')%2C%0A%20%20%20%20%20%20%20%20release_datetime%3Dpl.col('released_at').str.strptime(pl.Datetime%2C%20'%25Y-%25m-%25dT%25H%3A%25M%3A%25S%25z')%2C%0A%20%20%20%20%20%20%20%20release_time%3Dpl.col('released_at').str.strptime(pl.Time%2C%20'%25Y-%25m-%25dT%25H%3A%25M%3A%25S%25z')%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22And%20to%20wrap%20up%20this%20section%20on%20parsing%20and%20conversion%2C%20let's%20consider%20a%20final%20scenario.%20What%20if%20we%20don't%20want%20to%20parse%20the%20entire%20raw%20JSON%20string%2C%20because%20we%20only%20need%20a%20subset%20of%20its%20attributes%3F%20Well%2C%20in%20this%20case%20we%20can%20leverage%20the%20%5B%60json_path_match%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.json_path_match.html)%20expression%20to%20extract%20only%20the%20desired%20attributes%20using%20standard%20%5BJSONPath%5D(https%3A%2F%2Fgoessner.net%2Farticles%2FJsonPath%2F)%20syntax.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pip_metadata_raw_df%2C%20pl)%3A%0A%20%20%20%20pip_metadata_raw_df.select(%0A%20%20%20%20%20%20%20%20package%3Dpl.col(%22raw_json%22).str.json_path_match(%22%24.package%22)%2C%0A%20%20%20%20%20%20%20%20version%3Dpl.col(%22raw_json%22).str.json_path_match(%22%24.version%22)%2C%0A%20%20%20%20%20%20%20%20release_date%3Dpl.col(%22raw_json%22)%0A%20%20%20%20%20%20%20%20.str.json_path_match(%22%24.size_mb%22)%0A%20%20%20%20%20%20%20%20.str.to_decimal()%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%93%8A%20Dataset%20Overview%0A%0A%20%20%20%20%20%20%20%20Now%20that%20we%20got%20our%20hands%20dirty%2C%20let's%20consider%20a%20somewhat%20wilder%20dataset%20for%20the%20subsequent%20sections%3A%20a%20dataframe%20of%20metadata%20about%20every%20single%20expression%20in%20your%20current%20Polars%20module.%0A%0A%20%20%20%20%20%20%20%20At%20the%20risk%20of%20stating%20the%20obvious%2C%20in%20the%20previous%20section%2C%20when%20we%20typed%20%60pl.col('raw_json').str.json_decode()%60%2C%20we%20accessed%20the%20%60json_decode%60%20member%20of%20the%20%60str%60%20expression%20namespace%20through%20the%20%60pl.col('raw_json')%60%20expression%20*instance*.%20Under%20the%20hood%2C%20deep%20inside%20the%20Polars%20source%20code%2C%20there%20is%20a%20corresponding%20%60def%20json_decode(...)%60%20method%20with%20a%20carefully%20authored%20docstring%20explaining%20the%20purpose%20and%20signature%20of%20the%20member.%0A%0A%20%20%20%20%20%20%20%20Since%20Python%20makes%20module%20introspection%20simple%2C%20we%20can%20easily%20enumerate%20all%20Polars%20expressions%20and%20organize%20their%20metadata%20in%20%60expressions_df%60%2C%20to%20be%20used%20for%20all%20the%20upcoming%20string%20manipulation%20examples.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(pl)%3A%0A%20%20%20%20def%20list_members(expr%2C%20namespace)%20-%3E%20list%5Bdict%5D%3A%0A%20%20%20%20%20%20%20%20%22%22%22Iterates%20through%20the%20attributes%20of%20%60expr%60%20and%20returns%20their%20metadata%22%22%22%0A%20%20%20%20%20%20%20%20members%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20attrname%20in%20expr.__dir__()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20is_namespace%20%3D%20attrname%20in%20pl.Expr._accessors%0A%20%20%20%20%20%20%20%20%20%20%20%20is_private%20%3D%20attrname.startswith(%22_%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20is_namespace%20or%20is_private%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20attr%20%3D%20getattr(expr%2C%20attrname)%0A%20%20%20%20%20%20%20%20%20%20%20%20members.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22namespace%22%3A%20namespace%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22member%22%3A%20attrname%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22docstring%22%3A%20attr.__doc__%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20members%0A%0A%0A%20%20%20%20def%20list_expr_meta()%20-%3E%20list%5Bdict%5D%3A%0A%20%20%20%20%20%20%20%20%23%20Dummy%20expression%20instance%20to%20'crawl'%0A%20%20%20%20%20%20%20%20expr%20%3D%20pl.lit(%22%22)%0A%20%20%20%20%20%20%20%20root_members%20%3D%20list_members(expr%2C%20%22root%22)%0A%20%20%20%20%20%20%20%20namespaced_members%3A%20list%5Blist%5Bdict%5D%5D%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20list_members(getattr(expr%2C%20namespace)%2C%20namespace)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20namespace%20in%20pl.Expr._accessors%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20sum(namespaced_members%2C%20root_members)%0A%0A%0A%20%20%20%20expressions_df%20%3D%20pl.from_dicts(list_expr_meta()%2C%20infer_schema_length%3DNone).sort('namespace'%2C%20'member')%0A%20%20%20%20expressions_df%0A%20%20%20%20return%20expressions_df%2C%20list_expr_meta%2C%20list_members%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22As%20the%20following%20visualization%20shows%2C%20%60str%60%20is%20one%20of%20the%20richest%20Polars%20expression%20namespaces%20with%20multiple%20dozens%20of%20functions%20in%20it.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alt%2C%20expressions_df)%3A%0A%20%20%20%20expressions_df.plot.bar(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22count(member)%3AQ%22%2C%20title%3D'Count%20of%20Expressions')%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22namespace%3AN%22%2C%20title%3D'Namespace').sort(%22-x%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%93%8F%20Length%20Calculation%0A%0A%20%20%20%20%20%20%20%20A%20common%20use%20case%20is%20to%20compute%20the%20length%20of%20a%20string.%20Most%20people%20associate%20string%20length%20exclusively%20with%20the%20number%20of%20characters%20the%20said%20string%20consists%20of%3B%20however%2C%20in%20certain%20scenarios%20it%20is%20useful%20to%20also%20know%20how%20much%20memory%20is%20required%20for%20storing%2C%20so%20how%20many%20bytes%20are%20required%20to%20represent%20the%20textual%20data.%0A%0A%20%20%20%20%20%20%20%20The%20expressions%20%5B%60len_chars%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.len_chars.html)%20and%20%5B%60len_bytes%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.len_bytes.html)%20are%20here%20to%20help%20us%20with%20these%20calculations.%0A%0A%20%20%20%20%20%20%20%20Below%2C%20we%20compute%20%60docstring_len_chars%60%20and%20%60docstring_len_bytes%60%20columns%20to%20see%20how%20many%20characters%20and%20bytes%20the%20documentation%20of%20each%20expression%20is%20made%20up%20of.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20docstring_length_df%20%3D%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'namespace'%2C%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20docstring_len_chars%3Dpl.col(%22docstring%22).str.len_chars()%2C%0A%20%20%20%20%20%20%20%20docstring_len_bytes%3Dpl.col(%22docstring%22).str.len_bytes()%2C%0A%20%20%20%20)%0A%20%20%20%20docstring_length_df%0A%20%20%20%20return%20(docstring_length_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22As%20the%20dataframe%20preview%20above%20and%20the%20scatterplot%20below%20show%2C%20the%20docstring%20length%20measured%20in%20bytes%20is%20almost%20always%20bigger%20than%20the%20length%20expressed%20in%20characters.%20This%20is%20due%20to%20the%20fact%20that%20the%20docstrings%20include%20characters%20which%20require%20more%20than%20a%20single%20byte%20to%20represent%2C%20such%20as%20%22%E2%95%9E%22%20for%20displaying%20dataframe%20header%20and%20body%20separators.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20docstring_length_df)%3A%0A%20%20%20%20docstring_length_df.plot.point(%0A%20%20%20%20%20%20%20%20x%3Dalt.X('docstring_len_chars'%2C%20title%3D'Docstring%20Length%20(Chars)')%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y('docstring_len_bytes'%2C%20title%3D'Docstring%20Length%20(Bytes)')%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B'namespace'%2C%20'member'%2C%20'docstring_len_chars'%2C%20'docstring_len_bytes'%5D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%94%A0%20Case%20Conversion%0A%0A%20%20%20%20%20%20%20%20Another%20frequent%20string%20transformation%20is%20lowercasing%2C%20uppercasing%2C%20and%20titlecasing.%20We%20can%20use%20%5B%60to_lowercase%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.to_lowercase.html)%2C%20%5B%60to_uppercase%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.to_lowercase.html)%20and%20%5B%60to_titlecase%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.to_titlecase.html)%20for%20doing%20so.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20member_lower%3Dpl.col('member').str.to_lowercase()%2C%0A%20%20%20%20%20%20%20%20member_upper%3Dpl.col('member').str.to_uppercase()%2C%0A%20%20%20%20%20%20%20%20member_title%3Dpl.col('member').str.to_titlecase()%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%E2%9E%95%20Padding%0A%0A%20%20%20%20%20%20%20%20Sometimes%20we%20need%20to%20ensure%20that%20strings%20have%20a%20fixed-size%20character%20length.%20%5B%60pad_start%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.pad_start.html)%20and%20%5B%60pad_end%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.pad_end.html)%20can%20be%20used%20to%20fill%20the%20%22front%22%20or%20%22back%22%20of%20a%20string%20with%20a%20supplied%20character%2C%20while%20%5B%60zfill%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.zfill.html)%20is%20a%20utility%20for%20padding%20the%20start%20of%20a%20string%20with%20%60%220%22%60%20until%20it%20reaches%20a%20particular%20length.%20In%20other%20words%2C%20%60zfill%60%20is%20a%20more%20specific%20version%20of%20%60pad_start%60%2C%20where%20the%20%60fill_char%60%20parameter%20is%20explicitly%20set%20to%20%60%220%22%60.%0A%0A%20%20%20%20%20%20%20%20In%20the%20example%20below%20we%20take%20the%20unique%20Polars%20expression%20namespaces%20and%20pad%20them%20so%20that%20they%20have%20a%20uniform%20length%20which%20you%20can%20control%20via%20a%20slider.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20padding%20%3D%20mo.ui.slider(0%2C%2016%2C%20step%3D1%2C%20value%3D8%2C%20label%3D%22Padding%20Size%22)%0A%20%20%20%20return%20(padding%2C)%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20padding%2C%20pl)%3A%0A%20%20%20%20padded_df%20%3D%20expressions_df.select(%22namespace%22).unique().select(%0A%20%20%20%20%20%20%20%20%22namespace%22%2C%0A%20%20%20%20%20%20%20%20namespace_front_padded%3Dpl.col(%22namespace%22).str.pad_start(padding.value%2C%20%22_%22)%2C%0A%20%20%20%20%20%20%20%20namespace_back_padded%3Dpl.col(%22namespace%22).str.pad_end(padding.value%2C%20%22_%22)%2C%0A%20%20%20%20%20%20%20%20namespace_zfilled%3Dpl.col(%22namespace%22).str.zfill(padding.value)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(padded_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20padded_df%2C%20padding)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20padding%2C%0A%20%20%20%20%20%20%20%20padded_df%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%94%84%20Replacing%0A%0A%20%20%20%20%20%20%20%20Let's%20say%20we%20want%20to%20convert%20from%20%60snake_case%60%20API%20member%20names%20to%20%60kebab-case%60%2C%20that%20is%2C%20we%20need%20to%20replace%20the%20underscore%20character%20with%20a%20hyphen.%20For%20operations%20like%20that%2C%20we%20can%20use%20%5B%60replace%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.replace.html)%20and%20%5B%60replace_all%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.replace_all.html).%0A%0A%20%20%20%20%20%20%20%20As%20the%20example%20below%20demonstrates%2C%20%60replace%60%20stops%20after%20the%20first%20occurrence%20of%20the%20to-be-replaced%20pattern%2C%20while%20%60replace_all%60%20goes%20all%20the%20way%20through%20and%20changes%20all%20underscores%20to%20hyphens%20resulting%20in%20the%20%60kebab-case%60%20representation%20we%20were%20looking%20for.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20member_kebab_case_partial%3Dpl.col(%22member%22).str.replace(%22_%22%2C%20%22-%22)%2C%0A%20%20%20%20%20%20%20%20member_kebab_case%3Dpl.col(%22member%22).str.replace_all(%22_%22%2C%20%22-%22)%2C%0A%20%20%20%20).sort(pl.col(%22member%22).str.len_chars()%2C%20descending%3DTrue)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20A%20related%20expression%20is%20%5B%60replace_many%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.replace_many.html)%2C%20which%20accepts%20*many*%20pairs%20of%20to-be-matched%20patterns%20and%20corresponding%20replacements%20and%20uses%20the%20%5BAho%E2%80%93Corasick%20algorithm%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FAho%25E2%2580%2593Corasick_algorithm)%20to%20carry%20out%20the%20operation%20with%20great%20performance.%0A%0A%20%20%20%20%20%20%20%20In%20the%20example%20below%20we%20replace%20all%20instances%20of%20%60%22min%22%60%20with%20%60%22minimum%22%60%20and%20%60%22max%22%60%20with%20%60%22maximum%22%60%20using%20a%20single%20expression.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20member_modified%3Dpl.col(%22member%22).str.replace_many(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22min%22%3A%20%22minimum%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22max%22%3A%20%22maximum%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%94%8D%20Searching%20%26%20Matching%0A%0A%20%20%20%20%20%20%20%20A%20common%20need%20when%20working%20with%20strings%20is%20to%20determine%20whether%20their%20content%20satisfies%20some%20condition%3A%20whether%20it%20starts%20or%20ends%20with%20a%20particular%20substring%20or%20contains%20a%20certain%20pattern.%0A%0A%20%20%20%20%20%20%20%20Let's%20suppose%20we%20want%20to%20determine%20whether%20a%20member%20of%20the%20Polars%20expression%20API%20is%20a%20%22converter%22%2C%20such%20as%20%60to_decimal%60%2C%20identified%20by%20its%20%60%22to_%22%60%20prefix.%20We%20can%20use%20%5B%60starts_with%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.starts_with.html)%20to%20perform%20this%20check.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%22namespace%22%2C%0A%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20is_converter%3Dpl.col(%22member%22).str.starts_with(%22to_%22)%2C%0A%20%20%20%20).sort(-pl.col(%22is_converter%22).cast(pl.Int8))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Throughout%20this%20course%20as%20you%20have%20gained%20familiarity%20with%20the%20expression%20API%20you%20might%20have%20noticed%20that%20some%20members%20end%20with%20an%20underscore%20such%20as%20%60or_%60%2C%20since%20their%20%22body%22%20is%20a%20reserved%20Python%20keyword.%0A%0A%20%20%20%20%20%20%20%20Let's%20use%20%5B%60ends_with%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.ends_with.html)%20to%20find%20all%20the%20members%20which%20are%20named%20after%20such%20keywords.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%22namespace%22%2C%0A%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20is_escaped_keyword%3Dpl.col(%22member%22).str.ends_with(%22_%22)%2C%0A%20%20%20%20).sort(-pl.col(%22is_escaped_keyword%22).cast(pl.Int8))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Now%20let's%20move%20on%20to%20analyzing%20the%20docstrings%20in%20a%20bit%20more%20detail.%20Based%20on%20their%20content%20we%20can%20determine%20whether%20a%20member%20is%20deprecated%2C%20accepts%20parameters%2C%20comes%20with%20examples%2C%20or%20references%20external%20URL(s)%20%26%20related%20members.%0A%0A%20%20%20%20%20%20%20%20As%20demonstrated%20below%2C%20we%20can%20compute%20all%20these%20boolean%20attributes%20using%20%5B%60contains%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.contains.html)%20to%20check%20whether%20the%20docstring%20includes%20a%20particular%20substring.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'namespace'%2C%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20is_deprecated%3Dpl.col('docstring').str.contains('..%20deprecated'%2C%20literal%3DTrue)%2C%0A%20%20%20%20%20%20%20%20has_parameters%3Dpl.col('docstring').str.contains('Parameters')%2C%0A%20%20%20%20%20%20%20%20has_examples%3Dpl.col('docstring').str.contains('Examples')%2C%0A%20%20%20%20%20%20%20%20has_related_members%3Dpl.col('docstring').str.contains('See%20Also')%2C%0A%20%20%20%20%20%20%20%20has_url%3Dpl.col('docstring').str.contains('https%3F%3A%2F%2F')%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22For%20scenarios%20where%20we%20want%20to%20combine%20multiple%20substrings%20to%20check%20for%2C%20we%20can%20use%20the%20%5B%60contains%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.contains.html)%20expression%20to%20check%20for%20the%20presence%20of%20various%20patterns.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'namespace'%2C%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20has_reference%3Dpl.col('docstring').str.contains_any(%5B'See%20Also'%2C%20'https%3A%2F%2F'%5D)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20From%20the%20above%20analysis%20we%20could%20see%20that%20almost%20all%20the%20members%20come%20with%20code%20examples.%20It%20would%20be%20interesting%20to%20know%20how%20many%20variable%20assignments%20are%20going%20on%20within%20each%20of%20these%20examples%2C%20right%3F%20That's%20not%20as%20simple%20as%20checking%20for%20a%20pre-defined%20literal%20string%20containment%20though%2C%20because%20variables%20can%20have%20arbitrary%20names%20-%20any%20valid%20Python%20identifier%20is%20allowed.%20While%20the%20%60contains%60%20function%20supports%20checking%20for%20regular%20expressions%20instead%20of%20literal%20strings%20too%2C%20it%20would%20not%20suffice%20for%20this%20exercise%20because%20it%20only%20tells%20us%20whether%20there%20is%20at%20least%20a%20single%20occurrence%20of%20the%20sought%20pattern%20rather%20than%20telling%20us%20the%20exact%20number%20of%20matches.%0A%0A%20%20%20%20%20%20%20%20Fortunately%2C%20we%20can%20take%20advantage%20of%20%5B%60count_matches%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.count_matches.html)%20to%20achieve%20exactly%20what%20we%20want.%20We%20specify%20the%20regular%20expression%20%60r'%5Ba-zA-Z_%5D%5Ba-zA-Z0-9_%5D*%20%3D%20'%60%20according%20to%20the%20%5B%60regex%60%20Rust%20crate%5D(https%3A%2F%2Fdocs.rs%2Fregex%2Flatest%2Fregex%2F)%20to%20match%20Python%20identifiers%20and%20we%20leave%20the%20rest%20to%20Polars.%0A%0A%20%20%20%20%20%20%20%20In%20%60count_matches(r'%5Ba-zA-Z_%5D%5Ba-zA-Z0-9_%5D*%20%3D%20')%60%3A%0A%0A%20%20%20%20%20%20%20%20-%20%60%5Ba-zA-Z_%5D%60%20matches%20a%20letter%20or%20underscore%20(start%20of%20a%20Python%20identifier).%0A%20%20%20%20%20%20%20%20-%20%60%5Ba-zA-Z0-9_%5D*%60%20matches%20zero%20or%20more%20letters%2C%20digits%2C%20or%20underscores.%0A%20%20%20%20%20%20%20%20-%20%60%20%3D%20%60%20matches%20a%20space%2C%20equals%20sign%2C%20and%20space%20(indicating%20assignment).%0A%0A%20%20%20%20%20%20%20%20This%20finds%20variable%20assignments%20like%20%60x%20%3D%20%60%20or%20%60df_result%20%3D%20%60%20in%20docstrings.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'namespace'%2C%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20variable_assignment_count%3Dpl.col('docstring').str.count_matches(r'%5Ba-zA-Z_%5D%5Ba-zA-Z0-9_%5D*%20%3D%20')%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22A%20related%20application%20example%20is%20to%20*find*%20the%20first%20index%20where%20a%20particular%20pattern%20is%20present%2C%20so%20that%20it%20can%20be%20used%20for%20downstream%20processing%20such%20as%20slicing.%20Below%20we%20use%20the%20%5B%60find%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.find.html)%20expression%20to%20determine%20the%20index%20at%20which%20a%20code%20example%20starts%20in%20the%20docstring%20-%20identified%20by%20the%20Python%20shell%20substring%20%60%22%3E%3E%3E%22%60.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'namespace'%2C%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20code_example_start%3Dpl.col('docstring').str.find('%3E%3E%3E')%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%E2%9C%82%EF%B8%8F%20Slicing%20and%20Substrings%0A%0A%20%20%20%20%20%20%20%20Sometimes%20we%20are%20only%20interested%20in%20a%20particular%20substring.%20We%20can%20use%20%5B%60head%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.head.html)%2C%20%5B%60tail%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.tail.html)%20and%20%5B%60slice%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.slice.html)%20to%20extract%20a%20substring%20from%20the%20start%2C%20end%2C%20or%20between%20arbitrary%20indices.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20slice%20%3D%20mo.ui.slider(1%2C%2050%2C%20step%3D1%2C%20value%3D25%2C%20label%3D%22Slice%20Size%22)%0A%20%20%20%20return%20(slice%2C)%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl%2C%20slice)%3A%0A%20%20%20%20sliced_df%20%3D%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%23%20First%2025%20chars%0A%20%20%20%20%20%20%20%20docstring_head%3Dpl.col(%22docstring%22).str.head(slice.value)%2C%0A%20%20%20%20%20%20%20%20%23%2050%20chars%20after%20the%20first%2025%20chars%0A%20%20%20%20%20%20%20%20docstring_slice%3Dpl.col(%22docstring%22).str.slice(slice.value%2C%202*slice.value)%2C%0A%20%20%20%20%20%20%20%20%23%20Last%2025%20chars%0A%20%20%20%20%20%20%20%20docstring_tail%3Dpl.col(%22docstring%22).str.tail(slice.value)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(sliced_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20slice%2C%20sliced_df)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20slice%2C%0A%20%20%20%20%20%20%20%20sliced_df%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%E2%9E%97%20Splitting%0A%0A%20%20%20%20%20%20%20%20Certain%20strings%20follow%20a%20well-defined%20structure%20and%20we%20might%20be%20only%20interested%20in%20some%20parts%20of%20them.%20For%20example%2C%20when%20dealing%20with%20%60snake_cased_expression%60%20member%20names%20we%20might%20be%20curious%20to%20get%20only%20the%20first%2C%20second%2C%20or%20%24n%5E%7B%5Ctext%7Bth%7D%7D%24%20word%20before%20an%20underscore.%20We%20would%20need%20to%20*split*%20the%20string%20at%20a%20particular%20pattern%20for%20downstream%20processing.%0A%0A%20%20%20%20%20%20%20%20The%20%5B%60split%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.split.html)%2C%20%5B%60split_exact%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.split_exact.html)%20and%20%5B%60splitn%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.splitn.html)%20expressions%20enable%20us%20to%20achieve%20this.%0A%0A%20%20%20%20%20%20%20%20The%20primary%20difference%20between%20these%20string%20splitting%20utilities%20is%20that%20%60split%60%20produces%20a%20list%20of%20variadic%20length%20based%20on%20the%20number%20of%20resulting%20segments%2C%20%60splitn%60%20returns%20a%20struct%20with%20at%20least%20%600%60%20and%20at%20most%20%60n%60%20fields%20while%20%60split_exact%60%20returns%20a%20struct%20of%20exactly%20%60n%60%20fields.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20member_name_parts%3Dpl.col('member').str.split('_')%2C%0A%20%20%20%20%20%20%20%20member_name_parts_n%3Dpl.col('member').str.splitn('_'%2C%20n%3D2)%2C%0A%20%20%20%20%20%20%20%20member_name_parts_exact%3Dpl.col('member').str.split_exact('_'%2C%20n%3D2)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22As%20a%20more%20practical%20example%2C%20we%20can%20use%20the%20%60split%60%20expression%20with%20some%20aggregation%20to%20count%20the%20number%20of%20times%20a%20particular%20word%20occurs%20in%20member%20names%20across%20all%20namespaces.%20This%20enables%20us%20to%20create%20a%20word%20cloud%20of%20the%20API%20members'%20constituents!%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20wordcloud%2C%20wordcloud_height%2C%20wordcloud_width)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20wordcloud_width%2C%0A%20%20%20%20%20%20%20%20wordcloud_height%2C%0A%20%20%20%20%20%20%20%20wordcloud%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20wordcloud_width%20%3D%20mo.ui.slider(0%2C%2064%2C%20step%3D1%2C%20value%3D32%2C%20label%3D%22Word%20Cloud%20Width%22)%0A%20%20%20%20wordcloud_height%20%3D%20mo.ui.slider(0%2C%2032%2C%20step%3D1%2C%20value%3D16%2C%20label%3D%22Word%20Cloud%20Height%22)%0A%20%20%20%20return%20wordcloud_height%2C%20wordcloud_width%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alt%2C%20expressions_df%2C%20pl%2C%20random%2C%20wordcloud_height%2C%20wordcloud_width)%3A%0A%20%20%20%20wordcloud_df%20%3D%20(%0A%20%20%20%20%20%20%20%20expressions_df.select(pl.col(%22member%22).str.split(%22_%22))%0A%20%20%20%20%20%20%20%20.explode(%22member%22)%0A%20%20%20%20%20%20%20%20.group_by(%22member%22)%0A%20%20%20%20%20%20%20%20.agg(pl.len())%0A%20%20%20%20%20%20%20%20%23%20Generating%20random%20x%20and%20y%20coordinates%20to%20distribute%20the%20words%20in%20the%202D%20space%0A%20%20%20%20%20%20%20%20.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dpl.col(%22member%22).map_elements(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20e%3A%20random.randint(0%2C%20wordcloud_width.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return_dtype%3Dpl.UInt8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dpl.col(%22member%22).map_elements(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20e%3A%20random.randint(0%2C%20wordcloud_height.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return_dtype%3Dpl.UInt8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20wordcloud%20%3D%20alt.Chart(wordcloud_df).mark_text(baseline%3D%22middle%22).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22x%3AO%22%2C%20axis%3DNone)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22y%3AO%22%2C%20axis%3DNone)%2C%0A%20%20%20%20%20%20%20%20text%3D%22member%3AN%22%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22len%3AQ%22%2C%20scale%3Dalt.Scale(scheme%3D%22bluepurple%22))%2C%0A%20%20%20%20%20%20%20%20size%3Dalt.Size(%22len%3AQ%22%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%22member%22%2C%20%22len%22%5D%2C%0A%20%20%20%20).configure_view(strokeWidth%3D0)%0A%20%20%20%20return%20wordcloud%2C%20wordcloud_df%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%94%97%20Concatenation%20%26%20Joining%0A%0A%20%20%20%20%20%20%20%20Often%20we%20would%20like%20to%20create%20longer%20strings%20from%20strings%20we%20already%20have.%20We%20might%20want%20to%20create%20a%20formatted%2C%20sentence-like%20string%20or%20join%20multiple%20existing%20strings%20in%20our%20dataframe%20into%20a%20single%20one.%0A%0A%20%20%20%20%20%20%20%20The%20top-level%20%5B%60concat_str%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.concat_str.html)%20expression%20enables%20us%20to%20combine%20strings%20*horizontally*%20in%20a%20dataframe.%20As%20the%20example%20below%20shows%2C%20we%20can%20take%20the%20%60member%60%20and%20%60namespace%60%20column%20of%20each%20row%20and%20construct%20a%20%60description%60%20column%20in%20which%20each%20row%20will%20correspond%20to%20the%20value%20%60%60f%22-%20Expression%20%60%7Bmember%7D%60%20belongs%20to%20namespace%20%60%7Bnamespace%7D%60%22%60%60.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20descriptions_df%20%3D%20expressions_df.sample(5).select(%0A%20%20%20%20%20%20%20%20description%3Dpl.concat_str(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22-%20Expression%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22%60%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22%60%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22%20belongs%20to%20namespace%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22%60%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22namespace%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.lit(%22%60%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20descriptions_df%0A%20%20%20%20return%20(descriptions_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Now%20that%20we%20have%20constructed%20these%20bullet%20points%20through%20*horizontal*%20concatenation%20of%20strings%2C%20we%20can%20perform%20a%20*vertical*%20one%20so%20that%20we%20end%20up%20with%20a%20single%20string%20in%20which%20we%20have%20a%20bullet%20point%20on%20each%20line.%0A%0A%20%20%20%20%20%20%20%20We%20will%20use%20the%20%5B%60join%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.join.html)%20expression%20to%20do%20so.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(descriptions_df%2C%20pl)%3A%0A%20%20%20%20descriptions_df.select(pl.col('description').str.join('%5Cn'))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(descriptions_df%2C%20mo%2C%20pl)%3A%0A%20%20%20%20mo.md(f%22%22%22In%20fact%2C%20since%20the%20string%20we%20constructed%20dynamically%20is%20valid%20markdown%2C%20we%20can%20display%20it%20dynamically%20using%20Marimo's%20%60mo.md%60%20utility!%0A%0A%20%20%20%20---%0A%0A%20%20%20%20%7Bdescriptions_df.select(pl.col('description').str.join('%5Cn')).to_numpy().squeeze().tolist()%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%94%8D%20Pattern-based%20Extraction%0A%0A%20%20%20%20%20%20%20%20In%20the%20vast%20majority%20of%20the%20cases%2C%20when%20dealing%20with%20unstructured%20text%20data%2C%20all%20we%20really%20want%20is%20to%20extract%20something%20structured%20from%20it.%20A%20common%20use%20case%20is%20to%20extract%20URLs%20from%20text%20to%20get%20a%20better%20understanding%20of%20related%20content.%0A%0A%20%20%20%20%20%20%20%20In%20the%20example%20below%20that's%20exactly%20what%20we%20do.%20We%20scan%20the%20%60docstring%60%20of%20each%20API%20member%20and%20extract%20URLs%20from%20them%20using%20%5B%60extract%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.extract.html)%20and%20%5B%60extract_all%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.extract_all.html)%20using%20a%20simple%20regular%20expression%20to%20match%20http%20and%20https%20URLs.%0A%0A%20%20%20%20%20%20%20%20Note%20that%20%60extract%60%20stops%20after%20a%20first%20match%20and%20returns%20a%20scalar%20result%20(or%20%60null%60%20if%20there%20was%20no%20match)%20while%20%60extract_all%60%20returns%20a%20-%20potentially%20empty%20-%20list%20of%20matches.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20url_pattern%20%3D%20r'(https%3F%3A%2F%2F%5B%5E%5Cs%3E%5D%2B)'%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'namespace'%2C%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20url_match%3Dpl.col('docstring').str.extract(url_pattern)%2C%0A%20%20%20%20%20%20%20%20url_matches%3Dpl.col('docstring').str.extract_all(url_pattern)%2C%0A%20%20%20%20).filter(pl.col('url_match').is_not_null())%0A%20%20%20%20return%20(url_pattern%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Note%20that%20in%20each%20%60docstring%60%20where%20a%20code%20example%20involving%20dataframes%20is%20present%2C%20we%20will%20see%20an%20output%20such%20as%20%22shape%3A%20(5%2C%202)%22%20indicating%20the%20number%20of%20rows%20and%20columns%20of%20the%20dataframe%20produced%20by%20the%20sample%20code.%20Let's%20say%20we%20would%20like%20to%20*capture*%20this%20information%20in%20a%20structured%20way.%0A%0A%20%20%20%20%20%20%20%20%5B%60extract_groups%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.extract_groups.html)%20is%20a%20really%20powerful%20expression%20allowing%20us%20to%20achieve%20exactly%20that.%0A%0A%20%20%20%20%20%20%20%20Below%20we%20define%20the%20regular%20expression%20%60r%22shape%3A%5Cs*%5C((%3F%3Cheight%3E%5CS%2B)%2C%5Cs*(%3F%3Cwidth%3E%5CS%2B)%5C)%22%60%20with%20two%20capture%20groups%2C%20named%20%60height%60%20and%20%60width%60%20and%20pass%20it%20as%20the%20parameter%20of%20%60extract_groups%60.%20After%20execution%2C%20for%20each%20%60docstring%60%2C%20we%20end%20up%20with%20fully%20structured%20data%20we%20can%20further%20process%20downstream!%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20'namespace'%2C%0A%20%20%20%20%20%20%20%20'member'%2C%0A%20%20%20%20%20%20%20%20example_df_shape%3Dpl.col('docstring').str.extract_groups(r%22shape%3A%5Cs*%5C((%3F%3Cheight%3E%5CS%2B)%2C%5Cs*(%3F%3Cwidth%3E%5CS%2B)%5C)%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%A7%B9%20Stripping%0A%0A%20%20%20%20%20%20%20%20Strings%20might%20require%20some%20cleaning%20before%20further%20processing%2C%20such%20as%20the%20removal%20of%20some%20characters%20from%20the%20beginning%20or%20end%20of%20the%20text.%20%5B%60strip_chars_start%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.strip_chars_start.html)%2C%20%5B%60strip_chars_end%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.strip_chars_end.html)%20and%20%5B%60strip_chars%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.strip_chars.html)%20are%20here%20to%20facilitate%20this.%0A%0A%20%20%20%20%20%20%20%20All%20we%20need%20to%20do%20is%20to%20specify%20a%20set%20of%20characters%20we%20would%20like%20to%20get%20rid%20of%20and%20Polars%20handles%20the%20rest%20for%20us.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20member_front_stripped%3Dpl.col(%22member%22).str.strip_chars_start(%22a%22)%2C%0A%20%20%20%20%20%20%20%20member_back_stripped%3Dpl.col(%22member%22).str.strip_chars_end(%22n%22)%2C%0A%20%20%20%20%20%20%20%20member_fully_stripped%3Dpl.col(%22member%22).str.strip_chars(%22na%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Note%20that%20when%20using%20the%20above%20expressions%2C%20the%20specified%20characters%20do%20not%20need%20to%20form%20a%20sequence%3B%20they%20are%20handled%20as%20a%20set.%20However%2C%20in%20certain%20use%20cases%20we%20only%20want%20to%20strip%20complete%20substrings%2C%20so%20we%20would%20need%20our%20input%20to%20be%20strictly%20treated%20as%20a%20sequence%20rather%20than%20as%20a%20set.%0A%0A%20%20%20%20%20%20%20%20That's%20exactly%20the%20rationale%20behind%20%5B%60strip_prefix%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.strip_prefix.html)%20and%20%5B%60strip_suffix%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.strip_suffix.html).%0A%0A%20%20%20%20%20%20%20%20Below%20we%20use%20these%20to%20remove%20the%20%60%22to_%22%60%20prefixes%20and%20%60%22_with%22%60%20suffixes%20from%20each%20member%20name.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20member_prefix_stripped%3Dpl.col(%22member%22).str.strip_prefix(%22to_%22)%2C%0A%20%20%20%20%20%20%20%20member_suffix_stripped%3Dpl.col(%22member%22).str.strip_suffix(%22_with%22)%2C%0A%20%20%20%20).slice(20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%94%91%20Encoding%20%26%20Decoding%0A%0A%20%20%20%20%20%20%20%20Should%20you%20find%20yourself%20in%20the%20need%20of%20encoding%20your%20strings%20into%20%5Bbase64%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FBase64)%20or%20%5Bhexadecimal%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FHexadecimal)%20format%2C%20then%20Polars%20has%20your%20back%20with%20its%20%5B%60encode%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.encode.html)%20expression.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20encoded_df%20%3D%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%22member%22%2C%0A%20%20%20%20%20%20%20%20member_base64%3Dpl.col('member').str.encode('base64')%2C%0A%20%20%20%20%20%20%20%20member_hex%3Dpl.col('member').str.encode('hex')%2C%0A%20%20%20%20)%0A%20%20%20%20encoded_df%0A%20%20%20%20return%20(encoded_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22And%20of%20course%2C%20you%20can%20convert%20back%20into%20a%20human-readable%20representation%20using%20the%20%5B%60decode%60%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.str.decode.html)%20expression.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(encoded_df%2C%20pl)%3A%0A%20%20%20%20encoded_df.with_columns(%0A%20%20%20%20%20%20%20%20member_base64_decoded%3Dpl.col('member_base64').str.decode('base64').cast(pl.String)%2C%0A%20%20%20%20%20%20%20%20member_hex_decoded%3Dpl.col('member_hex').str.decode('hex').cast(pl.String)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20%F0%9F%9A%80%20Application%3A%20Dynamic%20Execution%20of%20Polars%20Examples%0A%0A%20%20%20%20%20%20%20%20Now%20that%20we%20are%20familiar%20with%20string%20expressions%2C%20we%20can%20combine%20them%20with%20other%20Polars%20operations%20to%20build%20a%20fully%20interactive%20playground%20where%20code%20examples%20of%20Polars%20expressions%20can%20be%20explored.%0A%0A%20%20%20%20%20%20%20%20We%20make%20use%20of%20string%20expressions%20to%20extract%20the%20raw%20Python%20source%20code%20of%20examples%20from%20the%20docstrings%20and%20we%20leverage%20the%20interactive%20Marimo%20environment%20to%20enable%20the%20selection%20of%20expressions%20via%20a%20searchable%20dropdown%20and%20a%20fully%20functional%20code%20editor%20whose%20output%20is%20rendered%20with%20Marimo's%20rich%20display%20utilities.%0A%0A%20%20%20%20%20%20%20%20In%20other%20words%2C%20we%20will%20use%20Polars%20to%20execute%20Polars.%20%E2%9D%84%EF%B8%8F%20How%20cool%20is%20that%3F%0A%0A%20%20%20%20%20%20%20%20---%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20example_editor%2C%0A%20%20%20%20execution_result%2C%0A%20%20%20%20expression%2C%0A%20%20%20%20expression_description%2C%0A%20%20%20%20expression_docs_link%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f'%23%23%23%20%7Bexpression.value%7D')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20expression%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bexpression_description%2C%20expression_docs_link%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20example_editor%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20execution_result%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20selected_expression_record)%3A%0A%20%20%20%20expression_description%20%3D%20mo.md(selected_expression_record%5B%22description%22%5D)%0A%20%20%20%20expression_docs_link%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%F0%9F%90%BB%E2%80%8D%E2%9D%84%EF%B8%8F%20%5BOfficial%20Docs%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Fexpressions%2Fapi%2Fpolars.Expr.%7Bselected_expression_record%5B'expr'%5D%7D.html)%22%0A%20%20%20%20)%0A%20%20%20%20return%20expression_description%2C%20expression_docs_link%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(example_editor%2C%20execute_code)%3A%0A%20%20%20%20execution_result%20%3D%20execute_code(example_editor.value)%0A%20%20%20%20return%20(execution_result%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(code_df%2C%20mo)%3A%0A%20%20%20%20expression%20%3D%20mo.ui.dropdown(code_df.get_column('expr')%2C%20value%3D'arr.all'%2C%20searchable%3DTrue)%0A%20%20%20%20return%20(expression%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(code_df%2C%20expression)%3A%0A%20%20%20%20selected_expression_record%20%3D%20code_df.filter(expr%3Dexpression.value).to_dicts()%5B0%5D%0A%20%20%20%20return%20(selected_expression_record%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20selected_expression_record)%3A%0A%20%20%20%20example_editor%20%3D%20mo.ui.code_editor(value%3Dselected_expression_record%5B%22code%22%5D)%0A%20%20%20%20return%20(example_editor%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(expressions_df%2C%20pl)%3A%0A%20%20%20%20code_df%20%3D%20(%0A%20%20%20%20%20%20%20%20expressions_df.select(%0A%20%20%20%20%20%20%20%20%20%20%20%20expr%3Dpl.when(pl.col(%22namespace%22)%20%3D%3D%20%22root%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.then(%22member%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.otherwise(pl.concat_str(%5B%22namespace%22%2C%20%22member%22%5D%2C%20separator%3D%22.%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20description%3Dpl.col(%22docstring%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.str.split(%22%5Cn%5Cn%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.list.get(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20.str.slice(9)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20docstring_lines%3Dpl.col(%22docstring%22).str.split(%22%5Cn%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.with_row_index()%0A%20%20%20%20%20%20%20%20.explode(%22docstring_lines%22)%0A%20%20%20%20%20%20%20%20.rename(%7B%22docstring_lines%22%3A%20%22docstring_line%22%7D)%0A%20%20%20%20%20%20%20%20.with_columns(pl.col(%22docstring_line%22).str.strip_chars(%22%20%22))%0A%20%20%20%20%20%20%20%20.filter(pl.col(%22docstring_line%22).str.contains_any(%5B%22%3E%3E%3E%20%22%2C%20%22...%20%22%5D))%0A%20%20%20%20%20%20%20%20.with_columns(pl.col(%22docstring_line%22).str.slice(4))%0A%20%20%20%20%20%20%20%20.group_by(pl.exclude(%22docstring_line%22)%2C%20maintain_order%3DTrue)%0A%20%20%20%20%20%20%20%20.agg(code%3Dpl.col(%22docstring_line%22).str.join(%22%5Cn%22))%0A%20%20%20%20%20%20%20%20.drop(%22index%22)%0A%20%20%20%20)%0A%20%20%20%20return%20(code_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20execute_code()%3A%0A%20%20%20%20def%20execute_code(code%3A%20str)%3A%0A%20%20%20%20%20%20%20%20import%20ast%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20a%20new%20local%20namespace%20for%20execution%0A%20%20%20%20%20%20%20%20local_namespace%20%3D%20%7B%7D%0A%0A%20%20%20%20%20%20%20%20%23%20Parse%20the%20code%20into%20an%20AST%20to%20identify%20the%20last%20expression%0A%20%20%20%20%20%20%20%20parsed_code%20%3D%20ast.parse(code)%0A%0A%20%20%20%20%20%20%20%20%23%20Check%20if%20there's%20at%20least%20one%20statement%0A%20%20%20%20%20%20%20%20if%20not%20parsed_code.body%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20%20%20%20%20%23%20If%20the%20last%20statement%20is%20an%20expression%2C%20we'll%20need%20to%20get%20its%20value%0A%20%20%20%20%20%20%20%20last_is_expr%20%3D%20isinstance(parsed_code.body%5B-1%5D%2C%20ast.Expr)%0A%0A%20%20%20%20%20%20%20%20if%20last_is_expr%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Split%20the%20code%3A%20everything%20except%20the%20last%20statement%2C%20and%20the%20last%20statement%0A%20%20%20%20%20%20%20%20%20%20%20%20last_expr%20%3D%20ast.Expression(parsed_code.body%5B-1%5D.value)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Remove%20the%20last%20statement%20from%20the%20parsed%20code%0A%20%20%20%20%20%20%20%20%20%20%20%20parsed_code.body%20%3D%20parsed_code.body%5B%3A-1%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Execute%20everything%20except%20the%20last%20statement%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20parsed_code.body%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exec(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20compile(parsed_code%2C%20%22%3Cstring%3E%22%2C%20%22exec%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20globals()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20local_namespace%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Execute%20the%20last%20statement%20and%20get%20its%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20result%20%3D%20eval(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20compile(last_expr%2C%20%22%3Cstring%3E%22%2C%20%22eval%22)%2C%20globals()%2C%20local_namespace%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20If%20the%20last%20statement%20is%20not%20an%20expression%20(e.g.%2C%20an%20assignment)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20execute%20the%20entire%20code%20and%20return%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20exec(code%2C%20globals()%2C%20local_namespace)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%20%20%20%20return%20(execute_code%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20random%0A%0A%20%20%20%20random.seed(42)%0A%20%20%20%20return%20alt%2C%20mo%2C%20pl%2C%20random%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A