07-querying-with-sql

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20SQL%20Features%20in%20Marimo%20and%20Polars%0A%0A%20%20%20%20_By%20%5Betrotta%5D(https%3A%2F%2Fgithub.com%2Fetrotta)_%0A%0A%20%20%20%20For%20this%20Notebook%2C%20we'll%20be%20using%20a%20%5Bhotel%20booking%20analytics%5D(https%3A%2F%2Fwww.kaggle.com%2Fdatasets%2Falperenmyung%2Finternational-hotel-booking-analytics)%20dataset.%0A%0A%20%20%20%20We%20will%20see%20many%20ways%20in%20which%20you%20can%20use%20SQL%20inside%20of%20marimo%20and%20how%20each%20feature%20interacts%20with%20polars%2C%20including%3A%0A%20%20%20%20-%20How%20to%20read%20data%20from%20a%20SQLite%20file%20(or%20any%20Database%20connection)%0A%20%20%20%20-%20What%20are%20SQL%20Cells%20in%20Marimo%0A%20%20%20%20-%20How%20to%20load%20an%20SQL%20query%20into%20a%20DataFrame%0A%20%20%20%20-%20How%20to%20query%20DataFrames%20using%20SQL%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20reviews%2C%20sqlite_engine)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20reviews%20LIMIT%20100%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20engine%3Dsqlite_engine%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20will%20start%20by%20using%20%60kagglehub%60%20to%20download%20a%20%60.sqlite%60%20file%2C%20then%20create%20an%20%60SQLAlchemy%60%20engine%20to%20let%20marimo%20know%20about%20the%20database.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(kagglehub)%3A%0A%20%20%20%20dataset_id%20%3D%20%22alperenmyung%2Finternational-hotel-booking-analytics%22%0A%20%20%20%20cached_file%20%3D%20kagglehub.dataset_download(dataset_id%2C%20%22booking_db.sqlite%22)%0A%20%20%20%20return%20(cached_file%2C)%0A%0A%0A%40app.cell%0Adef%20_(cached_file)%3A%0A%20%20%20%20cached_file%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Using%20Marimo's%20SQL%20Cells%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cached_file%2C%20sqlalchemy)%3A%0A%20%20%20%20sqlite_engine%20%3D%20sqlalchemy.create_engine(%22sqlite%3A%2F%2F%2F%22%20%2B%20cached_file)%0A%20%20%20%20return%20(sqlite_engine%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20After%20creating%20the%20Engine%2C%20you%20should%20be%20able%20to%20see%20it%20in%20the%20**Data%20Sources**%20panel%20in%20the%20sidebar.%20Whenever%20you%20create%20an%20SQLAlchemy%20engine%20as%20a%20global%20variable%2C%20Marimo%20picks%20up%20on%20it%20and%20makes%20it%20available%20for%20use%20in%20SQL%20Cells%0A%0A%20%20%20%20You%20can%20use%20it%20to%20consult%20all%20tables%20and%20their%20columns%2C%20as%20well%20as%20click%20%22Add%20table%20to%20notebook%22%20to%20get%20the%20code%20to%20use%20it%2C%20creating%20our%20first%20SQL%20Cell%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(hotels%2C%20mo%2C%20sqlite_engine)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20hotels%20LIMIT%2010%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20engine%3Dsqlite_engine%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20%60Output%20variable%3A%60%20can%20be%20used%20to%20save%20the%20output%20as%20a%20polars%20DataFrame%20you%20can%20access%20later%0A%0A%20%20%20%20For%20example%2C%20fetching%20all%20scores%20then%20performing%20a%20group%20by%20in%20polars%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20reviews%2C%20sqlite_engine%2C%20users)%3A%0A%20%20%20%20polars_age_groups%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20reviews.*%2C%20age_group%20FROM%20reviews%20JOIN%20users%20ON%20reviews.user_id%20%3D%20users.user_id%20LIMIT%201000%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20engine%3Dsqlite_engine%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(polars_age_groups%2C)%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20polars_age_groups)%3A%0A%20%20%20%20_mean_scores%20%3D%20pl.col(%22%5Escore_.*%24%22).mean()%0A%20%20%20%20_age_group_start%20%3D%20pl.col(%22age_group%22).str.slice(0%2C%202).cast(int)%0A%20%20%20%20polars_age_groups.group_by(%22age_group%22).agg(_mean_scores).sort(_age_group_start)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Although%20you%20could%20also%20calculate%20it%20directly%20in%20SQL%2C%20this%20gives%20you%20the%20flexibility%20to%20use%20polars%20for%20operations%20that%20are%20harder%20to%20describe%20in%20SQL%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20reviews%2C%20sqlite_engine%2C%20users)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20age_group%2C%20AVG(reviews.score_overall)%20FROM%20reviews%20JOIN%20users%20ON%20reviews.user_id%20%3D%20users.user_id%20GROUP%20BY%20age_group%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20engine%3Dsqlite_engine%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20can%20also%20use%20SQL%20Cells%20to%20query%20DataFrames%20via%20DuckDB%2C%20but%20remember%20to%20change%20the%20Engine%20from%20the%20SQLite%20engine%20into%20the%20DuckDB%20Memory%20engine%20when%20doing%20so%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20polars_age_groups)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20polars_age_groups%20LIMIT%2010%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Using%20Polars%20directly%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Polars%20also%20offers%20some%20methods%20to%20interact%20with%20databases%20and%20query%20DataFrames%20using%20SQL%20directly%2C%20which%20you%20can%20use%20inside%20or%20outside%20of%20marimo%20the%20same.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Reading%20data%20from%20Databases%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20sqlite_engine)%3A%0A%20%20%20%20hotels%20%3D%20pl.read_database(%22SELECT%20*%20FROM%20hotels%20LIMIT%2010%22%2C%20sqlite_engine)%0A%20%20%20%20hotels%0A%20%20%20%20return%20(hotels%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Querying%20DataFrames%20with%20SQL%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(hotels)%3A%0A%20%20%20%20hotels.sql(%22SELECT%20*%20from%20self%20ORDER%20BY%20cleanliness_base%20DESC%20LIMIT%205%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Using%20DuckDB%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20While%20marimo's%20SQL%20Cells%20are%20very%20practical%20and%20polars's%20direct%20methods%20are%20about%20as%20portable%20as%20it%20gets%20using%20polars%2C%20you%20can%20also%20use%20other%20libraries%20that%20integrate%20with%20polars%20via%20Arrow%20tables%20or%20input%20plugins.%0A%0A%20%20%20%20One%20example%20of%20such%20integrations%20is%20DuckDB%2C%20which%20can%20be%20used%20with%20polars's%20Lazy%20mode%20as%20of%201.4.0%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cached_file%2C%20duckdb)%3A%0A%20%20%20%20duckdb_conn%20%3D%20duckdb.connect(cached_file)%0A%20%20%20%20return%20(duckdb_conn%2C)%0A%0A%0A%40app.cell%0Adef%20_(duckdb_conn)%3A%0A%20%20%20%20%23%20Loading%20into%20a%20normal%20DataFrame%3A%0A%20%20%20%20duckdb_conn.sql(%22SELECT%20*%20FROM%20hotels%20LIMIT%2010%22).pl()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(duckdb_conn)%3A%0A%20%20%20%20%23%20Loading%20into%20a%20LazyFrame%3A%0A%20%20%20%20duckdb_conn.sql(%22SELECT%20*%20FROM%20hotels%22).pl(lazy%3DTrue).limit(10).collect()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Note%20that%20this%20is%20very%20similar%20to%20SQL%20cells%20backed%20by%20DuckDB%2C%20with%20the%20biggest%20difference%20being%20that%20you%20can%20control%20how%20the%20result%20is%20consumed%20as%20opposed%20to%20it%20always%20being%20loaded%20into%20memory.%0A%0A%20%20%20%20Many%20features%20such%20as%20querying%20from%20DataFrames%20work%20the%20same%20using%20DuckDB%20directly%20as%20they%20do%20in%20DuckDB-backed%20SQL%20Cells%2C%20and%20vice-versa%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(duckdb%2C%20hotels)%3A%0A%20%20%20%20duckdb.sql(%22SELECT%20*%20FROM%20hotels%22).pl(lazy%3DTrue).sort(%22cleanliness_base%22%2C%20descending%3DTrue).limit(5).collect()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Utilities%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20delete_file_button%20%3D%20mo.ui.run_button(label%3D%22Delete%20cached%20file%22%2C%20kind%3D%22warn%22)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22If%20you%20want%20to%20delete%20the%20downloaded%20file%20from%20your%20cache%22)%2C%20delete_file_button%5D)%0A%20%20%20%20return%20(delete_file_button%2C)%0A%0A%0A%40app.cell%0Adef%20_(cached_file%2C%20delete_file_button%2C%20pathlib)%3A%0A%20%20%20%20if%20delete_file_button.value%3A%0A%20%20%20%20%20%20%20%20pathlib.Path(cached_file).unlink()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20return%20(pl%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20duckdb%0A%20%20%20%20return%20(duckdb%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20sqlalchemy%0A%20%20%20%20return%20(sqlalchemy%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20kagglehub%0A%20%20%20%20return%20(kagglehub%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20pathlib%0A%20%20%20%20return%20(pathlib%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A