DuckDB Loading CSVs

import%20marimo%0A%0A__generated_with%20%3D%20%220.13.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23Loading%20CSVs%20with%20DuckDB%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%3Cp%3E%20I%20remember%20when%20I%20first%20learnt%20about%20DuckDB%2C%20it%20was%20a%20gamechanger%20%E2%80%94%20I%20used%20to%20load%20the%20data%20I%20wanted%20to%20work%20on%20to%20a%20database%20software%20like%20MS%20SQL%20Server%2C%20and%20then%20build%20a%20bridge%20to%20an%20IDE%20with%20the%20language%20I%20wanted%20to%20use%20like%20Python%2C%20or%20R%3B%20it%20was%20quite%20the%20hassle.%20DuckDB%20changed%20my%20whole%20world%20%E2%80%94%20now%20I%20could%20just%20import%20the%20data%20file%20into%20the%20IDE%2C%20or%20notebook%2C%20make%20a%20duckdb%20connection%2C%20and%20there%20we%20go!%20But%20then%2C%20I%20realized%20I%20didn't%20even%20need%20the%20step%20of%20first%20importing%20the%20file%20using%20python.%20I%20could%20just%20query%20the%20csv%20file%20directly%20using%20SQL%20through%20a%20DuckDB%20connection.%3C%2Fp%3E%20%0A%0A%20%20%20%20%20%20%20%20%23%23Introduction%0A%20%20%20%20%20%20%20%20%3Cp%3E%20I%20found%20this%20dataset%20on%20the%20evolution%20of%20AI%20research%20by%20discipline%20from%20%3Ca%20href%3D%20%22https%3A%2F%2Foecd.ai%2Fen%2Fdata%3FselectedArea%3Dai-research%26selectedVisualization%3D16731%22%3E%20OECD%3C%2Fa%3E%2C%20and%20it%20piqued%20my%20interest.%20I%20feel%20like%20publications%20in%20natural%20language%20processing%20drastically%20jumped%20in%20the%20mid%202010s%2C%20and%20I'm%20excited%20to%20find%20out%20if%20that's%20the%20case.%20%3C%2Fp%3E%20%0A%0A%20%20%20%20%20%20%20%20%3Cp%3E%20In%20this%20notebook%2C%20we'll%3A%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%20Import%20the%20CSV%20file%20into%20the%20notebook%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%20Create%20another%20table%20within%20the%20database%20based%20on%20the%20CSV%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%20Dig%20into%20publications%20on%20natural%20language%20processing%20have%20evolved%20over%20the%20years%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23Load%20the%20CSV%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%2F*%20Another%20way%20to%20load%20the%20CSV%20could%20be%20%0A%20%20%20%20%20%20%20%20SELECT%20*%20%0A%20%20%20%20%20%20%20%20FROM%20read_csv('https%3A%2F%2Fgithub.com%2FMustjaab%2FLoading_CSVs_in_DuckDB%2Fblob%2Fmain%2FAI_Research_Data.csv')%0A%20%20%20%20%20%20%20%20*%2F%0A%20%20%20%20%20%20%20%20SELECT%20*%20%0A%20%20%20%20%20%20%20%20FROM%20%22https%3A%2F%2Fraw.githubusercontent.com%2FMustjaab%2FLoading_CSVs_in_DuckDB%2Frefs%2Fheads%2Fmain%2FAI_Research_Data.csv%22%0A%20%20%20%20%20%20%20%20LIMIT%205%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23Create%20Another%20Table%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20Discipline_Analysis%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20--%20Build%20a%20table%20based%20on%20the%20CSV%20where%20it%20just%20contains%20the%20specified%20columns%0A%20%20%20%20%20%20%20%20CREATE%20TABLE%20Domain_Analysis%20AS%0A%20%20%20%20%20%20%20%20%20%20%20%20SELECT%20Year%2C%20Concept%2C%20publications%20FROM%20%22https%3A%2F%2Fraw.githubusercontent.com%2FMustjaab%2FLoading_CSVs_in_DuckDB%2Frefs%2Fheads%2Fmain%2FAI_Research_Data.csv%22%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(Domain_Analysis%2C)%0A%0A%0A%40app.cell%0Adef%20_(Domain_Analysis%2C%20mo)%3A%0A%20%20%20%20Analysis%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%20%0A%20%20%20%20%20%20%20%20FROM%20Domain_Analysis%0A%20%20%20%20%20%20%20%20GROUP%20BY%20Concept%2C%20Year%2C%20publications%0A%20%20%20%20%20%20%20%20ORDER%20BY%20Year%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Domain_Analysis%2C%20mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(CASE%20WHEN%20Year%20%3C%202020%20THEN%20publications%20END)%20AS%20avg_pre_2020%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(CASE%20WHEN%20Year%20%3E%3D%202020%20THEN%20publications%20END)%20AS%20avg_2020_onward%0A%20%20%20%20%20%20%20%20FROM%20Domain_Analysis%0A%20%20%20%20%20%20%20%20WHERE%20Concept%20%3D%20'Natural%20language%20processing'%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Domain_Analysis%2C%20mo)%3A%0A%20%20%20%20NLP_Analysis%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20%20%20%20%20publications%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20CASE%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20WHEN%20Year%20%3C%202020%20THEN%20'Pre-2020'%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ELSE%20'2020-onward'%20%0A%20%20%20%20%20%20%20%20%20%20%20%20END%20AS%20period%0A%20%20%20%20%20%20%20%20FROM%20Domain_Analysis%0A%20%20%20%20%20%20%20%20WHERE%20Year%20%3E%3D%202000%20%0A%20%20%20%20%20%20%20%20AND%20Concept%20%3D%20'Natural%20language%20processing'%3B%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20output%3DFalse%0A%20%20%20%20)%0A%20%20%20%20return%20(NLP_Analysis%2C)%0A%0A%0A%40app.cell%0Adef%20_(NLP_Analysis%2C%20px)%3A%0A%20%20%20%20px.box(NLP_Analysis%2C%20x%3D'period'%2C%20y%3D'publications'%2C%20color%3D'period')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%3Cp%3E%20We%20can%20see%20there's%20a%20significant%20increase%20in%20NLP%20publications%202020%20and%20onwards%20which%20definitely%20makes%20sense%20provided%20the%20rapid%20emergence%20of%20commercial%20large%20language%20models%2C%20and%20AI%20assistants.%20%3C%2Fp%3E%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23Conclusion%0A%20%20%20%20%20%20%20%20%3Cp%3E%20In%20this%20notebook%2C%20we%20learned%20how%20to%3A%3C%2Fp%3E%20%0A%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%20Load%20a%20CSV%20into%20DuckDB%20%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%20Create%20other%20tables%20using%20the%20imported%20CSV%20%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%20Seamlessly%20analyze%20and%20visualize%20data%20between%20SQL%2C%20and%20Python%20cells%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20pyarrow%0A%20%20%20%20import%20polars%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20return%20mo%2C%20px%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A