プログラミングtips

  • 2021.01.10

numpy.zeros()でndarrayを初期化した際はメモリが確保されない

題の通り、ndarrayをnumpy.zeros([行数,列数])で初期化した際、[行数,列数]サイズのndarrayのデータを入れるためのメモリ領域は確保されない。内部的には0以外のデータに対してだけ実際にメモリを割り当てている模様。 このため、例えば100万×100万のような巨大なndarrayであっても、numpy.zeros()で初期化した場合は、メモリ32GBや64GBのPCでも軽快に扱 […]

  • 2021.01.10

google driveのファイル一覧をtreeで作成する

動機 google drive上にある議事録などのファイルを階層構造付で一覧化したい時があった。 ネットで検索するとgoogle app scriptを使用してgoogleスプレッドシートに吐き出すというやり方の記事が多いが、treeコマンドの結果のような形式でファイル一覧が作成したかったため、やってみた。 手順 1.ファイル一覧を作成したいgoogle driveにログインし、Google Co […]

  • 2020.11.08

pandasのto_sqlメソッドでのinsertが遅い時の対処法

先に結論 以下の様に、to_sqlメソッドのmethod引数に'multi'を指定すれば良い。 'multi'を指定しなかった際に30分近くかかっていた処理が10秒程度で終わるようになった。 df.to_sql(...,method='multi') なぜこうなるのか to_sqlメソッドのmethod引数に何も指定せずに実行した場合、Dataframe内のデータに対して1行ず […]