Pycharmを使ってStreamlitでWEBアプリを開発する際にDebugする方法

結論から言うと、答えはここに書いてありました。 stackoverflow.com見つけるのに苦労したわ。 もともとstreamlitの公式ページで探していて、そこにコメントがあったのが見つけたきっかけ。 ChatGPTは使い物にならなかったわ。 discuss.streamlit.ioポイント…

Gitメモ

こういう単純なコマンドは、いつまで経っても覚えていられない。 ローカルブランチの確認 $ git branch ローカルブランチ変更 $ git checkout [ブランチ名] 現在のブランチの確認 $ git branch -a 過去の特定のコミットからブランチを作成する方法 $ git che…

Microsoft PowerAutomate(旧Microsoft flow)で使用する関数

全然頭に入ってこない上に、情報が少ないからすごく使いづらい。。。 大嫌い。日付別のフォルダ作成関数 concat('/',formatDateTime(addhours(utcnow(),9),'yyyy-MM-dd'))

PowerShellで1月から12月までのフォルダを01、02、・・・、11、12というようにワンライナーで作成する

フォルダを作成したい場所に移動して、次を実行。 PS C:\tmp> New-Item (1..12 | % { "{0:00}" -f $_} ) -ItemType Directory|PowerShell、使ってこなかったしあまり使わないからすぐに忘れる~。

SSHでGoogle Authenticatorを利用する場合、Tera Termでは自動ログインできない ~ /ask4passwdの指定で自動ログインを回避

普段、TeraTermはショートカットを作成して、プロパティにコマンドを書いている。 例えば次のように。 "teratermインストールフォルダ\ttermpro.exe" 接続先IP:ポート番号 /auth=publickey /user=ログインユーザ名 /keyfile=秘密鍵ファイル これで自動ログイ…

Amazon LinuxでGoogle Authenticatorを利用したいがインストールに失敗する ~ No package google-authenticator available.

例えば、下記blogで紹介されているように簡単にインストール出来るように思われたが・・・。 blog.apar.jp [root@host ~]# yum install google-authenticator ・・・・・ No package google-authenticator available. Error: Nothing to dosudo yum install …

goofysでAWS S3をmountしたディレクトリが権限不足で見れなくなる

これはハマった。 AWS EC2のディレクトリをgoofysでmountしてS3と繋いだ瞬間に、権限エラーでアクセスできなくなった。 他サービスとの連携をテストしていて、mountしただけでテストに失敗。たちが悪いのが、シェルで権限確認しても変化がなかったこと。 ls …

Windows10でのPythonの一時ファイルtempfile.NamedTemporaryFileへのアクセス ~ Windowsではいったん閉じないと駄目

次のようにして、tempfileへアクセスしようとしたらエラー。 file = NamedTemporaryFile(suffix='.xlsx', delete=False) s3.Bucket(bucket).download_file(key, file.name) 悩んで仕様を注意深く読むと。。。。 docs.python.org file = NamedTemporaryFile(s…

AWS S3へboto3を使用してdataframeを保存する

下のようにすればOK。 import boto3 s3 = boto3.resource('s3') s3_obj = s3.Object('bucket_name', key=u'test/output.csv') s3_obj.put(Body=df.to_csv(None).encode('utf_8')) ただ、注意点が1つあって、Objectの引数keyの指定は'[フォルダ名1]/[フォル…

OSError: [Errno 30] Read-only file system: ~ AWS Lambdaは/tmp/配下のファイルにしか書き込めない

AWS Lambdaでは/tmp配下のファイルにしか書き込めないので、一時ファイルを用意してそこに書き込んでから最後に元のファイルにコピーしようとしたけど、コピーも書き込みだから駄目だった。 エラーが出てから、そりゃそうかと思ったw。 これは、使いづらい…

Build Failed Error: PythonPipBuilder:ResolveDependencies - {LibraryName==1.3.0(sdist)}

AWS Toolkit+PyCharmをWindows10で実行中に起きたことのメモ。Projectのtemplate.yamlを右クリックして、Server ApplicationのDeployをしようとしたら次のエラー Build Failed Error: PythonPipBuilder:ResolveDependencies - {LibraryName==1.3.0(sdist)} …

AWS サーバーレスアプリケーションモデル ~ チュートリアル: Hello World アプリケーションのデプロイの実施

今回のお題は「AWS サーバーレスアプリケーションモデル ~ チュートリアル: Hello World アプリケーションのデプロイの実施」。記事からの引用だが、前提条件はこれ。 次の3つのステップを実施する。 動作環境はWSLで、OSはubuntu。 #Step 1 - Download a …

「AWS サーバーレスアプリケーションモデル」のサンプルアプリ稼働時に「Error: Failed to create managed resources: Unable to locate credentials」

「AWS サーバーレスアプリケーションモデル」のサンプルアプリ「チュートリアル: Hello World アプリケーションのデプロイ」を実施する際に、Credentialが設定されていなかった。 ついでに、AWS CLIもインストールしていなかったので、下記流れで設定。 1.…

WSLにAWS SAM CLIをインストールしようとしたら、「Error: patchelf must be installed: brew install patchelf」 ~  「brew install gcc」も「brew install patchelf」も実行できない

WSLにAWS SAM CLIをインストールしようとしたら、「Error: patchelf must be installed: brew install patchelf」となった。結論から述べると「brewでgccはインストールできないから、apt-get installしろ」。WSLのOSはubuntu。 user@host:~/workspace$ brew…

WindowsでAWS Toolkit for Visual Studio Code/PyCharmを使ってもサーバーレスアプリケーションを作成することができない ~ Error: Please verify your location. The following types of location are supported

これ、色々調べてみたり、試してみたが結局解決していない。AWS Toolkitどうこういう前に、samコマンドを使ってCLIで試してみたが失敗。 PS C:\aws> sam init --runtime python3.7 Which template source would you like to use? 1 - AWS Quick Start Templa…

AWS S3のmount ~ goofysのインストール

s3fsは遅い!これは有名な話しかと思うので本題じゃなくて、新しいEC2環境にgoofysをインストールして使おうとしたときの話し。ぐぐると、どのblogでも大体次のような流れが紹介されている。 1.goとfuseのインストール 2.AWS CLIの設定 3.S3バケットの作成 4…

AWS ~ Python3.7のインストールでエラー「ModuleNotFoundError: No module named '_ctypes'」。libffi-devをインストールして解決。

めんど! インストールエラー。。。 [root@xxxx dir]# pyenv install 3.7.0 Downloading Python-3.7.0.tar.xz... > https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz Installing Python-3.7.0...BUILD FAILED (Amazon Linux 2 using python-bui…

AWS Lambda + API GatewayでHTTP Post メソッドを呼び出すときにエラー「Missing Authentication Token」~忘れていた初歩的なこと

本当に初歩的なことだが、Googleで検索して出てきたblogなどを参考にしながら、その通りに試していたらハマってしまった(´;ω;`)。 洗脳された感じ?www ミスリーディングに勝手にハマった感じ?それとも、勝手にハマってミスリーディングだと思ってい…

Microsoft Power Automate(Microsoft Flow)からTeamsへ投稿する際の注意

相変わらず中途半端な仕様で混乱しか招かないMicrosoft製品(主観と偏見です)。◎今回のハマりどころ Flowで表示されるTeamsのコネクタを使用して、FlowからTeamsへ投稿してもリンクが有効にならない 「Flowで表示されるTeamsのコネクタ」とはこんなやつで、…

Azure Functionsメモ ~ Microsoft.Azure.Storage.FileをVisual Studio Codeでusingするための準備

参考にしている書籍がVisual Studio Codeではなく、Visual Studioを使用しており、VSCodeとは異なるGUIで実施していたためメモ。 まずは公式ドキュメントで、VSCodeからStorageを利用する方法を探すと下記が見つかる。docs.microsoft.comこれによると下記記…

Azure Functionsメモ ~ host.jsonの役割

Version2.xの情報だけど、公式ドキュメントは下記。 docs.microsoft.comこれによると、host.jsonの役割は下記。 The host.json metadata file contains global configuration options that affect all functions for a function app. メタデータファイルhost…

Azure Functionsをローカル環境で動かすのに苦労したことのメモ

まず、最初にお断り。 試行錯誤中でやっと出来たので、覚えている範囲でしかメモれない。今回は、相当まとまりがない記事。 そしてやたらとMicrosoftの愚痴が多いことはご了承ください(嫌いではない)。さて、世の中、AWS、Azure、GCPなどのクラウドが当た…

MySQLで作成時間カラム(created_at)のDefault値を現在時刻とする。また、更新時刻カラムの時刻をデータupdate時に更新する。

CREATE TABLE t1 ( created_at DATETIME DEFAULT CURRENT_TIMESTAMP, updated_at DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP );

pandas ~ DataFrameの作成

DataFrameオブジェクトを作るよりも、ndarrayオブジェクトを使う方が便利かな。 import numpy as np import pandas as pd data_array = [[1.0, 2.0, 3.0], [11.0, 12.0, 13.0]] df = pd.DataFrame(data_array) こうすると次のような結果となる。 0 1 2 ーー…

いつも忘れるpandas基礎事項 ~ pandas.Dataframeの列への代入

次のようなテストコードで、dataframeであるdf1を作成し、A列~D列を用意する。 dataframeの値はnp.random.randnで適当に生成。ここで、df1のC列とD列を書き換えることを考えるが、indexを指定したdf2の列で書き換えるのと、indexを指定しないdf3の列で書き…

いつも忘れるpandas.Dataframeの列処理 ~ 文字列分割

dataframeの特定の列の値をsplitで分割して新しいdataframeの列として取得するには、splitにexpand=Trueオプションを使用する。 例えば、dataframeのある列が次のような文字列を格納していたとする。 X'分割区切り文字'suffix1 Y'分割区切り文字'suffix2 Z'…

いつも忘れるpython/pandas日付処理

覚えてられねー。 #pandas.Dataframeの列全てへ日付変換を適用して、datetimeを指定したstrへ変換 df['カラム名'].dt.strftime("%Y/%m/%d") #次のような文字列のSeriesを纏めて、datetimeへ変換 #0 03-Sep-19 #1 18-Sep-19 #2 03-Sep-19 pd.to_datetime(df['…

いつも忘れるpandas.DataFrameの備忘録

全然覚えられない。 #欠損値NaNが含まれる行/列を削除する(how="all"とすると全て欠損値の行/列を削除する。デフォルトはhow="any"。axis=1とすると列削除) result_df = df.dropna(how="all", axis=1) # DataFrameのindexを振り直すreset_index(drop=True…

ある文字列において、特定の文字がX文字以上連続した場合に限り、その連続した文字列で元の文字列を分割する

「ある文字列において、特定の文字がX文字以上連続した場合に限り、その連続した文字列で元の文字列を分割する」ことを考えた。 まずこれはどういうことか。具体例を示す。例えば、何らかのテキストファイルを1行ずつ読み込んで処理をする場合に、特定の行…

pythonでファイル名変更 ~ os.rename('変更前ファイル名', '変更後ファイル名') 同じファイルがあっても上書きしてくれるんじゃないの?

世間の評判では「os.rename」は、同じファイルが既にあれば上書きしてくれるとのこと。 しかし、上手くいかなかったのだ。 os.rename('変更前ファイル名', '変更後ファイル名') なので結局、「変更後ファイル名」と同じファイル名のファイルがあった時にエラ…