2020-04-01から1ヶ月間の記事一覧

Windows10でのPythonの一時ファイルtempfile.NamedTemporaryFileへのアクセス ~ Windowsではいったん閉じないと駄目

次のようにして、tempfileへアクセスしようとしたらエラー。 file = NamedTemporaryFile(suffix='.xlsx', delete=False) s3.Bucket(bucket).download_file(key, file.name) 悩んで仕様を注意深く読むと。。。。 docs.python.org file = NamedTemporaryFile(s…

AWS S3へboto3を使用してdataframeを保存する

下のようにすればOK。 import boto3 s3 = boto3.resource('s3') s3_obj = s3.Object('bucket_name', key=u'test/output.csv') s3_obj.put(Body=df.to_csv(None).encode('utf_8')) ただ、注意点が1つあって、Objectの引数keyの指定は'[フォルダ名1]/[フォル…

OSError: [Errno 30] Read-only file system: ~ AWS Lambdaは/tmp/配下のファイルにしか書き込めない

AWS Lambdaでは/tmp配下のファイルにしか書き込めないので、一時ファイルを用意してそこに書き込んでから最後に元のファイルにコピーしようとしたけど、コピーも書き込みだから駄目だった。 エラーが出てから、そりゃそうかと思ったw。 これは、使いづらい…

Build Failed Error: PythonPipBuilder:ResolveDependencies - {LibraryName==1.3.0(sdist)}

AWS Toolkit+PyCharmをWindows10で実行中に起きたことのメモ。Projectのtemplate.yamlを右クリックして、Server ApplicationのDeployをしようとしたら次のエラー Build Failed Error: PythonPipBuilder:ResolveDependencies - {LibraryName==1.3.0(sdist)} …

AWS サーバーレスアプリケーションモデル ~ チュートリアル: Hello World アプリケーションのデプロイの実施

今回のお題は「AWS サーバーレスアプリケーションモデル ~ チュートリアル: Hello World アプリケーションのデプロイの実施」。記事からの引用だが、前提条件はこれ。 次の3つのステップを実施する。 動作環境はWSLで、OSはubuntu。 #Step 1 - Download a …

「AWS サーバーレスアプリケーションモデル」のサンプルアプリ稼働時に「Error: Failed to create managed resources: Unable to locate credentials」

「AWS サーバーレスアプリケーションモデル」のサンプルアプリ「チュートリアル: Hello World アプリケーションのデプロイ」を実施する際に、Credentialが設定されていなかった。 ついでに、AWS CLIもインストールしていなかったので、下記流れで設定。 1.…

WSLにAWS SAM CLIをインストールしようとしたら、「Error: patchelf must be installed: brew install patchelf」 ~  「brew install gcc」も「brew install patchelf」も実行できない

WSLにAWS SAM CLIをインストールしようとしたら、「Error: patchelf must be installed: brew install patchelf」となった。結論から述べると「brewでgccはインストールできないから、apt-get installしろ」。WSLのOSはubuntu。 user@host:~/workspace$ brew…

WindowsでAWS Toolkit for Visual Studio Code/PyCharmを使ってもサーバーレスアプリケーションを作成することができない ~ Error: Please verify your location. The following types of location are supported

これ、色々調べてみたり、試してみたが結局解決していない。AWS Toolkitどうこういう前に、samコマンドを使ってCLIで試してみたが失敗。 PS C:\aws> sam init --runtime python3.7 Which template source would you like to use? 1 - AWS Quick Start Templa…

AWS S3のmount ~ goofysのインストール

s3fsは遅い!これは有名な話しかと思うので本題じゃなくて、新しいEC2環境にgoofysをインストールして使おうとしたときの話し。ぐぐると、どのblogでも大体次のような流れが紹介されている。 1.goとfuseのインストール 2.AWS CLIの設定 3.S3バケットの作成 4…

AWS ~ Python3.7のインストールでエラー「ModuleNotFoundError: No module named '_ctypes'」。libffi-devをインストールして解決。

めんど! インストールエラー。。。 [root@xxxx dir]# pyenv install 3.7.0 Downloading Python-3.7.0.tar.xz... > https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz Installing Python-3.7.0...BUILD FAILED (Amazon Linux 2 using python-bui…