从bigquery数据集和熊猫下载大数据

由 发布于 pythonpandasgoogle-bigquery
 收藏

我正在尝试从大型查询公共数据集中下载数据，并将其本地存储在CSV文件中。当我在查询的末尾添加'LIMIT 10'时，我的代码可以工作，但是如果没有，我将收到一条错误消息：“响应太大而无法返回。请考虑在您的作业配置中将allowLargeResults设置为true”。

先感谢您！

这是我的代码：

import pandas as pd
import pandas_gbq as gbq
import tqdm

def get_data(query,project_id):
    data = gbq.read_gbq(query, project_id=project_id,configuration={"allow_large_results":True})
    data.to_csv('blockchain.csv',header=True,index=False)

if __name__ == "__main__":
    query = """SELECT * FROM `bigquery-public-data.crypto_bitcoin.transactions` WHERE block_timestamp>='2017-09-1' and block_timestamp<'2017-10-1';"""
    project_id = "bitcoin-274091"
    get_data(query,project_id)
评论