本文介紹了使用 pySpark 將 DataFrame 寫入 mysql 表的處理方法，對大家解決問題具有一定的參考價值，需要的朋友們下面隨著小編來一起學習吧！
問題描述
我正在嘗試將記錄插入到 MySql 表中.該表包含 id 和 name 作為列.
I am attempting to insert records into a MySql table. The table contains id and name as columns.
我在 pyspark shell 中執行如下操作.
I am doing like below in a pyspark shell.
name = 'tester_1'
id = '103'
import pandas as pd
l = [id,name]
df = pd.DataFrame([l])
df.write.format('jdbc').options(
url='jdbc:mysql://localhost/database_name',
driver='com.mysql.jdbc.Driver',
dbtable='DestinationTableName',
user='your_user_name',
password='your_password').mode('append').save()
我收到以下屬性錯誤
AttributeError: 'DataFrame' 對象沒有屬性 'write'
我做錯了什么?從 pySpark
推薦答案
使用 Spark DataFrame 而不是 pandas'，因為
.write僅適用于 Spark Dataframe
Use Spark DataFrame instead of pandas', as
.writeis available on Spark Dataframe only
所以最終的代碼可能是
data =['103', 'tester_1']
df = sc.parallelize(data).toDF(['id', 'name'])
df.write.format('jdbc').options(
url='jdbc:mysql://localhost/database_name',
driver='com.mysql.jdbc.Driver',
dbtable='DestinationTableName',
user='your_user_name',
password='your_password').mode('append').save()
這篇關于使用 pySpark 將 DataFrame 寫入 mysql 表的文章就介紹到這了，希望我們推薦的答案對大家有所幫助，也希望大家多多支持html5模板網！
【網站聲明】本站部分內容來源于互聯網,旨在幫助大家更快的解決問題，如果有圖片或者內容侵犯了您的權益，請聯系我們刪除處理，感謝您的支持！