将string类型的数据类型转换为spark rdd时报错的解决方法


Posted in Python onFebruary 18, 2019

在将string类型的数据类型转换为spark rdd时,一直报这个错,StructType can not accept object %r in type %s” % (obj, type(obj)))

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

查了半天的资料,问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case,终于把问题解决。记录一下!

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

上面的问题办法是,将sc.parallelize([list0])中的list0再转成一个整体list,问题即可解决。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
使用Python获取Linux系统的各种信息
Jul 10 Python
Python中几种操作字符串的方法的介绍
Apr 09 Python
python中lambda与def用法对比实例分析
Apr 30 Python
使用Python对Excel进行读写操作
Mar 30 Python
对python append 与浅拷贝的实例讲解
May 04 Python
让代码变得更易维护的7个Python库
Oct 09 Python
使用python快速在局域网内搭建http传输文件服务的方法
Nov 14 Python
wxpython绘制音频效果
Nov 18 Python
Python实现屏幕录制功能的代码
Mar 02 Python
基于tensorflow for循环 while循环案例
Jun 30 Python
python转化excel数字日期为标准日期操作
Jul 14 Python
Python3中的tuple函数知识点讲解
Jan 03 Python
对Python3使运行暂停的方法详解
Feb 18 #Python
解决python线程卡死的问题
Feb 18 #Python
Python中时间datetime的处理与转换用法总结
Feb 18 #Python
对python中的try、except、finally 执行顺序详解
Feb 18 #Python
python调用matlab的m自定义函数方法
Feb 18 #Python
在Python文件中指定Python解释器的方法
Feb 18 #Python
Python字符串逆序的实现方法【一题多解】
Feb 18 #Python
You might like
古巴咖啡 Cubita琥爵咖啡 独特的加勒比海风味咖啡
2021/03/06 新手入门
php中使用getimagesize获取图片、flash等文件的尺寸信息实例
2014/04/29 PHP
PHP实现一个多功能购物网站的案例
2017/09/13 PHP
Laravel 实现关系模型取出需要的字段
2019/10/10 PHP
表单内同名元素的控制
2006/11/22 Javascript
Mootools 1.2教程(21)——类(二)
2009/09/15 Javascript
jquery 添加节点的几种方法介绍
2013/09/04 Javascript
javascript事件委托的方式绑定详解
2015/06/10 Javascript
Javascript编写俄罗斯方块思路及实例
2015/07/07 Javascript
jQuery菜单插件用法实例
2015/07/25 Javascript
JavaScript 浏览器兼容性总结及常用浏览器兼容性分析
2016/03/30 Javascript
jQuery实现删除li节点的方法
2016/12/06 Javascript
基于JS实现的随机数字抽签实例
2016/12/08 Javascript
详解angular用$sce服务来过滤HTML标签
2017/04/11 Javascript
jQuery实现简单的回到顶部totop功能示例
2017/10/16 jQuery
Express的HTTP重定向到HTTPS的方法
2018/06/06 Javascript
element-ui表格数据转换的示例代码
2018/08/24 Javascript
es6数值的扩展方法
2019/03/11 Javascript
详解VUE调用本地json的使用方法
2019/05/15 Javascript
vue实现按需加载组件及异步组件功能
2019/05/27 Javascript
微信小程序 搜索框组件代码实例
2019/09/06 Javascript
基于python OpenCV实现动态人脸检测
2018/05/25 Python
详解python os.path.exists判断文件或文件夹是否存在
2020/11/16 Python
HTML5 3D旋转相册的实现示例
2019/12/03 HTML / CSS
拉夫劳伦爱尔兰官方网站:Ralph Lauren爱尔兰
2020/04/10 全球购物
.net C#面试题
2012/08/28 面试题
如何写好优秀的创业计划书
2014/01/30 职场文书
大学校庆策划书
2014/01/31 职场文书
学校消防演习方案
2014/02/19 职场文书
中级会计职业生涯规划书
2014/03/01 职场文书
授权委托书格式模板
2014/04/03 职场文书
基层党支部公开承诺书
2014/05/29 职场文书
机电专业毕业生自我鉴定2014
2014/10/04 职场文书
影视后期实训报告
2014/11/05 职场文书
房屋买卖协议样本
2014/11/16 职场文书
本溪水洞导游词
2015/02/11 职场文书