知识汇总
zsg86 · 共 42 篇文章
导入导出与字符集
转载: http://blog.sina.com.cn/s/blog_c58d04bf0101lbka.html 在日常工作中,我们经常会遇到字符集的问题。Export 和 Import 是一对读写Oracle数据的工具。Export 将 Oracle 数据库中的数据输出到操作系统文件中, Import 把这些文件中的数据读到Oracle 数据库中,由于使用exp/imp进行数据迁移时,数据从源数据库到目标数据库的过程中有四个环节涉及到字符集,如果这四个环节的字符集不一致,将会发生字符集转换。 四个字符集是: (1)源数据库字符集 (2)Export过程中用户会话字符集(通过NLS_LANG…
2018-03-16 09:52 · Oracle · 评论(0)
hadoop file output 报 java.lang.OutOfMemoryError: Requested array size exceeds VM
使用kettle将hive中的数据抽取到hdfs中,报 java.lang.OutOfMemoryError: Requested array size exceeds VM 原因是,hive中有两个字段定义的长度为21亿,超过了jvm数据长度,减小这两个字段长度即可。
2017-10-09 17:21 · ETL · 评论(0)
kettle导数据造成Postgresql锁表
场景:kettle数据抽取节点A、B,Postgresql集群数据管理节点C。A和B上同时跑着数据抽取任务,有两个任务运行过程中卡住。于是打算重启抽取任务,先truncate这两个表(一个任务对应一个表),问题出现了,有一个表truncate执行卡住,delete卡住,drop table也不行,但是可以insert和select。一定是表锁住了! 解决办法: 1.查询表中存在的锁 select a.locktype,a.database,a.pid,a.mode,a.relation,b.relname from pg_locks a join pg_class b on a.relati…
2017-09-29 09:06 · ETL · Postgresql · 评论(0)
kettle配置hadoop cluster
1.配置kettle支持的hadoop版本 修改data-integration\plugins\pentaho-big-data-plugin\plugin.properties中 active.hadoop.configuration=hdp23 支持的hadoop版本在data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations中列出 2.在kettle界面选择支持的hadoop版本 工具>Hadoop Distribution> 3.在Hadoop cluster配置页面填入相关信息(可参照ambari管…
2017-09-28 10:15 · ETL · 评论(0)
Java 应用性能调优实践
转自:http://www.cnblogs.com/duanxz/p/6092997.html Java 应用性能优化是一个老生常谈的话题,笔者根据个人经验,将 Java 性能优化分为 4 个层级:应用层、数据库层、框架层、JVM 层。通过介绍 Java 性能诊断工具和思路,给出搜狗商业平台的性能优化案例以供参考。 Java 应用性能优化是一个老生常谈的话题,典型的性能问题如页面响应慢、接口超时,服务器负载高、并发数低,数据库频繁死锁等。尤其是在“糙快猛”的互联网开发模式大行其道的今天,随着系统访问量的日益增加和代码的臃肿,各种性能问题开始纷至沓来。Java 应用性能的瓶颈点非常多,比如磁盘…
2017-04-06 14:06 · Java · 评论(0)
Java常用设计模式
设计模式; 一个程序员对设计模式的理解: “不懂”为什么要把 很简单的东西搞得那么复杂 。后来随着软件开发经验的增加才开始明白我所看到的“复杂”恰恰就是设计模式的精髓所在,我所理解的**“简单”就是一把钥匙开一把锁的模式,目的仅仅是着眼于解决现在的问题,而设计模式的“复杂”就在于它是要构造一个“万能 钥匙”,目的是提出一种对所有锁的开锁方案。 在真正理解设计模式之前我一直在编写“简单”的代码. 这个 “简单”不是功能的简单,而是设计的简单。 简单的设计意味着缺少灵活性,代码很钢硬,只在这个项目里有用,拿到其它的项目中就是垃圾,我将其称之为 “一次性代码”。** -->要使代码可被反复使用,请…
2017-03-27 15:44 · Java · 评论(0)
【转】Informatica 9.5.1 安装配置
Informatica 结构 1个或多个资源库(Respository) PowerCenter数据整合引擎是基于元数据驱动的,提供了基于数据驱动的元数据知识库(Repository),该元数据知识库可以在主流的关系型数据库中部署。该院数据库中存储所有的ETL元数据,包括:源、目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据。 2个Server Informatica Repository Server: 资料库的Server,管理ETL过程中产生的元数据,用来管理所有对资料库中元数据的请求和操作。 Informatica Server: 实际的ETL…
2017-03-27 15:41 · ETL · 评论(0)
Windows netstat 查看端口、进程占用、杀掉进程
转载:http://ywsm.iteye.com/blog/510670 http://58582786.blog.51cto.com/1550000/671487 目标:在Windows环境下,用netstat命令查看某个端口号是否占用,为哪个进程所占用. 操作:操作分为两步:(1)查看该端口被那个PID所占用;方法一:有针对性的查看端口,使用命令 Netstat –ano|findstr “<端口号>”,如图,最后一列为PID。图中的端口号为1068,所对应的PID为3840。 (a)图 方法二:查看所有的,然后找到对应的端口和PID。 (b)图 第一幅图中的5列就是上面(a)图对应的5…
2017-03-27 14:39 · windows · 评论(0)
oracle参数open_cursors和session_cached_cursor详解!
http://blog.csdn.net/zq9017197/article/details/7345352
2017-03-27 14:32 · Oracle · 评论(0)
kettle_manager
kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍 http://www.cnblogs.com/majinju/p/5739820.html kettle系列-kettle管理平台部署说明 http://www.cnblogs.com/majinju/p/5767001.html 问题汇总: 1.用kettle可以从hive2中将数据抽出来,但是在kettle manager启动会报错 我的理解:感觉像是hive2驱动的问题,但是将hive的jar包加入kettle manager源码工程上,没有效果 作者马进举的解决方案: 大数据插件的话,需要将ke…
2017-03-21 10:22 · ETL · 评论(0)
Oracle 更改用户名
通过plsql客户端界面形式是不可改的。所以直接更改系统user$表中的用户名。 查询要更改的用户名 SQL> select user#,name,password from user$ where name ='TICKETS'; USER# NAME PASSWORD ---------- ------------------------------ ------------------------------ 78 TICKETS 21EDA78F89D6FACD 更改用户名 SQL> update user$ set name='TICKETS_BAK' where user#=78…
2017-03-20 15:17 · Oracle · 评论(0)
深入理解Java之线程池
原作者: 海子 出处: http://www.cnblogs.com/dolphin0520/ 本文归作者 海子 和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。 在前面的文章中,我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题: 如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用,就是执行完一个任务,并不被销毁,而是可以继续执行其他的任务? 在Java中可以通过…
2017-03-09 10:55 · Java · 评论(0)
expdp和impdp使用
一、导出 1、在物理盘上先建相应的目录, 如“/home/oracle/dmp” 2、以有权限授权目录的写读用户登录,不要是要备份的用户(没权限给自己授权),给要备份的用户授权:如下: SQL>create or replace directory dumpdir as '/home/oracle/clo_kettle'; 3、授权给要导出数据的用户 SQL>grant read,write(all) on directory dumpdir to clo_user; SQL>exit; 4、基本命令 expdp clo_user/clo_user tables=t_bet_detail d…
2017-02-20 09:56 · Oracle · 评论(0)
exp和imp的用法
1.exp导出数据库 导出数据及表结构(全部) exp clo_user/clo_user file=clo_user_partition20150610.dmp 导出某张表的数据及表结构 exp tnkpdev/tnkpdev tables=USER_MORE_INFO file=USER_MORE_INFO.dmp 2.imp导入数据库 1)给导入数据库的用户授予dba权限 SQL>grant dba to system; 2)imp导入 imp system/manager file=bible_db log=dible_db full=y ignore=y(ingore代表只导入数据…
2017-02-20 09:55 · Oracle · 评论(0)
如何让MyEclipse在状态栏显示内存使用情况
第一步: 在MyEclipse的安装根目录 也就是 D:/preTools/MyEclipse 5.5.1 GA/eclipse/ 文件夹下创建一个文本文件,options.txt 编辑此文件 键入内容 : org.eclipse.ui/perf/showHeapStatus=true 保存此文件并命名为options 这里注意这个文件重命名时是没有后缀的! 第二步: 在桌面上的MyEclipse的图标下面点右键-属性-目标: 可以看到如下的东西:(每个人安装路径都不一样 这里是我的安装路径) "D:/preTools/MyEclipse 5.5.1 GA/eclipse/eclipse.e…
2013-09-04 10:57 · 开发工具 · 评论(0)